{"partition": "head_middle", "source_domain": "linuxfr.org", "digest": "sha1:XUNZ5JUU22FQWIMIV7LJYZWEXLG6GMWY", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00032.parquet"}
Technologie Le Top 500 de novembre 2011
Posté par patrick_g (page perso) le 15/11/11 à 01:48. Modéré par Lucas Bonnet.
supercalculateur
15nov.2011
Le trente‐huitième Top 500 des supercalculateurs mondiaux est sorti aujourd’hui à l’occasion de la conférence Supercomputing 2011 qui a lieu à Seattle aux États‐Unis.
Rappelons que le Top 500 se base sur une soumission volontaire (de nombreuses machines puissantes mais classifiées ne participent pas à la course) et sur un comparateur spécifique de performances extrêmement parallélisable (le code Linpack qui concerne la résolution de systèmes d’équations linéaires).
L’analyse dans la suite de la dépêche…
Le classement Top 500 de novembre 2011
Les grandes nouveautés de ce classement
La liste Top 500 de novembre 2011 ne révolutionne pas la hiérarchie établie lors des classements précédents, puisque le top 10 reste strictement identique. C’est d’ailleurs la toute première fois depuis 1993 qu’il n’y a pas de changements parmi les dix premières machines. Néanmoins, si l’on regarde la liste en détail, on constate qu’elle apporte plusieurs nouveautés très intéressantes.
Le premier du Top 500, le supercalculateur Fujitsu K, qui utilise des processeurs SPARC64 VIII fx Venus, a reçu une mise à jour importante en termes de racks supplémentaires. La machine passe de 68 544 processeurs à 88 128 (705 024 cœurs en tout !), ce qui lui permet de franchir la barrière très symbolique des 10 pétaFLOPS (10,51 exactement).
Comme l’efficacité théorique de calcul est de 11,28 pétaFLOPS, on peut en déduire que l’efficacité réelle est de 93,2 %, ce qui est un score très élevé. Par comparaison, les machines qui utilisent des cartes graphiques (GPU) ont une efficacité réelle très en deçà de leur efficacité théorique.
En termes de consommation d’énergie, le superordinateur K est un des tout meilleurs (830 mégaFLOPS/Watt), mais son gigantisme le condamne à la lanterne rouge en termes de consommation absolue (12,66 MW au total).
Il est difficile de savoir si le surpuissant Fujitsu K va régner sur les prochaines éditions du Top 500. Le projet de calculateur Blue Waters (à base de POWER7) a été annulé, mais la machine Sequoia (un IBM Blue Gene/Q) est en cours de construction et doit être livrée au laboratoire national Lawrence Livermore en 2012. Si la cible des 20 pétaFLOPS est atteinte, alors le K n’aura dominé le Top 500 qu’une petite année.
Parmi les machines fascinantes qui peuplent ce nouveau Top 500, il faut absolument s’intéresser au Sunway BlueLight MPP installé au National Supercomputer Center de Jinan, en Chine. Certes ce superordinateur, en quatorzième position dans la liste, n’a qu’une puissance théorique de 1,07 pétaFLOPS, et il n’a n’atteint que 796 téraFLOPS lors du test Linpack… Mais ce qui fait tout l’intérêt de cette machine, c’est qu’elle est construite entièrement à partir de technologies chinoises !
Le processeur, nommé ShenWei, est un RISC 64 bits à 16 cœurs, dont il se dit que l’architecture de processeur (ISA) ressemblerait fortement à celle du défunt DEC Alpha. La finesse de gravure (65 nm) est très en retard sur les standards occidentaux, mais cela n’empêche pas le processeur ShenWei d’atteindre 140,8 gigaFLOPS à la cadence de 1,1 GHz. On note d’ailleurs que ce processeur est sous‐cadencé dans le BlueLight (il tourne seulement à 975 MHz), afin de réduire encore plus la consommation.
L’implémentation est très dense (refroidissement à eau), puisque chaque rack du BlueLight contient 1 024 sockets soit 16 384 cœurs. Avec seulement 9 racks, on dépasse donc la barrière du pétaFLOPS théorique. L’efficacité est excellente avec 741 MFLOPS/W et une consommation totale de 1 074 kW.
On trouve fort peu d’informations sur les logiciels utilisés dans cette machine. Ce blog indique simplement « SW Own design », tandis que l’article d’HPC wire fait état d’un ensemble logiciel développé localement :
The software stack is attributed to Sunway, which has provided the “virtualization” management, a parallel operating system, the parallel file system, the compiler for the ShenWei CPUs, multicore math libraries, and a Java support platform.
Il serait toutefois très étonnant, pour ne pas dire invraisemblable, que Sunway ait réussi à écrire une pile logicielle complète sans réutiliser du code libre disponible.
Ce qui est certain, c’est qu’alors que les machines européennes se contentent d’assembler des processeurs américains, nous avons ici, encore une fois, la manifestation d’une volonté farouche d’indépendance de la part des autorités chinoises. Avec le Sunway BlueLight MPP et le futur Dawning 6000 (qui sera basé sur des processeurs Loongson à architecture MIPS), on réalise que la Chine veut pouvoir fabriquer ses propres processeurs et n’hésite pas à lancer des modèles conçus spécialement pour les superordinateurs.
Le niveau technologique, que ce soit en termes d’efficacité énergétique ou de packaging, est impressionnant. Seule la finesse de gravure des processeurs est une sévère limite aux ambitions des ingénieurs chinois. Selon Steve Wallach, spécialiste du calcul haute performance interrogé par HPC wire, les caches du processeur ShenWei sont sans doute trop petits (16 Kio de L1 et 96 Kio de L2), car la gravure à 65 nm ne permet pas mieux. Nul doute que les décideurs chinois sont conscients du problème et qu’un effort va être fait dans ce sens pour rattraper les États‐Unis.
Si l’on prend du recul par rapport à ces questions géostratégiques et qu’on se penche sur les orientations technologiques, on peut constater que la suprématie de l’architecture x86 va peut‐être être remise en cause pour les machines les plus puissantes. Tout le monde pensait que cette architecture, dans sa variante x86-64, avait définitivement gagné et que l’économie d’échelle permise par la production en masse serait un facteur décisif. Pourtant, les architectures « exotiques » alternatives semblent ressurgir au sommet du classement Top 500. Que ce soit la machine K (SPARC), le Bluelight (Alpha), le Dawning (MIPS), le BlueGene (PowerPC) et sans doute les futurs superordinateurs ARM basés sur la variante v8 à 64 bits, la monoculture n’est plus à l’ordre du jour !
La tendance qui consiste à utiliser des processeurs graphiques (GPU) en tant que coprocesseurs de calcul semble, elle aussi, s’amplifier. Alors que seulement 17 machines utilisaient ces GPU dans le classement de juin, la nouvelle liste contient 39 de ces machines hybrides (avec une grande majorité contenant des cartes NVidia).
En termes de puissance agrégée, le total des 500 machines se monte maintenant à 74,2 pétaFLOPS (contre 58,7 pétaFLOPS, il y a six mois, et 43,7 pétaFLOPS, il y a à peine un an). Le ticket d’entrée dans la liste se monte maintenant à 50,9 téraFLOPS, alors qu’il était de seulement 39,1 téraFLOPS, il y a six mois. L’efficacité énergétique moyenne est de 282 MFLOPS/Watt (elle se situait à 219 MFLOPS/Watt, il y a un an). Ce gain en efficacité est, comme toujours, entièrement consacré à la course aux performances, puisqu’on constate que la consommation moyenne passe de 447 kW, il y a un an, à 634 kW dans cette liste de novembre 2011.
En ce qui concerne les statistiques par pays, les États‐Unis dominent la liste (52,6 % des machines), mais la Chine monte en puissance (14,8 %, au lieu de 12,2 %). Le calculateur Tera-100 du CEA conserve sa neuvième position dans ce classement de novembre 2011, avec une puissance de 1,05 pétaFLOPS. La machine, construite par Bull, est utilisée pour simuler le fonctionnement des armes nucléaires, afin d’assurer la fiabilité de la dissuasion française. On peut noter que c’est le seul calculateur européen dans les 10 premiers de la liste.
Enfin, dernier paragraphe traditionnel des dépêches Top 500, intéressons‐nous maintenant à la répartition par système d’exploitation. Lors du classement précédent, le système GNU/Linux avait enregistré son premier recul depuis de longues années. La baisse était marginale (de 459 machines à 455), mais c’était assurément un point à surveiller dans le classement de novembre.
La nouvelle liste nous indique que les machines fonctionnant à l’aide de notre système d’exploitation préféré sont maintenant au nombre de 457 (91,4 %). Un très léger accroissement, mais rien de significatif statistiquement. Comme on peut le voir sur ce graphique récapitulatif, il est probable que GNU/Linux a atteint en 2009 un plateau en termes de présence dans la liste.
En nombre de machines, Windows recule très sensiblement et flirte avec la disparition pure et simple (un seul supercalculateur au lieu de 4). Visiblement, le marketing agressif autour de Windows 2008 HPC n’a pas réussi à engendrer une demande significative chez les utilisateurs de superordinateurs.
AVX un futur atout pour les x86?
Posté par reno le 15/11/11 à 10:36.
Les x86 sont les seuls a avoir du SIMD sur 256bits avec AVX (les autres CPU ne fournissent que des small vectors sur 128bits), si l'implémentation devient efficace (il me semble qu'à l'heure actuelle les implémentations ne sont pas plus efficaces que du 128bits pour les accès mémoire), ça pourrait être un atout.
Pas que je soit un fan du x86, par rapport aux ISA du MIPS ou de l'Alpha..
Re: AVX un futur atout pour les x86?
Dernière modification : le 15/11/11 à 11:35
Les x86 sont les seuls a avoir du SIMD sur 256bits avec AVX (les autres CPU ne fournissent que des small vectors sur 128bits)
Ce n'est pas vrai si on parle du loogson qui est décrit comme ayant "two 256-bit vector processing units in each core".
Et puis les autres processeurs sont optimisés spécialement pour être des monstres en performance/watt sur les flottants. Les x86 d'Intel (si on met à part le futur MIC) restent des processeurs généralistes.
Posté par Nicolas Boulay le 15/11/11 à 18:10.
Il me semble aussi que le Sparc64 a aussi des vector 256 bits.
"La liberté de tout dire n'a d'ennemis que ceux qui veulent se réserver le droit de tout faire". "La question n'est pas de savoir si vous avez quelque chose à cacher. La question est de savoir si c'est nous qui contrôlons le gouvernement ou l'inverse
Posté par Brice Goglin le 15/11/11 à 12:10.
Blue Waters n'a pas été annulé, c'est le contrat IBM pour Blue Waters qui l'a été. Il a été annoncé hier que Blue Waters serait finalement une Cray, un peu comme le futur Titan (l'upgrade de Jaguar avec le réseau Gemini, des Opterons 16 coeurs et un peu de GPUs).
Le Top500 ne signifie rien
Comme ca fait 2 fois d'affilée que les USA n'ont qu'un seul des 5 premiers du classement, ca fait tâche. Du coup, on commence à entendre des grands chercheurs américains dire que Linpack et le Top500 ne sont pas une bonne mesure de la vraie performance (voire de la valeur) des machines. C'est pas nouveau, mais on ne l'entendait pas trop quand Jaguar était premier :)
Re: Le Top500 ne signifie rien
Posté par rewind le 15/11/11 à 13:39.
C'est parce qu'ils ne lisent pas les dépêches de patrikc_g et les mots mis en gras dans l'introduction...
Posté par GoNoGo le 15/11/11 à 13:58.
Ce n'est pas complètement nouveau, cela fait quelques temps que l'on entend râler certains qui disent que le linpack c'est trop bourrin basique. Du coup ce type de "mathématiques" passe très bien au travers des processeurs. Malheureusement, souvent les problèmes à traiter ne sont pas aussi simpliste simple.
A part le linpack, y a bien d'autres tentatives, y a le graph500 mais on en entend pas beaucoup parler. En plus il retombe lui aussi dans le principal défaut de son prédécesseur, il est assez spécifique.
Je présume que le classement changerais de tête s'ils ajoutaient les machines qui se trouvent à Fort Meade.
Pas forcément. vu les moyens qu'ils ont je pense qu'ils doivent faire des ASIC custom pour casser du codage par exemple. Dans ce domaine, la puissance de calcul en virgule flottante n'est pas primordial.
Commentaire-bookmark : Where Linux crushes Windows like a bug: Supercomputers Posté par Nÿco (page perso) le 16/11/11 à 15:05.
ZDNet : Where Linux crushes Windows like a bug: Supercomputers
Summary: Linux is tiny on desktops, powerful on servers, mighty on Web servers, and rules over all on supercomputers.
Dommage que la machine la plus puissante soit réservé exclusivement aux militaires et en plus pour l'arme atomique qui est sensé ne jamais servir. La priorité serait quand même de trouver des solutions à la fin du pétrole...
Sinon, ce genre de machine consomme un paquet. A une époque, le CERN ne fonctionnait pas l'hiver mais seulement l'été pour une question de coût électrique (a ce qu'on m'a dis). Ne pourrait'on pas faire tourner ces clusters la nuit à la place de l'éclairage public qui de minuit à 5h du matin ne sers à rien. Au moins l'énergie des centrales nucléaires pourraient servir à quelques choses d'utiles... (en plus, de nuit dans pas mal de région, la clim est inutile si la salle serveur a été conçu en circuit ouvert).
Re: En france
Ouais, comme ça on roulera plein phare dans les villages !
Ceci n’est pas un troll !
Posté par pititjo le 18/11/11 à 14:22.
Je suis bien content que mes calculs puissent tourner jour et nuit. C'est déjà tellement long, je n'ose même pas imaginer ce que ça serrait si les cluster ne tournaient que quelques heures par jour.
Tout ça c'est bien joli...
Posté par FantastIX le 17/11/11 à 12:13.
... mais moi je ne crois que ce que je vois. GigaFlops, TeraFlops, PetaFlops... et tes flops à toi?
C'est pas tout ça mais ça met combien de temps à compiler la glibc ces trucs-là?
--> []
Re: Tout ça c'est bien joli...
Posté par Tonton Th (page perso) le 19/11/11 à 09:16.
http://pafoo.net/uninstallglibc/uninstglibc.html
* Ils vendront Usenet quand on aura fini de le remplir. Suivre le flux des commentaires