{"partition": "head_middle", "source_domain": "filestorage.blogspot.fr", "digest": "sha1:AZOIIEEMCOBYTTMYBABTB5V5UTBQMBQR", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00015.parquet"}
ITPT
Ibrix, diviser pour régner
Ibrix (www.ibrix.com), éditeur d'un file system dit segmenté, assez unique sur le marché (US Patent # 6782389), délivre une performance en entrées/sorties tout simplement incroyable, son débit agrégé peut atteindre 1 To/s ! attention il faut une belle configuration, surtout un nombre important de serveurs, mais sûrement pas les contraignantes architectures coûteuses et monolithiques que l'on trouve souvent dans le monde du super-calcul. Ce n'est pas innocent si Pixar a retenu cette solution pour son dernier film Cars, super exigeant et limité dans le temps de réalisation de part des contraintes de sortie courte, nous reviendrons sur l'architecture utilisée dans ce cas plus loin.Ibrix possède essentiellement une seule gamme de produit - Fusion - avec un seul produit - FusionFS - autour duquel gravitent plusieurs modules supplémentaires: FusionHA et FusionManager. FusionFS est un système de fichiers qui adresse le double besoin de forte capacité et de débit important, l'idée est de supporter plusieurs centaines de Po en volume et plusieurs centaines de Go/s en étant le plus linéaire possible à un coût le plus faible possible.L'esprit du produit repose sur la volonté de répartir la gestion des Meta-Data entre plusieurs serveurs et de permettre l'utilisation du système de fichiers même si une partie est indisponible vue la grande "horizontalité" de l'architecture. Le système de fichiers "physique" est divisé en segments, de taille potentiellement variable, et chaque segment est associé à un seul serveur qui contrôle les meta-data et les verrous des fichiers stockés sur son segment. Un serveur peut aussi gérer plusieurs segments et un fichier peut-être stripé entre plusieurs serveurs de segments augmentant ainsi le parallèlisme donc le débit. Le produit peut aussi supporter des I/O de petites ou de grandes tailles, il est donc utilisable dans des configurations assez variées. Il intègre un gestionnaire de volumes disques, propose bien sûr des mécanismes avancées d'équilibrage ou de répartition de charge et de modification en ligne de la configuration comme l'ajout de serveurs. Trés important, le stockage peut-être de nature SAN ou DAS avec des disques internes au serveur de segments. IBRIX Fusion se matérialise par une couche noyau au sein de Linux et peut se déployer en 2 modes: Cluster File System ou NAS évolutif. Avec le premier mode, chaque machine possède un agent ou driver spécifique pour comprendre la structure de file system et "router" les requètes vers le bon serveur de segments donc de fichiers. Dans le second mode, les clients utilisent les protocoles NAS standards, comme NFS ou CIFS, et "montent" un des serveurs de segments. Le serveur ainsi sollicité par un client servira directement la donnée s'il la possède ou routera la requète pour obtenir cette donnée suivant la nature de sa connexion au stockage: obtention des meta-data et accès direct dans le cas d'un SAN ou envoi des données à travers IP depuis un autre serveur de segment si le stockage est interne ou privé.Alexa, filiale d'Amazon et acteur du monde internet dédié à l'analyze du trafic Web, collecte chaque jour 1.6To cumulant ainsi tous les 2 mois l'ensemble du trafic internet. Fin 2005, la société a lancé sa plateforme de recherche Web (www.alexa.com) et a mis en place Fusion pour délivrer le bon niveau de performance auparavant inconnu en terme de nombre de requètes ou de charge. La configuration retient 24 segments en DAS et SAN sous un seul espace de nom de fichiers pour une capacité de 16Po et a permi de batir une plateforme de Data Mining de 12 milliards de pages. Spinnaker Exploration, société du monde pétrolier, est passé de 3 jours à 3 heures en tant de calcul avec 2 clusters de 64 noeuds pour 30To de données soumise à Fusion. L'université du Texas est passé de 60 à 5 Minutes pour un calcul de simulation de turbulence de fluides grâce à un cluster de 512 noeuds pour 8To de données.Pour Pixar, la configuration est différente et ne peut pas s'appuyer sur les techniques des 6 films précédents à base de NFS. Cars demande 300 fois plus de puissance de calcul que Toy Story. Pixar choisit une architecture de 12 serveurs de segments dont 4 servent 675 stations de travail, les 8 derniers étant dédiés au RenderFarm, l'unité de finition des frames. Avec cette configuration, le temps du calcul de rendu d'une image est donc passé avec Ibrix de 10h à 1h. Ibrix Fusion est aujourd'hui unique sur le marché, commençant à donner des idées à quelques autres, Ibrix d'ailleurs pourrait passer sous la coupe de...
Philippe NICOLAS
Replicus, toujours absent des tablettes
Replicus (www.replicus.com), le n-ième projet de Paul Borrill tarde à sortir des cartons, et les ex-Veritas passés par sa société la quittent progressivement aprés un court passage, décevant à leur dire. L'idée géniale, comme toujours avec Borrill, était de batir une infrastructure de stockage cellulaire, comme le projet OceanStore qu'il prenait comme exemple par la passé, sur laquelle une couche de système de fichiers global serait déployée avec des mécanismes sophistiqués de distribution de données au plus prés de leur utilisation. Ca ressemble à des idées vues ailleurs et que certains ont depuis convertis en produit même si la mouture du produit final est limitée, elles existent. Démarré fin 2002, la société semble aujourd'hui dans un mode furtif et je dirai même complétement stoppée, Paul qui traîne toujours à SNW sera, à n'en pas douter, dans les couloirs encore de San Diego en Avril pour proner un nouveau truc révolutionnaire et de son cru de surcroit. Dans ce cas, méfiance sur son produit pas sur la technologie car il a gardé ce côté anticipateur, mais c'est toujours bon de discuter et d'échanger autour d'une bonne bière avec un visionaire...
A défaut d'ILM, un parfait FLM existe
Rahul Mehta est décidément un visionnaire, aprés plusieurs créations et ventes de NuView, son entité commerciale, il a plongé vers la gestion des données avec StorageX, sa dernière invention. Depuis il a vendu sa société pour 60M$ à Brocade qui se positionne en pionnier et leader du FAN (File Area Network), concept qui introduit la notion de Global Namespace et qui permet de faire le lien entre les filers d'un site central et l'accés distant au travers du WAFS (Wide Area File Services) tout en simplifiant la vie des administrateurs, masquant toutes les tâches de gestion, migration, consolidation... ou arrêts aux utilisateurs qui eux possèdent un accès permanent aux données. On en rêvait, Brocade le fait.Ensuite, il semble plus simple, encore faut-il le faire, de décliner ce global namespace en service. Ainsi, la classification des données, leur hiérarchisation grâce à leur déplacement entre filers est au coeur de la solution Brocade FLM (File Lifecycle Manager) qui permet de considérer un filer NetApp en stockage primaire et ensuite n'importe quel serveur de fichiers comme secondaire. FLM est une solution simple, efficace et performante pour effectuer cette classification, en avance sur d'autres solutions qui tardent à sortir. Le produit FLM peut-être accompagné du petit utilitaire gratuit Brocade FileAges (www.brocade.com/products/fileages.jsp) trés pratique pour une migration sur les critères de temps (création, accés ou modification), utilisable partout en environnement Windows local comme distant au travers des protocoles NAS. A essayer de toute urgence, c'est drôlement pratique.
SmApper Technologies
Là encore, personne ne doit connaître ce truc à part mon ami Jean-Jacques. Cette start-up Européenne, d'origine Autrichienne, cible le marché de la gestion fichiers et s'inscrit donc potentiellement comme un acteur du FAN. Attendons de voir quand même, SmApper Technologies (www.smapper.com) ne possède pas à ce jour de produit commercial, et cela peut finir en gag du Tyrol...
Quand le FAN s'affirme
Pionnier du FAN (File Area Network), Brocade a confirmé ses ambitions et sa stratégie en acquérant en 2006 NuView, éditeur de la fameuse solution StorageX. Les 5 acteurs indépendants passent au fil des mois sous la bannière de grands faiseurs, ainsi EMC s'est payé Rainfinity et il y a 2 jours Cisco a annoncé son intention de gober NeoPath Networks, la société d'Alan Baratz. Reste nos 2 derniers petits poucets, Acopia Networks et Attune Systems qui eux aussi passeront sous la contrôle de grands comme IBM, HP ou SUN sinon le marché de FAN ignorera ses derniers sauf en oem peut-être.
Et Mickey s'en alla...
Au jeu de taquet, certains sont champions, je vous laisse deviner les mouvements du moment où les mercenaires Français - vous savez ceux qui marchent sur les autres - se livrent au plus offrant, malgré toutes les promesses et message délivrés. Où va-t-on ? en tout cas, là encore, aux abris, car ça va encore pêter ces trucs...
cdp blog
Tweets by @CDP_FST
cloudbeat