{"partition": "head_middle", "source_domain": "www.paristechreview.com", "digest": "sha1:ZHB7XB24D24VC3KYPY5KHCAEZ6G76JBN", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00008.parquet"}
ParisTech Review
About ParisTech
Nuclear energy	Renewable energy	Smart grid	Natural resources	Green economy	Food and agriculture	Transport	Business
Finance	Bubbles and crises	Technology and business	Globalization	Standards	The retail chain	Consumption	Management	Society
Demographics	Health and medical research	Progress and growth	Public Governance	Education	City	Art and culture	Privacy	Science & Technology
Internet	Technology adoption	Nanotechnology	Genetic engineering	National research policy	Science development	Climate change	Les Big Data de A à Z
Henri Verdier / Directeur, Etalab / November 16th, 2012
technology and business
Les Big Data sont partout. Certains craignent un nouveau Big Brother, d'autres célèbrent les étonnantes possibilités ouvertes dans des domaines aussi variés que le marketing, l'épidémiologie ou la gestion urbaine, et le gourou du Web, Chris Anderson, prophétise une science sans théorie. Une révolte ? Non, sire : une révolution. Mais, au fait, de quoi parle-t-on ?	Print
Text Size Aa+ / Aa-
ParisTech Review – En l’espace de deux ou trois ans, le thème des Big Data s’est imposé dans l’espace public, suscitant enthousiasme et réticences… sans qu’on sache toujours précisément de quoi il s’agit. Pouvez-vous nous l’expliquer rapidement ?
Henri Verdier – Cette confusion n’a rien de surprenant, car non seulement c’est un thème récent mais, surtout, on assiste à un affrontement politique et économique autour de sa définition. L’expression « Big Data » renvoie à au moins trois phénomènes. Selon une acception étroite, elle désigne de nouvelles technologies informatiques dans le domaine du traitement de données massives. Selon une acception plus large, elle désigne la transformation économique et sociale induite par ces technologies. Enfin, certains analystes en font une rupture épistémologique, avec le passage des méthodes hypothético-déductives sur lesquelles s’est édifiée la science moderne à une logique inductive, très différente.
Par ailleurs, et cela ajoute sans doute à la confusion, la vogue des Big Data recouvre d’énormes intérêts. Par exemple, c’est sur ce champ qu’IBM a construit sa résurrection, et d’autres géants comme Google et Facebook sont également très engagés. C’est un domaine qui mobilise l’attention des consultants et des prestataires de service, et tout ce petit monde a tendance à survaloriser les effets des technologies qu’il essaie de vendre.
Est-ce à dire qu’on n’aurait affaire qu’à une bulle, à un effet de mode ?
Certainement pas. Mais, précisément parce qu’il s’agit d’une évolution significative, il faut garder la tête froide, et examiner avec lucidité ce qui se joue sous nos yeux. Commençons par le commencement : les technologies en jeu.
Le premier phénomène est l’explosion de la masse des données produites, avec des serveurs qui stockent aujourd’hui une quantité d’information inimaginable il y a encore quelques années (l’information accessible au format numérique est passée de 193 petabytes en 1996, l’équivalent de tous les livres jusque-là imprimés par l’Humanité, à 2,7 zetabytes, soit un million de fois plus, en 2012). Cette explosion est rendue possible par les progrès de la technique, mais elle est aussi nourrie par les nouveaux usages. Vous et moi, chacun, chaque jour, produisons et échangeons de plus en plus de messages : tweets, posts, commentaires, SMS, mails, etc. Avec la vogue du « quantified self », qui consiste à collecter des données personnelles et à les partager, la production de données brutes est même une nouvelle manière d’être au monde. Mais nous produisons aussi des données à notre insu, en achetant un produit dans un supermarché, en cliquant sur un article de journal, et nous laissant géolocaliser par notre smartphone. Et, de plus en plus, l’Internet des objets va contribuer à produire, ou à nous faire produire, de nouvelles masses de données : les capteurs de bruits, de vitesse, contribueront à transformer l’empreinte de nos corps – comme aujourd’hui nos conversations sur Facebook – en données brutes.
La deuxième nouveauté, c’est la capacité nouvelle à traiter ces données. D’une certaine façon, ce n’est pas la quantité qui définit les Big Data, mais plutôt un certain rapport aux données, une certaine façon de jouer avec elles. On sait de mieux en mieux les gérer, les mesurer, les interpréter, et ce d’une manière de moins en moins onéreuse. Cette informatique « pas chère » permet déjà l’arrivée de nouveaux acteurs : plus besoin d’être le CEA pour manipuler des téraoctets.
On assiste même aujourd’hui au développement, dans la Silicon Valley, d’une informatique (hardware) du Big Data : certains acteurs comme Facebook, SAP, IBM ou encore Goldman Sachs se sont organisés et ils ont financé des programmes pour apprendre à gérer d’énormes masses de données. L’un des enjeux, pour eux, est évidemment de faire face à Google, qui s’affirme comme l’acteur par excellence du traitement des Big Data. Les programmes en question, ce sont par exemple le mouvement MapReduce, dans lequel Google est également engagé. Il s’agit d’effectuer des calculs parallèles à partir de gros volumes de données. Il y a là, en termes de programmation et d’architecture système, une nouvelle philosophie : on ne cherche pas forcément à développer des algorithmes très sophistiqués ou à utiliser des machines très puissantes, mais simplement à tirer profit des puissances de calcul disponibles, en faisant effectuer la même opération des millions de fois par des machines montées en parallèle. Par exemple, on utilisera un millier de serveurs présents dans le cloud d’Amazon. En termes de software, ce n’est pas forcément très impressionnant, mais les résultats sont là.
Ces progrès technologiques ne concernent pas seulement la volumétrie. On dit souvent qu’ils travaillent sur les « trois V» : variété, vélocité, volume. L’informatique de Big Data se renouvelle tous les jours pour traiter des données en masse, souvent très peu structurées, en des temps record (comme on le voit, par exemple, avec le trading à haute fréquence).
La performance concerne donc à la fois la quantité de données traitées, la diversité des sources et la recherche d’une réponse en temps réel. Cette nouvelle puissance disponible fait naître de nouvelles stratégies de traitement des données. On apprend à manipuler des distributions complètes, à jouer sur les probabilités, à traduire les problèmes en systèmes de décision automatique, à construire de nouvelles visualisations à de nouvelles règles d’interaction avec les données. On observe ainsi l’émergence d’une nouvelle école informatique, une nouvelle façon de programmer, en partie inspirée de la culture hacker. Celle-ci s’est focalisée sur le matériel dans les années 1970, sur les logiciels dans les années 1980-90 avec l’open source, sur les contenus dans les années 2000 avec les logiques de partage, et se préoccupe désormais des données. On a ainsi pu proclamer que « Data is the new code », pour souligner que désormais, ce n’est pas la donnée qui est une variable aléatoire, mais le code qui doit s’organiser autour d’elle…
Une nouvelle informatique, ou plus précisément une nouvelle philosophie de l’informatique, est-ce que cela suppose des professionnels formés différemment ? Oui, on voit aujourd’hui émerger une profession : les datascientists, qu’on pourrait définir ainsi : ce sont d’abord de bons mathématiciens et notamment statisticiens ; ce sont ensuite de bons informaticiens et si possibles des « bidouilleurs », capables par exemple d’installer trois machines virtuelles sur un même serveur ; ensuite, et c’est un point essentiel, ils sont capables de fournir du conseil stratégique, car la plupart des organisations sont aujourd’hui prises au dépourvu par l