{"word_count": 3300, "character_count": 22731}
La série d'anthologie Black Mirror a eu, dès la diffusion en 2011 de son pilote choc, la réputation de proposer de puissantes dystopies où la technologie a bouleversé des pratiques quotidiennes. Nous consacrons ce billet à une technologie particulière : celle des 'robots-tueurs' de l'épisode Metalhead. Ressemblant à s'y méprendre aux prototypes de la firme Boston Dynamics, ils font aussi écho à une technologie militaire en pleine expansion et au cœur de nombreux débats : les Systèmes d'Armes Létaux Autonomes...La série d'anthologie Black Mirror a eu, dès la diffusion en2011 de son pilote choc, la réputation de proposer des dystopies où latechnologie a bouleversé des pratiques quotidiennes. La puissance de cesdystopies est qu'elles concernent presque systématiquement un futur proche.Chaque scénario met en avant un nombre limité de technologies qui constituebien souvent le moteur principal du récit. Et si Black Mirror est tant analysée et louée, c'est parce que lestechnologies mises en scène (ou les pratiques qui y sont liées) trouvent toutesun écho dans notre époque contemporaine. Mais en dehors de pousserau débat pour la simple évocation de technologies, la série possède-t-elle une'force de frappe' argumentative pertinente ?Pour essayer de répondreà cette question, nous nous appuierons sur un unique épisode et une uniquetechnologie. L'épisode en question estle cinquième de la quatrième saison. Il s'intitule Metalhead. Il a été scénarisé par Charlie Brooker, le créateur dela série, réalisé par David Slade - à qui l'on doit notamment les long-métragesHard Candy (2005), 30 jours de nuit (2007) ou bien encorele troisième volet de la saga Twilight(Eclipse, 2010) -, et diffusé le 29décembre 2017 sur la plateforme Netflix. Metalheadest un segment à part au sein d'un ensemble par essence déjà hétérogène. Il estl'épisode le plus court et le seul tourné en noir et blanc, et préfère aufoisonnement de détails d'un futur proche plausible le minimalisme d'un futurpost-apocalyptique. Minimalisme esthétiquetout d'abord. En noir et blanc donc, la trame propose en tout et pour toutquatre types de décors : un entrepôt, une forêt, une lande qui n'est pas sansrappeler l'Ecosse et enfin une maison de campagne de style moderne sans êtrefuturiste. Mais aussi un minimalisme narratif. L'épisode débute par une expédition de trois individus dans un entrepôt. Les subtilités des premiers dialogues nous fournissent quelques informations de contexte : beaucoup d'espèces vivantes ont été exterminées, les humains se cachent pour survivre. L'expédition dans l'entrepôt a pour objectif de trouver un élément qui soulagerait les derniers instants d'un enfant mourant, neveu d'un des trois personnages. Il ne fait aucun doute que l'expédition est risquée. On en ignore pour l'instant la raison. Après avoir trouvé ce qu'ils cherchaient, nous découvrons l'objet de leur crainte. Il s'agit d'un chien-robot en sommeil, manifestement programmé pour tuer tout être humain. Ce dernier s'active et la traque commence. Très rapidement, il ne reste plus qu'un personnage : la femme dont le neveu est malade. Elle restera, jusqu’à la fin, l'unique personnage humain mis en scène. Tout l'épisode est une traque qui aboutit à la maison de campagne. La femme réussit finalement à détruire le chien-robot, mais ce dernier a la capacité automatique (déjà à l'œuvre lors de son activation dans l'entrepôt) de projeter des petites balises GPS dont plusieurs viennent se ficher dans le corps du personnage. Sachant qu'elle ne pourra par toutes les extraire, et que d'autres chiens-robots vont se mettre à la traquer, la femme se tranche la gorge.La technologie sur laquelle nous allons nous pencher est évidemment celle du robot-tueur, et ce pour deux raisons. Esthétiquement, il ressemble à s'y méprendre aux chiens-robots de la firme Boston Dynamics, dont les vidéos de tests de leurs prototypes font régulièrement le ‘buzz’ sur internet, suscitant des réactions intéressantes à analyser. Deuxièmement parce que ces robots-tueurs font écho à une technologie au cœur de nombreux débats actuels et dont l'émergence serait imminente : celle des Systèmes d'Armes Létaux Autonomes (ci-après SALA), qui est le terme consacré de ce que l'on pourrait appeler les robots-tueurs.Cette technologie a uneexistence médiatique assez faible par rapport aux bouleversements qu'ellepourrait apporter dans la tenue de conflits armés. Pour beaucoup, il s'agit eneffet de la troisième grande révolution en matière de techniques de guerre,après la poudre à canon et les armes atomiques. Et des débats d'experts,essentiellement juridiques, ont régulièrement lieu. Le cas le plus notable estune réunion annuelle prenant place depuis 2014 au siège de l'Organisation desNations Unies à Genève. Cela souligne le fait que « la possibilité defabriquer de telles armes n’est plus imaginaire, elle est effective »(Faes 2016, p108). De ce fait, il est d'autant plus intéressant d'analyser lafaçon dont Black Mirror évoque cettetechnologie et la manière dont elle résonne vis-à-vis des débats actuels.Nous évoquerons d'abordles SALA : en les définissant, en présentant la situation actuelle des débats àson propos puis en abordant leur avenir potentiel, nous pourrons ensuitedéterminer le placement de Black Mirrorà leur propos. Quelle part est (pour le moment) purement fictionnelle, quellepart renvoie à des éléments tangibles, etc. ? Nous analyserons par la suite la stratégie dramaturgique de cet épisode, qui utilise notamment une esthétique déjà connue de son public pour traiter d'une technologie qui ne dispose pas de repères visuels dans l'imaginaire collectif.1 °/- Les Systèmes d’Armes LétauxAutonomesA. Une guerre terminologiqueOn assiste actuellement,dans les débats portant sur les SALA, à ce que l'on pourrait appeler une guerreterminologique entre opposants et défenseurs de la technologie. En effet, bienqu'il existe un consensus (fragile et encore débattu) autour de ce que l'onpourrait définir par SALA, les termes même de sa définition sont porteurs d'ambiguïté,ambiguïté dont se servent l'un ou l'autre camp. La grande majorité des débatsont lieu pendant les réunions annuelles sur la question au siège de l'ONU àGenève (réunions informelles d’experts prenant place durant la Convention surCertaines Armes Classiques – CCAC). La question d'unedéfinition précise est capitale : de la difficulté de circonscrire un objetdécoule sans doute celle de le réglementer.D'où l'importance dedébats où plusieurs groupes d'experts ont ainsi « pour mandat d’apporterdes clarifications terminologiques, d’identifier les problèmes soulevés et deformuler une série de recommandations générales alimentant ainsi l’analysequ’il convient d’apporter à ce phénomène » (Ancelin 2016, p3).Avant de continuer,proposons tout de même une définition du SALA, telle que la propose Jean-BaptisteJeangène Vilmer. A noter toutefois qu'il est un opposant assumé à uneinterdiction préventive et qu'il plaide pour l'élaboration d'un code de 'bonnespratiques'. Néanmoins, il apporte des points intéressant que nous évoqueronspar la suite. Une définition acceptable du SALA serait donc : « un systèmed’arme qui, une fois activé, est capable de décider seul, c’est-à-dire sansintervention ni supervision humaine, du ciblage et du déclenchement de lafrappe, en fonction d’un environnement changeant auquel il s’adapte » (Vilmer2014, p155). Sont donc dégagés de l'appellation les drones télé-opérés ou bienencore les armes automatiques (telles que les mines antipersonnel par exemple).Vilmer soulève aussi l'importance de ne pas se référer aux SALA en utilisantdes termes tels que ‘robots-tueurs’ qui seraient source de fantasmescontre-productifs. La saga Terminatorest par exemple régulièrement citée (dans le titre même des publicationsscientifiques), et souvent dans une perspective alarmiste.Quatre pôles sont engagésdans les débats autour de la question des SALA : les experts d’institutions encharge des questions juridiques relatives à la guerre et aux armements (toutparticulièrement les experts de l’ONU) ; les ONG de promotion de la paixet des droits de l’homme ; les chercheurs et ingénieurs des domainesimpliqués dans la conception des SALA (intelligence artificielle, robotique,etc.) ; et enfin les états eux-mêmes (et dans une moindre mesure lesmilitaires).Ces différents expertsvont se diviser en deux camps : défenseurs et opposants, ceux qui préconisentune définition définitive et exhaustive des concepts avant toutediscussion formelle (les défenseurs) et les abolitionnistes, prônant une tenuedes débats en reportant les définitions.Chacun des camps semble avoir ses raisons de discuter les termes, et tout particulièrement celui d'autonomie, qui pose le plus de problème.On observe d'un côté une « stratégie attentiste de certains états » (Vilmer 2016, p120) qui consiste à « définir les SALA de façon très restrictive comme systèmes d’armes létaux pleinement autonomes, pour ensuite reconnaître que de telles armes incontrôlables ont peu d’intérêt opérationnel et ne seront donc sans doute jamais construites » (Vilmer 2014, p157). Ainsi les états pro-SALA sont ceux ayant bien évidemment les capacités de développer et déployer de tels armements : Etats-Unis, Russie, Chine, Japon, Royaume-Uni, Israël, France... En instaurant un seuil d'autonomie très élevé, ils pourraient ainsi supporter une interdiction, sachant pertinemment qu'elle n'affecterait pas les systèmes qu'ils souhaitent déployer.On trouverait dansl'autre camp les ONG qui travaillent pour le développement de la paix et desdroits de l'homme, et qui profiteraient « de l’ambigüité des termes pourintégrer au débat des armes existantes auxquelles ils s’opposent parailleurs » (Vilmer 2014, p153).Comment donc établir un régime juridique adéquat à propos de cette technologie ? Vilmer résume comme ceci la nature du problème : « La particularité des SALA est qu’il n’existe à leur sujet ni expérience ni compréhension communes » (Vilmer 2016, p121). Faut-il donc mettre en place une interdiction préventive ? Les défenseurs répondront que c'est se priver des applications civiles de ces armements, et que c'est surtout tourner le dos à une technologie qui pourrait permettre un plus grand respect du Droit International Humanitaire, et donc une guerre plus 'propre'. Les opposants répondront eux que les SALA sont un nouveau moyen de déshumaniser la guerre en instaurant une asymétrie amorale, que le développement de robots létaux autonomes représente en soi un grand danger pour l'humanité, un grand danger qui se niche dans de nombreuses inconnues qui ne peuvent être résolues sans une mise en place effective de ces armements.Nous avons brièvementdéfini les SALA et les problèmes que cela soulève. Reste à savoir où se placela technologie étudiée, à savoir les chiens-robots de Metalhead. Leur caractérisation à eux ne souffre d'aucune ambigüité: ils apparaissent comme pleinement autonomes. L'homme y est bien 'hors de laboucle' – off the loop, en oppositionaux deux degrés précédents de l'autonomie, inthe loop (l'humain décide d'engager la force) et on the loop (l'humain peut suspendre la force engagée).Ce chien-robot seraitdonc le point culminant du SALA, celui que ses défenseurs jugeraient inadéquatcar incontrôlable, et celui que les opposants craignent malgré tout de voir sedévelopper. Quels pourraient doncêtre les risques d'une démocratisation des SALA ?B.Enjeux futurs d’une probable émergence des SALALe principal enjeu des SALA, à l'heure actuelle, est leur conformité au Droit International Humanitaire (DIH), qui a pour but de limiter les effets des opérations de guerre envers les populations et les infrastructures civiles. C'est pour cette raison que le débat est, pour l'instant, essentiellement juridique. Une des clefs de voûte argumentative, chez les partisans d’une interdiction préventive des SALA comme chez ceux d’une simple – et beaucoup plus souple – régulation, est la question de la conformité au DIH. Le respect de deux de ses principes fondamentaux est particulièrement mis en avant : les principes de distinction et de proportionnalité.Le principe de distinction sous-entend qu'un SALA devrait être en mesure de reconnaitre un combattant d'un civil – ce qui est loin d'être aisé dans le cas d'un conflit asymétrique (de type guérilla ou lutte anti-terroriste) ou dans une situation urbaine. Il s'agit aussi de reconnaitre un combattant actif d'un combattant qui se rend, etc. Tout cela est bien plus simple pour un humain que pour une machine : là où l'humain aura une appréhension presque instinctive, ou innée, d'une situation donnée (langage non verbal, codes culturels, etc.), il faudra le programmer chez un robot. Or, il a été maintes fois démontré (notamment chez Collins, 1992) que la programmation informatique de savoirs tacites s'apparente peu ou prou à un puits sans fond.En ce qui concerne leprincipe de proportionnalité, il s’agit « de mesurer le caractèreéventuellement excessif des dommages collatéraux en fonction de l’avantagemilitaire attendu, ce qui implique une évaluation au cas par cas, dans uncontexte stratégique et politique dont la machine n’a tout simplement pasconnaissance » (Vilmer 2014, p161). Notre chien-robot ne respecte évidemment aucun de ces deux principes : il ne semble pas faire la moindre distinction durant sa traque. Tout porte à croire qu'il est programmé pour tuer l'humain quel que soit son statut et sa situation.C'est dans l'anticipationde risques plus abstraits – dans le sens où il faut anticiper, et donc imaginerdes situations potentielles – que l'on va retrouver une possible origine à unesituation similaire à celle présentée par Metalhead.Ainsi, ces risques potentiels sont ceux qui reviennent régulièrement dans la littérature disponible : celui d'une nouvelle course à l'armement, de l’abaissement du seuil de recours à la force, ou encore « l’emballement des systèmes dans un phénomène de réaction en chaîne » (Vilmer 2016, p127), voire leur possible détournement (notamment dans un but terroriste).Ces deux dernièrespropositions sont la source de l’anticipation proposée par Black Mirror.La situation présentéedans l'épisode suppose ainsi un débordement du champ d'action de la guerre desSALA. Il y a donc deux possibilités. Soit ils ont effectivement été programméspour agir comme ils agissent : l'espace spatio-temporel dans lequel s'inscritl'épisode serait donc une zone de guerre, dans laquelle les SALA commettent descrimes de guerre dont les responsables sont et les programmateurs et les initiateursde la mise en activité des systèmes. Ou bien alors il s'agit de SALA ayant déviéde leur champ d'action originel, sur lesquels tout contrôle a été perdu et quiagirait donc d'eux-mêmes. C'est ce dernier scénario qui est le plus souventprivilégié par la science-fiction, car il met en scène le fantasmecauchemardesque du retournement de la machine contre l'homme et du basculementdes rapports de force et de contrôle (là encore, Terminator). Une situation aussiextrême que celle narrée dans Black Mirrora beau être séduisante pour la construction d'une diégèse, la réalité qu'ellereflète est encore bien éloignée de la nôtre. Cependant même Vilmer, quis'oppose pourtant à une interdiction préventive, signale que « c’est làune source légitime d’inquiétude, mais qui doit être relativisée ». (Vilmer2016, p127).C'est donc dans les petits rouages de la mécanique narrative que l'on trouvera les idées à mettre en rapport les plus pertinentes, et plus exactement dans le mode précis du fonctionnement du robot-chien : armes automatiques incapacitantes, indistinction des cibles, humain hors de la boucle de fonctionnement, etc.En ce qui concerne lesSALA, il y a les inconnues connues, que l'on peut anticiper, mais aussi lesinconnues inconnues, qu'il n'est par nature pas possible de prévoir. C'estpeut-être en définitive de celles-ci dont il faudrait le plus s'inquiéter. En ce qui concerne Black Mirror, l'épisode ne semble pas illustrer de points pertinents contre les SALA : tout juste se borne-t-il à mettre en scène une situation catastrophique. Mais la série contribue à apporter une importante visibilité à des problématiques parfois ignorées du 'grand public', comme c'est le cas pour les SALA, et c'est peut-être là que se situe son apport le plus important pour notre sujet. L'épisode semble d'ailleurs obéir à une stratégie particulièrement élaborée pour rendre visuel un sujet en manque de visibilité, et ne trouvant autrement pas d'écho dans un imaginaire collectif. Qui a une image mentale de ce que serait un Système d’Arme Létal Autonome ? Un robot-tueur est tout de suite plus évocateur, ce qui explique encore l'emploi courant du terme, malgré son approximation difficile à conjuguer avec une volonté de réglementation. Nous verrons maintenant en quoi consiste la stratégie de Black Mirror.2 °/- L’esthétique de Boston Dynamics L'inspiration visuelle du chien-robot de Metalhead provient sans aucun doute des robots de la firme Boston Dynamics, spécialisée dans la robotique, notamment à usage militaire. Que l'inspiration ait été explicitement voulue par les concepteurs de l'épisode (ce qui semble très probable, tant les esthétiques sont similaires) ou non, le public, lui, n'a pas tardé à faire le rapprochement.En haut, le robot de Metalhead, en bas celui de Boston Dynamics. Boston Dynamics a une stratégie de communication assez développée. Via leur chaine Youtube (qui approche à ce jour le million d'abonnés), ils publient régulièrement des vidéos de test de leurs robots. Ces vidéos circulent rapidement sur internet, et sont abondamment commentées par des particuliers comme par la presse (The Guardian, The Washington Post, etc.). Le nom de Boston Dynamics a donc un écho chez une partie importante du grand public, et avec cet écho, une image de ses robots. Il est intéressant de constater que, bien que ces robots aient été développés avant la diffusion de l'épisode, une importante part des commentaires d'internautes fasse justement référence à l'épisode de Black Mirror. Cela souligne la réussite de la série dans le fait d'apporter une visibilité à un sujet en en proposant une visualisation. Les commentaires vont ainsi varier de l'admiration de l'ingénierie mise en œuvre à d'autres oscillant entre la crainte, le fait que Black Mirror nous aura prévenu ou encore qu'un jour ils (les robots) auront leur revanche...La stratégie de Black Mirror est fine : en combinant un esthétique reconnue (les chiens robots de Boston Dynamics) à une technologie émergente (ou du moins en passe d'émerger), mais peut-être en manque de visibilité et surtout de repères visuels, l'épisode réunit une problématique contemporaine et un large public au courant des derniers coups marketings des firmes ayant pour credo l'innovation technologique. Les SALA étant des technologies militaires par définition, peu de chances que ceux qui les développent se répandent en contenu sur les réseaux sociaux. D'où le manque de visuel. Il s'agit donc d'un raccord que l'épisode opère : celui d'une technologie présente dans un imaginaire collectif à une autre qui est seulement fantasmée. D'un côté, les chiens de Boston Dynamics (en tout cas ceux dont le grand public a connaissance) ont un objectif d'assistance et sont donc loin de ce que l'on pourrait désigner par système d'armes létales autonomes. Les 'robots-tueurs', quant à eux, font plutôt référence à des Terminator ou des réplicateurs de Stargate SG1 (qui, c'est révélateur, seraient initialement des armes ayant échappé au contrôle de leurs créateurs, une espèce extraterrestre).Ainsi, le sloganqu'arbore fièrement la firme sur la page d'accueil de son site internet,« changer votre idée de ce dont sont capables les robots », pourraitparfaitement s'adapter à Metalhead.On pourrait arguer du fait qu'une stratégie telle que celle employée par Black Mirror soit néfaste en engendrant des fantasmes contre-productifs dans la tenue d'un débat international et médiatisé, et plus généralement dans l'imaginaire collectif. Mais après tout, est-ce vraiment le rôle de Black Mirror d'apporter des représentations exactes et pertinentes ? La série pousse à l'interrogation. Il ne reste plus qu’à effectivement s’interroger.Sources Publicationsscientifiques• ANCELIN Julien, « Les systèmes d’armes létaux autonomes (SALA) : Enjeux juridiques de l’émergence d’un moyen de combat déshumanisé »,  La Revue des droits de l’homme, 2016, [En ligne], URL : http://revdh.revues.org/2543• COLLINS Harry M, Experts artificiels. Machines intelligentes et savoir social, Paris, Editions du Seuil, 1992, 310p• FAES Hubert, « Uneéthique pour les robots tueurs ? », Revued'éthique et de théologie morale, 2016/2 (n° 289), pp 107-115.• GUITTON Alice, Déclarationconjointe de l’Allemagne et de la France sur l’évolution des travaux sur lesSALA au sein de la Convention sur Certaines Armes Classiques (CCAC), Genève,13-17 novembre 2017, [En ligne], URL : https://cd-geneve.delegfrance.org/Declaration-conjointe-de-l-Allemagne-et-de-la-France-sur-l-evolution-des• MÜLLER Vincent C. etal., « Réguler les robots-tueurs, plutôt que les interdire », Multitudes, 2015/1 (n° 58), pp 77-81.• VILMER Jean-BaptisteJeangène, « Diplomatie des armes autonomes : les débats de Genève », Politique étrangère, 2016/3 (Automne),pp 119-130.• VILMER Jean-BaptisteJeangène, « Terminator Ethics :faut-il interdire les ‘’robots tueurs’’ ? », Politique étrangère, 2014/4 (Hiver), pp 151-167.• WAREHAM Mary, « Pourquoidoit-on interdire les ‘’robots tueurs’’ », Revueinternationale et stratégique, 2014/4 (n° 96), p. 97-106.Publications nonscientifiques• HERN Alex, « BostonDynamics crosses new threshold with door-opening dog », The Guardian, 2018, [En ligne],URL : https://www.theguardian.com/technology/2018/feb/13/boston-dynamics-spot-mini-door-opening-dog-crosses-threshold• HORTON Alex, « Peoplefreaked out after robot dogs opened a door. Now they're resisting humans. »,The Washington Post, 2018, [Enligne], URL : https://www.washingtonpost.com/news/innovations/wp/2018/02/21/people-freaked-out-after-robot-dogs-opened-a-door-now-theyre-resisting-humans/?noredirect=on&#38;utm_term=.793f33b365c5Sources visuelles • Couverture : jkno4u, Terminator Endoskeleton, date inconnue, [En ligne], URL : https://www.deviantart.com/jkno4u/art/Terminator-Endoskeleton-111781832• Anonyme, Black Mirror and Boston Dynamics,photomontage, date inconnue, [En ligne], URL : https://9gag.com/gag/a47jBr1 • Anonyme, « TestingRobustness », chaine Youtube de BostonDynamics 20 février 2018, [En ligne], URL : https://www.youtube.com/watch?v=aFuA50H9uek • Anonyme, «The New SpotMini », chaine Youtubede Boston Dynamics, 13 novembre 2017,[En ligne], URL : https://www.youtube.com/watch?v=kgaO45SyaO4 