Libratus
# Libratus

Libratus (puis « Lengpudashi ») est un programme informatique d'intelligence artificielle destiné à jouer au poker, développé à l'université Carnegie-Mellon de Pittsburgh aux États-Unis. Ce type de logiciels est aussi nommé pokerbot.

Libratus joue la forme du poker la plus populaire actuellement, le Texas hold'em en no-limit (mises non limitées) dans sa variante à deux joueurs (en Head's up (en)).

En 2017, le programme est vainqueur d'un tournoi de poker l'opposant à quatre joueurs professionnels humains.

## Présentation

Libratus est un programme informatique entièrement écrit en partant de zéro. Il est le successeur de Claudico (en) et fut suivi de Lengpudashi (冷扑克大师). Son nom vient du latin et signifie « équilibré ».

La construction de Libratus a nécessité 15 millions d'heures/cœur de calculs (à comparer aux 3 millions pour Claudico) ; ces calculs furent effectués sur le superordinateur « Bridges » du centre de calcul à hautes performances de Pittsburgh (en).

Selon Tuomas Sandholm, l'un des créateurs de Libratus, le programme n'a pas de stratégie préprogrammée, mais la calcule à l'aide d'un algorithme adaptatif utilisant une variante de la technique de la « minimisation du regret hypothétique », la méthode CFR+ introduite en 2014 par Oskari Tammelin.

Outre CFR+, Libratus utilise une nouvelle technique que Sandholm et un de ses étudiants, Noam Brown, avaient développée pour résoudre les études de finales aux échecs. Cette méthode permet de contourner la méthode des « cartes d'action », qui était jusque-là la norme dans la programmation du poker.

Libratus ne joue que contre un seul autre adversaire, en suivant les règles du Texas hold'em à deux joueurs, c'est-à-dire dans la variante dite en « face à face » (Heads up poker (en)).

## Match de Pittsburgh 2017

### Déroulement

Du 11 au 31 janvier 2017, Libratus fut opposé lors d'un tournoi organisé dans un casino de Pittsburgh à quatre joueurs humains, professionnels de poker, à savoir Jason Les, Dong Kim, Daniel McAulay et Jimmy Chou. Pour que le résultat du tournoi soit le plus significatif possible, un total de 120 000 mains furent jouées, une augmentation de 50 % par rapport au tournoi qu'avait disputé Claudico (en) en 2015 (ce qui obligea à allonger la durée du tournoi de treize à vingt jours).

Les quatre joueurs étaient regroupés en équipes de deux, jouant indépendamment les mêmes mains en échangeant les côtés, c'est-à-dire que les cartes reçues par une équipe humaine dans une donne étaient attribués à Libratus, celui-ci jouant la même donne contre l'autre équipe, de telle sorte que l'élément de hasard dans les distributions soit annulé.

### Force

Dès le premier jour de la compétition, Libratus prit l'avantage contre les humains. Le dixième jour, Dong Kim déclara :

   « Jusqu'ici, je ne m'étais pas rendu compte à quel point il était bon. Aujourd'hui, j'avais les mêmes sensations qu'en jouant contre un tricheur qui aurait vu mes cartes. Mais Libratus ne trichait pas, il était seulement trop fort. »

À la 16e journée du tournoi, Libratus franchit pour la première fois la barre des 1 000 000 dollars en jetons virtuels. À la fin de la journée, il était en avance de 1 194 402 $ dollars en jetons contre l'équipe humaine.

À la fin de la compétition, Libratus menait par 1 766 250 dollars en jetons, une victoire écrasante, les joueurs humains étant tous en déficit de leur côté.

| Place | Nom | Gain ou pertes | Par main |
| - | - | - | - |
| 1 | Libratus | $1 766 250 | $14,72 |
| 2 | Dong Kim | - $85 649 | - $2,85 |
| 3 | Daniel MacAulay | - $277 657 | - $17,43 |
| 4 | Jimmy Chou | - $522 857 | - $29,34 |
| 5 | Jason Les | - $880 087 | - $9,26 |

Dans ce match en no-limit (mises non limitées) 50/100, Libratus gagne 14,72bb/100 (bb : big blind ; la grosse blinde est une relance minimale) ; la grosse blinde étant fixée pour ce match à cent dollars, le gain est de 14,72 grosses blindes pour cent mains, un résultat exceptionnellement élevé.

### Architecture

Un premier module extrait un arbre réduit du jeu et évalue une première ébauche de la stratégie globale du plan. L'abstraction est développée avec équilibrage des stratégies. Finalement l'auto-amélioration enrichie la stratégie globale.

* deep learning : les parties jouées durant la journée étaient analysées par Libratus la nuit, ce qui lui permettait d'améliorer sa stratégie durant le tournoi, et d'éliminer les imperfections (holes, les « trous » dans sa stratégie) que les équipes humaines avaient pu découvrir ;
* équilibre de Nash ;
* imprévisibilité : jeu sur un grand nombre de variantes tactiques, comme des petites mises ou des sur-relances qu'un bon joueur humain trouveraient incorrectes ; « Chaque fois qu'on a trouvé la faille, le lendemain, elle avait disparu ».

## Lengpudashi au match de Haikou 2017

En avril 2017, Lengpudashi remporte la victoire face à six joueurs chinois de l'équipe Dragons (des ingénieurs et des investisseurs chinois, de simples amateurs de poker à l’exception de Alan Du, qui a participé aux World Series), dans une rencontre exhibition à but commercial, à 36 000 mains sur l'île de Hainan. Par rapport à Libratus à 147 milli-bb (bb : big blind) par partie, Lengpudashi s'améliore pour atteindre 220 milli-bb.

## Autres applications possibles

Bien que Libratus soit initialement conçu pour jouer au poker, ses concepteurs prévoient de lui donner de nombreuses autres applications.

Les techniques qu'il utilise devraient lui permettre de s'adapter à n'importe quelle situation dans laquelle une « information incomplète » est présente, par exemple quand des « adversaires » cachent certaines informations, ou bien en fournissent de fausses. Sandholm et ses collègues envisagent d'appliquer ce système à des situations du monde réel, telles que la cybersécurité, la négociation commerciale ou le diagnostic médical.

