"Aucune chance que le Texas No Limit soit r��solu", explique un cr��ateur de poker Bot
Il y a quelques semaines sur PokerNews.com, un article faisait ��tat de Baby Tartanian 8, un bot vainqueur de la Annual Computer Poker Competition, et expliquait que les chercheurs pensaient pouvoir cr��er le Bot parfait d'ici deux �� trois ans.
Noam Brown, le papa de Baby Tartanian 8 raconte �� PokerNews la naissance de son Bot et comment il le verrait ��voluer dans les sph��res du poker online. Comme vous le verrez plus bas, sa r��ponse est plut?t inqui��tante...
Le cr��ateur de Baby Tartanian 8 revient sur la complexit�� des robots mis au point pour le poker et la Annual Computer Poker Competition mise en place en 2006. "Nous avons introduit le No Limit dans la comp��tition aux alentours de 2008-2009, �� cette ��poque les Bots ne faisaient que payer ou folder. Ils faisaient des mises de la taille du pot ou allaient �� tapis sans finesse", explique Brown.
Homme vs Machine : Claudico largement battu par les pros
"Si vous r��fl��chissez en termes de combinaisons possibles, vous les isolez en tant que groupe et vous traitez de nombreuses mains de mani��re identique pour que le programme garde une taille raisonnable. A l'��poque il y avait 2000 fois moins de groupes compilant les mains possibles", ajoute-t-il en parlant de la complexit�� galopante des Bots poker.
L'��criture du code pour le Bot gagnant a pris environ un mois. Les concepteurs ont ensuite fait tourner le logiciel durant un mois suppl��mentaire sur le San Diego Super Computer, une cyber infrastructure de 3700 unit��s centrales de 18 terabytes qui procure donc des ressources massives aux chercheurs qui doivent manipuler des datas gigantesques. Il est d'ailleurs �� noter qu'un programme efficace ne n��cessite pas forc��ment un investissement si important puisque les deux Bots qui sont mont��s sur le podium du concours ��taient des projets de passionn��s.
"Les deux autres ��quipes ne venaient pas d'une universit�� ou d'un groupe de recherche, ils ��taient l�� par leur propre volont��. [...] Un joueur de poker professionnel qui est aussi un ing��nieur logiciel a mis en place son programme et fait le podium, l'autre ��quipe c'��tait un ancien de google amateur de poker... Ces deux ��quipes ont r��alis�� des robots g��niaux pour des budgets inf��rieurs �� 10 000$", poursuit Noam Brownn.
Il n'y a aucune chance que le No Limit soit r��solu de notre vivant, s'il est jamais r��solu
"Faire des ordinateurs devient de moins en moins cher, les couts se r��duisent dramatiquement, particuli��rement ces derni��res ann��es. Les deux autres ��quipes ont r��ussi �� se servir du service Cloud d'Amazon pour entra?ner leur Bot donc ce n'est pas impossible de faire un bot comp��titif pour des gens ordinaires. Apr��s il faut un certain savoir pour faire un Bot comme celui l��, c'est compliqu��", ajoute le chercheur avant de se pencher sur la r��solution du poker No Limit par l'intelligence artificielle.
"Le Limit et le No Limit sont des jeux tr��s diff��rents. En Limit il n'y a que trois options - call, fold et miser - alors qu'elles sont illimit��es par d��finition en No Limit, vous pouvez par exemple d��cider du montant des mises. Il faut savoir que chaque mise diff��rente est trait��e par l'ordinateur comme une option possible et une action diff��rente. Si vous voulez r��soudre le NL Texas hold'em l'��chelle est inimaginable. Si on parle d'une comp��tition comme la notre avec un tapis de d��part de 20 000 jetons, nous parlons d'un jeu avec des ramifications de l'ordre de 10^163 (un 10 suivit par 163 z��ros possibilit��s). Il n'y a aucune chance que le No Limit soit r��solu de notre vivant, s'il est jamais r��solu", explique Brown avant de temp��rer son propos.
Les Bots ont encore du mal avec les tailles des mises et les bluffs
"Ceci dit, il y a des moyens d'obtenir de bonnes solutions approximatives donc je pense que dans les ann��es �� venir nous verrons un Bot capable de dominer les meilleurs professionnels... mais il y a une grande diff��rence entre cela et dire qu'un jeu est r��solu", ajoute Brown qui confirme que les meilleurs Bots sont capables de bluffer.
"Ce n'est pas une surprise que les Bots bluffent car les ordinateurs calculent et simulent des trillions et des trillions de mains de poker. Le Bot n'envisage pas le bluff comme un humain [...] un ordinateur se retrouve dans la m��me situation �� plusieurs reprises, la reconna?t et se rend compte que m��me si sa main n'est pas tr��s forte, il peut faire de l'argent en misant", assure-t-il avant de r��v��ler les faiblesses de l'intelligence artificielle.
Les Bots de la comp��tition ont ��t�� configur�� pour du Head's Up, plus vous faites entrer de joueurs sur la table, plus il y a de param��tres �� calculer... mais Brown a confi�� �� PokerNews que la plupart des discussions des chercheurs portaient sur l'opportunit�� de faire une comp��tition de Bots dans un environnement en 6-Handed. Pour lui, la Annual Computer Poker Competition devrait ��tre disput��e sous ce format d��s 2017. Les efforts de d��veloppement �� mettre en oeuvre seraient tout de m��me bien plus cons��quents pour les chercheurs.
Exploiter les exploiteurs
Une des faiblesses du Bot repose sur sa capacit�� d'am��lioration apr��s avoir jouer des millions de mains contre un adversaire. Pour cr��er la strat��gie optimale conforme �� la th��orie du jeu, un Bot doit compiler des trillions de mains qu'il n'atteindra jamais contre un adversaire humain. PokerNews a donc demand�� �� Brown si les Bots pouvaient exploiter les faiblesses adverses.
"C'est une bonne question. Quand nous simulons ces trillions de mains c'est du jeu Bot contre Bot et il est aussi prouv�� que si le Bot se joue lui m��me il va converger vers l'��quilibrium de Nash et va d��velopper une th��orie des jeux optimum, une strat��gie impossible �� battre. Apr��s il y a la composante de l'exploitation de l'adversaire qui est sp��cifique au poker. Ce n'est pas parceque vous avez une strat��gie GTO que vous allez prendre un maximum d'argent �� vos adversaires. Les professionnels humains sont tr��s bons dans cette partie du jeu, maximiser l'exploitation de l'adversaire quand on sent de la faiblesse. Si vous essayez d'exploiter vos adversaires et leurs faiblesses, vous ouvrez vous m��me la porte �� vous faire exploiter en ne jouant plus une strat��gie GTO... mais cela vaut le coup dans de nombreuses situations", confie Brown.
"Il y a eu beaucoup de recherches pour tenter que le Bot exploite ce genre de faiblesse en s'��cartant du GTO pour r��aliser un profit imm��diat plus important mais ce n'est pas vraiment un succ��s jusque l��. Les techniques que nous utilisons, faire jouer des trillions de mains et apprendre �� jouer contre un adversaire sp��cifique ou ce qui marche et ce qui ne marche pas, cela marcherait contre des pros humains mais nous avons donc un probl��me, il faudrait jouer toujours plus de mains pour savoir ce qui marche contre eux et ce qui ne marche pas", poursuit-il avant d'ajouter que "les techniques que nous utilisons en ce moment ne peuvent permettre d'obtenir la bonne r��ponse strat��gique aux faiblesses adverses en un petit nombre de mains".
Les rooms de poker ne sont pas prises d'assaut par des Bots
"C'est une aire de recherche tr��s active, comment exploiter un adversaire grace �� un petit ��ventail de mains jou��es. Nous ne savons pas pourquoi les joueurs humains sont tr��s bons dans ce domaine et c'est probablement la cl�� des Bots et leur faiblesse ultime", termine-t-il avant de se monter confiant sur les capacit��s de Baby Tartanian 8 s'il ��tait d��ploy�� sur les tables online. Le b��b�� de Brown nettoierait-il les tables ?
"D��finitivement. Si nous parlons de head's up, oui, il gagnerait tr��s probablement. Notre Bot pr��c��dent, Claudico, a jou�� contre 4 des meilleurs joueurs de HU et m��me s'il n'a pas termin�� en t��te, il ��tait tr��s comp��titif �� un tr��s haut niveau. Il a beaucoup progress�� depuis et je pense que tr��s peu de gens sont �� m��me de le battre".
Ceci dit, Brown termine sur une note positive allant �� l'encontre des nombreuses d��clarations parlant de poker online truqu�� et infest�� de robots trop forts pour ��tres battus : "Je suis certain que les Bots sp��cialis��s dans le head's up seront plus fort que les joueurs humains mais je ne pense pas qu'ils seront d��ploy��s en nombre comme des personnes semblent le croire. Les salles de poker en ligne savent tr��s bien les d��tecter et les effacer", finit-il.
En savoir plus sur Noam Brown et ses recherches sur www.noambrown.com.
