Test de Turing

Pour les articles homonymes, voir Turing.

Cet article ne cite pas suffisamment ses sources (juillet 2015). Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références » (modifier l'article, comment ajouter mes sources ?).

Schéma du test de Turing.

Le test de Turing est une proposition de test d’intelligence artificielle fondée sur la faculté d’imiter la conversation humaine. Décrit par Alan Turing en 1950 dans sa publication Computing machinery and intelligence, ce test consiste à mettre en confrontation verbale un humain avec un ordinateur et un autre humain à l’aveugle.

Si l’homme qui engage les conversations n’est pas capable de dire lequel de ses interlocuteurs est un ordinateur, on peut considérer que le logiciel de l’ordinateur a passé avec succès le test. Cela sous-entend que l’ordinateur et l’homme essaieront d’avoir une apparence sémantique humaine.

Pour conserver la simplicité et l’universalité du test, la conversation est limitée à des messages textuels entre les protagonistes.

Histoire

Le test a été inspiré d’un jeu d’imitation dans lequel un homme et une femme vont dans des pièces séparées et les invités tentent de discuter avec les deux protagonistes en écrivant des questions et en lisant les réponses qui leur sont renvoyées. Dans ce jeu l’homme et la femme essaient de convaincre les invités qu’ils sont tous deux des femmes.

À l’origine, Alan Turing a imaginé ce test pour répondre à sa question existentielle : « une machine peut-elle penser ? », en donnant une interprétation plus concrète de sa question.

Une idée intéressante de sa proposition de test est que les réponses doivent être données dans des intervalles de temps définis. Il imagine que cela est nécessaire pour que l’observateur ne puisse pas établir une conclusion qui soit fondée sur le fait qu’un ordinateur puisse répondre plus rapidement qu’un homme, surtout sur des questions de mathématiques.

Origine du nom

Dans la publication de Turing, le terme « Jeu d’imitation » est utilisé pour sa proposition de test. Le nom de « Test de Turing » semble avoir été inventé en 1968 par le romancier britannique Arthur C. Clarke dans ses nouvelles de science-fiction dont a été tiré le film 2001, l'Odyssée de l'espace.

Prédictions et tests

Alan Turing a prédit que les ordinateurs seraient un jour capables de passer le test. En fait, il estimait qu’en l’an 2000 des machines avec 128 Mo de mémoire seraient capables de tromper environ 30 % des juges humains durant un test de 5 minutes. Il a prédit que les humains, à ce moment-là, ne verraient pas l’expression « machine intelligente » comme contradictoire. Il a aussi prédit que l’acquisition par apprentissage des ordinateurs serait aussi importante pour construire des ordinateurs performants, une affirmation qui est aujourd’hui considérée comme plausible par les chercheurs contemporains en intelligence artificielle.

Des programmes de conversation simple tels que ELIZA ont trompé des humains croyant parler à d’autres humains, avec des expressions informelles, comme le bot OELiza. Malgré cela, de tels « succès » ne sont pas comparables au test de Turing. La plupart du temps, l’homme n’a pas de raison de suspecter qu’il ne parle pas avec un humain, alors que pour le test de Turing le juge essaye de déterminer de façon active la nature de l’entité avec laquelle il converse. Les cas référencés concernent notamment l’IRC, où le fait d’engager une conversation futile et sans signification est courant. De plus, beaucoup de participants à l’IRC conversent dans une langue autre que leur langue maternelle, le plus souvent l'anglais, ce qui rend encore plus facile le fait d’être trompé par un bot, en pensant ne pas tout comprendre ou encore en n’étant pas suffisamment informé de l’existence même des bots.

Le prix Loebner est une compétition annuelle récompensant le programme considéré comme le plus proche de réussir le test de Turing. ALICE a remporté ce prix à plusieurs reprises. Aucun des programmes présentés n’a encore passé le test de Turing avec succès.

En septembre 2011, à Guwahati en Inde, le programme Cleverbot parvint à convaincre la majorité des participants et observateurs du test de son humanité. Les conversations durèrent 4 minutes chacune. Quinze participants discutèrent avec Cleverbot et quinze autres avec des humains. Le public pouvait suivre les conversations puis voter avec les participants. Il y eut 1 334 votes. Cleverbot fut considéré humain à 59 % et les interlocuteurs humains à 63 %^[1].

Le 7 juin 2014, l'Université anglaise de Reading affirme que le test de Turing a été remporté par le produit d'une équipe informaticienne russe, réussissant à convaincre 33 % des juges (contre la limite de 30 % fixée par Turing) qu'un humain était derrière la machine^[2],[3]. Cette affirmation est aussitôt après contestée, même si de réels progrès sont généralement reconnus. Les reproches adressés au programme informatique sont la simulation d'une intelligence d'un enfant de 13 ans, parlant mal l'anglais, diminuant la qualité nécessaire au programme pour convaincre les juges, ainsi qu'un protocole de test opaque^[4].

Objections et réponses

Alan Turing lui-même a suggéré de nombreuses objections qui peuvent être faites au test et en a donné une réponse dans sa publication initiale :

1. objection théologique : la pensée serait le fait inné de l’âme dont l’homme serait seul doté, et ainsi la machine ne saurait pas penser. Turing répond qu’il ne voit aucune raison pour laquelle Dieu ne pourrait donner à un ordinateur une âme s’il le souhaitait ;
2. argument de la conscience : cet argument suggéré par le professeur Geoffrey Jefferson (en) dit que « aucune machine ne peut écrire un sonnet ou composer un concerto à cause de l’absence d’émotion, et même en alignant des notes au hasard, on ne peut pas dire qu’une machine puisse égaler un cerveau humain^[5] ». La réponse de Turing est que nous les hommes n’avons aucun moyen de connaître véritablement l’expérience des émotions de tout autre individu que soi-même, et donc que nous devrions accepter le test^[6] ;
3. originalité : une autre objection, très controversée, est que les ordinateurs seraient incapables d’avoir de l’originalité. Turing répond que les ordinateurs peuvent surprendre les humains, en particulier lorsque les conséquences de différents faits ne sont pas immédiatement reconnaissables ;
4. formalisme : cet argument dit que chaque système gouverné par des lois peut être prévisible et donc pas réellement intelligent. Turing répond que ceci revient à confondre des lois du comportement avec des règles générales de conduite ;
5. perception extra-sensorielle : Turing semble suggérer qu’il y a des preuves de perceptions extra-sensorielles. Cependant il estime que des conditions idéales peuvent être créées, dans lesquelles ces perceptions n’affecteraient pas le test et ainsi seraient négligeables.

La chambre chinoise

Dans un article daté de 1980, le philosophe John Searle remet en cause la puissance du test de Turing, en invoquant la limite des ordinateurs à la syntaxe. Selon l’auteur, la sémantique, caractéristique de la pensée humaine, ne saurait être réduite à la manipulation de symboles selon des règles syntaxiques déterminées, ce qui semble être le propre de la machine.

Pour illustrer son propos, il présente l’expérience de pensée de la chambre chinoise : supposez que vous êtes à l’intérieur d’une pièce contenant des symboles chinois ainsi qu’un manuel d'instructions comportant des règles type « questions-réponses ». Lorsqu’un locuteur chinois, à l’extérieur de la pièce, vous envoie un message sur papier, vous pourrez, grâce au manuel, fournir une réponse adéquate et donner l’impression à votre interlocuteur de savoir parler sa langue, sans qu’il soit nécessaire que vous la compreniez.

Les faiblesses du test

Le test de Turing est fondé sur l’hypothèse que les êtres humains peuvent juger de l’intelligence d’une machine en comparant son comportement avec le comportement humain. Chaque élément de cette hypothèse a été remis en question : le jugement de l’humain, la valeur de la comparaison qui est de seulement comparer le comportement et la valeur de la comparaison avec un humain. Pour ces raisons et d’autres considérations, certains chercheurs en intelligence artificielle ont mis en doute l’utilité de l’essai.

Intelligence Humaine contre l'intelligence en général

Intelligence Humaine contre l’intelligence en général.

Ce test ne détermine pas directement si l’ordinateur se comporte de façon intelligente, cela teste seulement si l’ordinateur se comporte comme un être humain. Étant donné que le comportement intelligent et les comportements humains ne sont pas exactement la même chose, le test ne permet pas de mesurer avec précision l’intelligence de deux façons :

• Certains comportements correspondant à une intelligence humaine ne sont pas parfaits ou rationnels. Le test de Turing exige que la machine puisse exécuter tous les comportements humains, incluant même des comportements que l’on peut considérer comme imparfaits ou irrationnels, tels que la susceptibilité à des insultes, la tentation de mentir ou, tout simplement, une fréquence élevée d’erreurs de frappe. Si une machine ne peut imiter le comportement humain dans le détail, comme faire des erreurs de frappe, l’intelligence échoue au test, indépendamment de la façon dont elle peut être intelligente ;
  • Cette objection a été soulevée par The Economist, dans un article intitulé « Artificial Stupidity (en) », publié peu après la première compétition Loebner en 1992. L’article notait que la victoire du gagnant de la première compétition Loebner était due, au moins en partie, à sa capacité à « imiter les erreurs de frappe de l’homme ». Turing lui-même a suggéré que les programmes devraient ajouter des erreurs dans leur sortie, de manière à être de meilleurs « joueurs » dans la partie^[7] ;
• Certains comportements intelligents ne sont pas humains : le test de Turing ne vérifie pas la présence, ou l’absence, d’un comportement intelligent, tel que la capacité de résoudre des problèmes difficiles ou de trouver des idées originales. En fait, elle exige expressément la tromperie de la part de la machine : si la machine est plus intelligente qu’un être humain, il lui faut délibérément éviter de paraître trop intelligente. Si elle était capable de résoudre un problème de calcul qui serait impossible pour un humain, alors l’interrogateur saurait que le programme n’est pas humain, et la machine ne satisferait pas au test.

Réelle intelligence contre intelligence simulée

Cela ne teste que la façon dont le sujet agit — le comportement extérieur de la machine. À cet égard, cela assume une vision comportementaliste ou fonctionnaliste de l’intelligence. L’exemple de ELIZA a suggéré qu’une machine passant le test peut être en mesure de simuler le comportement conversationnel de l’homme par la suite d’une simple (mais vaste) liste de règles mécaniques, sans penser, par automatisme.

John Searle avait fait valoir que le comportement externe ne peut pas être utilisé pour déterminer si une machine pense « réellement » ou est simplement en train de « simuler l’action de penser^[8] ».

Turing anticipa ces critiques dans son article original^[9], où il a écrit :

« Je ne veux pas donner l’impression que je pense qu’il n’y a aucun mystère quant à la conscience. Il y a, par exemple, en quelque sorte un paradoxe lié à toute tentative visant à la localiser. Mais je ne pense pas que ces mystères aient nécessairement besoin d’être résolus avant que nous puissions répondre à la question qui nous préoccupe dans cet article. »

— Alan Turing, (Turing 1950).

Naïveté des interrogateurs et le sophisme anthropomorphique

Le test de Turing suppose que l’interrogateur soit assez sophistiqué pour déterminer la différence entre le comportement d’une machine et le comportement d’un être humain, bien que les critiques soutiennent que ce n’est pas une compétence que la plupart des gens ont. Les compétences précises et les connaissances requises par l’interrogateur ne sont pas précisées par Turing dans sa description de l’essai, mais il a utilisé le terme d’« interrogateur moyen » : « L’interrogateur moyen n’aurait pas plus de 70 pour cent de chances de faire l’identification exacte après cinq minutes d’interrogation^[10] ». Shah et Warwick (2009C) montrent que les experts sont dupes et que la stratégie de l’interrogateur, « pouvoir » ou « solidarité », influe sur l’identification correcte (la seconde étant plus efficace)^[11].

Un agent conversationnel comme ELIZA a à maintes reprises dupé des naïfs en leur faisant croire qu’ils sont en communication avec des êtres humains. Dans ces cas-là, l’« interrogateur » n’est même pas conscient de la possibilité qu’il soit en interaction avec un ordinateur. Pour réussir à paraître humaine, la machine n’a pas besoin d’avoir tous les renseignements, et seule une ressemblance superficielle du comportement humain est nécessaire. La plupart des gens conviennent que ce n’est pas un « vrai » test de Turing qui a été passé dans des cas « mal informés » tels que celui-ci.

Lors des premières versions du prix Loebner, des interrogateurs « non sophistiqués » furent utilisés, et ils ont été facilement bernés par les machines. Depuis 2004, les organisateurs du Prix Loebner ont déployé des philosophes, des informaticiens et des journalistes parmi les interrogateurs. Certains d’entre eux ont été trompés par des machines^[12].

Michael Shermer souligne que les êtres humains choisissent systématiquement de considérer les objets non humains comme humains dès qu’ils en ont l’occasion, une erreur appelée également sophisme anthropomorphique : ils parlent à leur voiture, attribuent la volonté et des intentions aux forces naturelles (par exemple, « la nature a horreur du vide »), et adorent le soleil comme étant un être humain ou comme un être doué d’intelligence. Si le test de Turing est appliqué à des objets religieux, Shermer fait valoir que des statues inanimées, des roches et des lieux ont toujours réussi le test, dans une certaine mesure, tout au long de l’histoire. Cette tendance humaine à l’anthropomorphisme abaisse la barre pour le test de Turing, à moins que les interrogateurs soient spécifiquement formés pour l’éviter.

Irréalisme et inutilité : le test de Turing et la recherche en IA

Les chercheurs en intelligence artificielle font valoir que tenter de faire passer le test de Turing est simplement une distraction au lieu de se consacrer à des recherches fructueuses. En effet, le test de Turing n’est pas un foyer actif de beaucoup d’efforts académiques ou commerciaux ; comme Stuart Russell et Peter Norvig l’écrivent : « Les chercheurs en IA ont consacré peu d’attention à passer le test de Turing^[13] ». Il y a plusieurs raisons :

Premièrement, il existe des façons plus faciles de tester leurs programmes. La plupart des recherches actuelles dans les domaines liés à l’IA visent des objectifs modestes mais précis, tels que l’ordonnancement automatisé, la reconnaissance d'objet ou la logistique. Afin de tester l’intelligence des programmes qui résolvent des problèmes, les chercheurs en intelligence artificielle leur donnent la tâche à exécuter directement, plutôt que de passer par le détour qui est de poser la question dans un chat peuplé avec des ordinateurs et des personnes.

Deuxièmement, la création de la vie comme les simulations d’êtres humains est un problème difficile en soi qui n’a pas besoin d’être résolu pour atteindre les objectifs fondamentaux de la recherche en IA. Des personnages humains artificiels crédibles peuvent être intéressants dans une œuvre d’art, un jeu vidéo ou une interface utilisateur sophistiquée, mais cela ne fait pas partie de la science de la création de machines intelligentes, qui est la science des machines qui résolvent des problèmes liés à l’intelligence. Russell et Norvig suggèrent une analogie avec l’histoire de l'aviation : les avions sont testés en fonction de leur vol, non pas en les comparant à des oiseaux. Les essais sur l’aéronautique ne définissent pas le but de leur domaine comme une course à l’invention de machines volant si similairement à un pigeon que les pigeons eux-mêmes s’y tromperaient^[13].

Turing n’a jamais eu l’intention que son test soit utilisé comme une méthode pour mesurer l’intelligence des programmes d’IA ; il voulait donner un exemple clair et compréhensible pour contribuer à la discussion sur la philosophie de l’intelligence artificielle^{[n 1]}. Ainsi, il n’est pas surprenant que le test de Turing ait eu si peu d’influence sur les recherches en Intelligence Artificielle. La philosophie de l’IA, en écrivit John McCarthy, « a peu de chances d’avoir plus d’effet sur la pratique de la recherche en IA que la philosophie de la science en a généralement sur la pratique de la science^[15] ».

Dans la culture populaire

Cinéma

• Le test de Turing fait partie intégrante de l'intrigue du film Ex Machina sorti en 2015^[16].
• Le film Imitation Game, sorti en 2014, bien que se concentrant sur la vie d'Alan Turing, aborde le test de Turing.

Informatique

L’expression « Félicitations ! Vous venez d’échouer au Test de Turing… » est une insulte potache dans le milieu informatique. Cette expression se dit lorsqu’une personne vient de dire quelque chose de particulièrement stupide, et ne semble même pas avoir le niveau d’intelligence d’une machine^[17].

Notes et références

Notes

Références

Annexes

Bibliographie

• (en) Alan Turing, « Computing machinery and intelligence », Mind (en), Oxford University Press, vol. 59, n^o 236,‎ octobre 1950, p. 433-460 (lire en ligne)
• Il existe une traduction de cet article : Alan M. Turing, « Les ordinateurs de l’intelligence », in pensée et machine,  éd. du Champ Vallon, 1983 [Original : Minds and machine, 1964], p. 39-67.
• Les Ordinateurs et l’Intelligence, in Alan Turing et Jean-Yves Girard, La machine de Turing, Éditions du Seuil,‎ 1995 [détail des éditions], p. 133-175
• (en) Roger Penrose, The Emperor’s New Mind
• (en) Stuart Russell et Peter Norvig, Artificial Intelligence: A Modern Approach, Prentice Hall,‎ 2003 (ISBN 0-13-790395-2)

Articles connexes

• CAPTCHA, test public de Turing entièrement automatique ayant pour but de distinguer les humains des ordinateurs
• Computationnalisme
• Intelligence artificielle
• Prix Loebner
• Test de Voight-Kampff

Liens externes

• (en) Encyclopédie de Philosophie de StanfordLe Test de Turing, par G. Oppy et D. Dowe
• (en) Test de Turing : 50 ans après [PDF], retour sur un demi-siècle de travaux sur le Test de Turing
• (en) Pari entre Kapor et Kurzweil, comprenant leur point de vue respectif en détail
• Turing : Les machines peuvent-elles penser ?

• Portail de l'informatique théorique