L'IA GPT-3 serait capable de rédiger des mémoires de fin d'études en moins de 20 minutes

Et si plutôt qu'éliminer nos emplois les IA parvenaient à nous faire obtenir des diplômes ?

C'est ce qu'aurait démontré une expérience menée par le site de ressources éducatives EduRef l'année dernière. L'objectif : mettre à l'épreuve (littéralement) l'intelligence artificielle GPT-3 d'OpenAI, le laboratoire de recherche en IA co-fondé par le richissime multi-milliardaire super-entrepreneur-à-la-Iron-Man Elon Musk (ne vous méprenez pas, je suis un fanboy).

GPT-3, qui se détache justement des autres systèmes par sa capacité de traitement du langage naturel, est le plus gros modèle de langage jamais entraîné, avec 175 milliards de paramètres à sa sortie en 2020.

Dans le cadre de cette expérience, 4 sujets de mémoires de fin d'études (niveau universitaire donc) ont été remis à l'IA, qui a mis entre 3 et 20 minutes (ça calme) pour rédiger chacune de ses copies. Parmi ces sujets : un compte-rendu sur l'efficacité des vaccins contre la Covid-19, un document portant sur l'histoire des États-Unis, une dissertation créative, et une étude de texte de loi.

Après avoir été mélangées à d'autres articles de recherche rédigés par de vrais étudiants humains — qui ont quant à eux mis environ 3 jours pour achever l'exercice —, celles-ci ont été évaluées par un panel de professeurs universitaires.

Et le résultat est assez bluffant : l'IA a obtenu une note moyenne de C (notation américaine) à 3 de ces examens, alors que les étudiants se situaient sur des notes entre B et D. Sa seule faiblesse porte sur l'épreuve créative, nécessitant une approche narrative beaucoup moins technique que les autres sujets, où elle a obtenu un F.

En plus de noter les copies, les évaluateurs ont participé à un questionnaire visant à collecter et analyser leur ressenti sur la manière dont étaient rédigés ces essais.

Alors qu'un minimum d'interférence humaine a édité les rédactions de l'IA, les articles rédigés par GPT-3 ont reçu plus ou moins les mêmes retours du jury que ceux formulés à l'encontre des rédacteurs humains.

Bien que le résultat global de l'IA sur ces épreuves reste passable d'un point de vue notation, il n'en reste pas moins qu'il s'agit de la moyenne, et qu'elle est parvenue à dépasser les notes de certains étudiants de le cadre de certaines rédactions.

L'histoire ne dit pas si certains étudiants ont d'ores et déjà fait usage de GPT-3 pour leurs rédactions universitaires, même si certains messages commencent à fleurir ici et là sur la toile, à la recherche de conseils pour configurer rapidement une IA et lui faire rédiger en urgence un devoir à rendre... le lendemain.

Suivre Les Joies du Code sur Twitter

À lire aussi sur Les Joies du Code :

🧠 Encore une IA qui veut coder à notre place ?!

GitHub propose désormais de créer des diagrammes avec du Markdown