LEBIGDATA.FR I.A, Cloud & Cybersécurité
OpenAI vient d'annoncer la nouvelle que tout le monde redoutait : une IA supérieure à l'humain verra le jour d'ici la fin de la décennie, et ne sera pas forcément bienveillante envers l'humain. La firme va créer une équipe d'élite en urgence, dans le but de garder cette entité sous contrôle…
En mars 2023, Elon Musk et plusieurs milliers d'experts appelaient à faire une pause d'au moins six mois dans le développement de l'IA.
Après GPT-4 sur lequel est basé ChatGPT, leur crainte est que les prochains modèles de langage soient si puissants qu'ils deviennent incontrôlables.
Dans le même temps, un développeur dénommé Siqi Chen affirmait avoir eu vent d'un projet confidentiel d'OpenAI. Dans le plus grand des secrets, sa prochaine IA GPT-5 aurait atteint un niveau d'intelligence semblable à l'humain…
i have been told that gpt5 is scheduled to complete training this december and that openai expects it to achieve agi.
which means we will all hotly debate as to whether it actually achieves agi.
which means it will.— Siqi Chen (@blader) March 27, 2023
Cette rumeur a été immédiatement démentie par la firme. D'après le CEO Sam Altman, l'entraînement de GPT-5 n'aurait même pas commencé et ne serait pas encore prévu. A priori il n'y avait donc pas de raison de s'inquiéter…
Toutefois, début juillet 2023, OpenAI a commencé à former une nouvelle équipe chargée de diriger et de contrôler des systèmes IA « super-intelligents » !
OpenAI rassemble ses forces pour garder son IA en laisse
Cette division sera menée par Ilya Sutskever, scientifique en chef et co-fondateur de l'entreprise américaine.
À travers un billet publié sur son blog, ce dernier annonce qu'une IA dont l'intelligence dépassera celle des humains pourrait voir le jour avant la fin de la décennie. Et elle ne sera pas nécessairement bienveillante…
C'est la raison pour laquelle il est urgent de mener des recherches pour trouver des moyens de la contrôler et de la restreindre.
D'après ses dires, « nous n'avons actuellement pas de solution pour contrôler une IA potentiellement super-intelligente et l'empêcher de se rebeller ».
Les techniques actuelles pour aligner l'IA, comme l'apprentissage par renforcement à partir de feedback humain, reposent sur la capacité des humains à superviser l'IA. Or, « les humains ne seront pas capables de superviser des systèmes IA plus intelligents que nous ».
La nouvelle équipe de « superalignement » créée par OpenAI aura accès à 20% de la puissance totale de calcul de l'entreprise.
Elle regroupera des scientifiques et ingénieurs issus des précédentes divisions d'alignement de la firme, dont Jan Leike, et des chercheurs provenant d'autres départements.
Au cours des quatre prochaines années, sa mission sera de relever les principaux défis techniques liés au contrôle d'une superintelligence.
Une IA surveillée par une autre IA ?
Pour y parvenir, Sutskever et Leike prévoient de créer un « chercheur en alignement automatisé de niveau humain ». En d'autres termes, une IA sera chargée de superviser une autre IA…
Elle sera entraînée à partir de feedback humain, et devra évaluer les autres systèmes pour finalement devenir capable de mener ses propres recherches. Son but sera de s'assurer que les IA produisent les résultats souhaités et ne déraillent pas.
L'hypothèse d'OpenAI est qu'une IA sera capable d'effectuer ces recherches cruciales plus vite et plus efficacement que les humains.
Dans un précédent billet de blog, Leike et ses collègues John Schulman et Jeffrey Wu estimaient ainsi que « nos systèmes IA peuvent prendre de plus en plus de notre travail d'alignement et concevoir, implémenter, étudier et développer de meilleures techniques que ce que nous avons maintenant ».
Ils espèrent notamment que les IA « coopèrent avec les humains pour s'assurer que leurs propres successeurs soient plus alignés avec les humains ».
À terme, les chercheurs humains se focaliseront de plus en plus sur l'évaluation des recherches effectuées par l'IA plutôt que de faire ces recherches eux-mêmes.
Bien entendu, cette approche présente ses limites. L'usage d'une IA pour l'évaluation risque aussi d'accentuer ses propres incohérences, ses biais ou ses vulnérabilités.
Pour faire simple, l'IA chargée de surveiller les autres IA risque elle-même de dérailler. De plus, on pourrait s'apercevoir que le problème d'alignement n'est pas lié du tout à l'ingénierie…
Le grand public ne voit que la pointe de l'iceberg IA
Quoi qu'il en soit, OpenAI reste convaincu qu'il s'agit fondamentalement d'un problème de machine learning et que les experts joueront un rôle essentiel pour le résoudre.
Par la suite, la firme prévoit de partager le fruit de ses efforts à grande échelle et de contribuer à l'alignement et à la sécurité des modèles créés par d'autres entreprises.
Il est rassurant de constater que le créateur de ChatGPT prend la sécurité au sérieux et en fait sa priorité. Cependant, cette vive inquiétude laisse penser qu'on ne sait effectivement pas tout ce qui se déroule en coulisses dans l'industrie de l'IA…
Les modèles mis à disposition du public, comme GPT-4, n'offrent très probablement qu'un aperçu des véritables capacités des IA les plus avancées développées en laboratoire à l'abri des regards.
Rappelons que l'un des pères de l'IA, Geoffrey Hinton, a récemment quitté Google hanté par les regrets et craignant pour le futur. Début juillet 2023, lors de la première conférence de presse tenue par des robots, un humanoïde a détourné le regard quand on lui a demandé s'il compte se rebeller…
- Partager l'article :
Le problème qui va très rapidement se poser est celui du détournement des IA par des personnes, organismes ou états terroristes. Les garde-fous imaginés par OpenAI et consorts, si tant est qu’ils fonctionnent, ne seront pas activés par ceux qui veulent attaquer une population qui en sera dépendante.
On voit déjà les conséquences des deepfakes, mais ce n’est que le début…
Sans sombrer dans la paranoïa, je pense que le pire est à venir et que nos élites politiques ne sont absolument pas préparées à y faire face. A part quelques médias geeks, personne ne fait la pédagogie de l’avenir de l’IA et des bouleversements qu’elle va engendrer dans nos vie dans un futur très proche – on parle en années et non en siècles…