Back KI-belyning Afrikaans مشكلة التحكم في الذكاء الاصطناعي Arabic Alineació de la IA Catalan AI-Alignment German AI alignment English Alineación de la inteligencia artificial Spanish مسئله کنترل هوش مصنوعی Persian Tekoälyn suuntaaminen Finnish Masalah pengendalian kecerdasan buatan ID AIアライメント Japanese

Alignement des intelligences artificielles

L'alignement des intelligences artificielles (ou alignement de l'IA, ou encore problème de l'alignement) est un champ de recherche visant à concevoir des intelligences artificielles (IA) dont les résultats s'orientent vers les objectifs, éthiques ou autres, de leurs concepteurs[note 1]. On dit ainsi qu'une IA est alignée avec un opérateur si elle essaie de faire ce que l'opérateur veut qu'elle fasse[2].

Les systèmes d'IA peuvent être difficiles à aligner, et être dysfonctionnels ou dangereux si mal alignés. Il est parfois trop complexe pour les concepteurs d'IA de spécifier tous les comportements souhaitables ou indésirables, d'où l'utilisation d'objectifs plus simples à spécifier. Mais les systèmes d'IA sont parfois capables de suroptimiser cet objectif simplifié de façon inattendue voire dangereuse[3],[4],[5]. Ils peuvent également développer des comportements instrumentaux indésirables tels que la recherche de pouvoir, car cela les aide à atteindre leurs objectifs[6],[4],[7] De plus, ils peuvent développer des objectifs émergents qui peuvent être difficiles à détecter avant le déploiement du système, face à de nouvelles situations et distributions de données[8]. Ces problèmes affectent les systèmes commerciaux existants tels que les robots[9], les modèles de langage[10],[11], les véhicules autonomes[12], et les moteurs de recommandation des médias sociaux[3],[13]. Cependant, ces problèmes résultant en partie d'une intelligence élevée, les systèmes futurs pourraient être plus à risque[14],[6],[4].

La communauté des chercheurs en IA[15] et l'ONU[16] ont appelé à des recherches techniques et à des solutions politiques pour garantir que les systèmes d'IA soient alignés avec les valeurs humaines.

L'alignement fait partie du domaine de la sûreté des intelligences artificielles, qui inclut aussi la robustesse, la surveillance ou encore le contrôle des capacités[4]. L'alignement a pour défis de recherche l'apprentissage par l'IA de valeurs morales complexes, la sincérité des modèles d'IA, la surveillance automatisée, l'audit et l'interprétation des modèles d'IA, ainsi que la prévention des comportements émergents de l'IA comme la recherche de pouvoir[4]. La recherche sur l'alignement bénéficie entre autres des avancées en interprétabilité des modèles d'IA, robustesse, détection d'anomalies, calibration des incertitudes, vérification formelle[17], apprentissage des préférences[18],[19], sûreté des systèmes critiques[20], théorie des jeux[21],[22], équité algorithmique, et sciences sociales[23].

  1. ↑ (en) Iason Gabriel, « Artificial Intelligence, Values, and Alignment », Minds and Machines, vol. 30, no 3,‎ , p. 411–437 (ISSN 1572-8641, DOI 10.1007/s11023-020-09539-2, S2CID 210920551, lire en ligne, consulté le ).
  2. ↑ (en) Paul Christiano, « Clarifying “AI alignment” », sur Medium, (consulté le ).
  3. ↑ a et b (en) Stuart J. Russell, Human compatible: Artificial intelligence and the problem of control, Penguin Random House, (ISBN 9780525558637, OCLC 1113410915, lire en ligne).
  4. ↑ a b c d et e (en) Dan Hendrycks, Nicholas Carlini, John Schulman et Jacob Steinhardt, « Unsolved Problems in ML Safety », arXiv:2109.13916 [cs],‎ (lire en ligne, consulté le )
  5. ↑ (en) Alexander Pan, Kush Bhatia et Jacob Steinhardt « The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models » () (lire en ligne, consulté le )
    —International Conference on Learning Representations    .
  6. ↑ a et b (en) Stuart J. Russell et Peter Norvig, Artificial intelligence: A modern approach, 4e édition, (ISBN 978-1-292-40113-3, OCLC 1303900751, lire en ligne), p. 31–34.
  7. ↑ (en) Joseph Carlsmith, « Is Power-Seeking AI an Existential Risk? », arXiv:2206.13353 [cs],‎ (lire en ligne, consulté le ).
  8. ↑ (en) Lauro Langosco Di Langosco, Jack Koch, Lee D Sharkey, Jacob Pfau et David Krueger « Goal misgeneralization in deep reinforcement learning » ()
    — « (ibid.) », dans International Conference on Machine Learning, vol. 162, PMLR, p. 12004–12019    .
  9. ↑ (en) Kober, Bagnell et Peters, « Reinforcement learning in robotics: A survey », The International Journal of Robotics Research, vol. 32, no 11,‎ , p. 1238–1274 (ISSN 0278-3649, DOI 10.1177/0278364913495721, S2CID 1932843, lire en ligne).
  10. ↑ (en) Rishi Bommasani, Drew A. Hudson, Ehsan Adeli et Russ Altman, « On the Opportunities and Risks of Foundation Models », arXiv:2108.07258 [cs],‎ (lire en ligne, consulté le ).
  11. ↑ (en) Long Ouyang, Jeff Wu, Xu Jiang et Diogo Almeida, « Training language models to follow instructions with human feedback », arXiv:2203.02155 [cs],‎ (lire en ligne, consulté le ).
  12. ↑ (en) W. Bradley Knox, Alessandro Allievi, Holger Banzhaf et Felix Schmitt, « Reward (Mis)design for Autonomous Driving », arXiv:2104.13906 [cs],‎ (lire en ligne, consulté le )
  13. ↑ (en) Stray, « Aligning AI Optimization to Community Well-Being », International Journal of Community Well-Being, vol. 3, no 4,‎ , p. 443–463 (ISSN 2524-5295, PMID 34723107, PMCID 7610010, DOI 10.1007/s42413-020-00086-3, S2CID 226254676)
  14. ↑ Erreur de référence : Balise <ref> incorrecte : aucun texte n’a été fourni pour les références nommées :84
  15. ↑ (en-US) « AI Principles », sur Future of Life Institute (consulté le ).
  16. ↑ (en) « Commo nAgenda Report Evolution » [PDF], sur ONU.
  17. ↑ (en) Russell, Dewey et Tegmark, « Research Priorities for Robust and Beneficial Artificial Intelligence », AI Magazine, vol. 36, no 4,‎ , p. 105–114 (ISSN 2371-9621, DOI 10.1609/aimag.v36i4.2577, S2CID 8174496, lire en ligne)
  18. ↑ (en) Wirth, Akrour, Neumann et Fürnkranz, « A survey of preference-based reinforcement learning methods », Journal of Machine Learning Research, vol. 18, no 136,‎ , p. 1–46.
  19. ↑ (en) Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg et Dario Amodei « Deep reinforcement learning from human preferences » ()
    — « (ibid.) », dans Proceedings of the 31st International Conference on Neural Information Processing Systems, Red Hook, NY, USA, Curran Associates Inc. (ISBN 978-1-5108-6096-4), p. 4302–4310    .
  20. ↑ Sina Mohseni, Haotao Wang, Zhiding Yu et Chaowei Xiao, « Taxonomy of Machine Learning Safety: A Survey and Primer », arXiv:2106.04823 [cs],‎ (lire en ligne, consulté le ).
  21. ↑ (en) Clifton, « Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda », Center on Long-Term Risk, (consulté le ).
  22. ↑ (en) Dafoe, Bachrach, Hadfield et Horvitz, « Cooperative AI: machines must learn to find common ground », Nature, vol. 593, no 7857,‎ , p. 33–36 (ISSN 0028-0836, PMID 33947992, DOI 10.1038/d41586-021-01170-0, Bibcode 2021Natur.593...33D, S2CID 233740521, lire en ligne).
  23. ↑ (en) Irving et Askell, « AI Safety Needs Social Scientists », Distill, vol. 4, no 2,‎ , p. 10.23915/distill.00014 (ISSN 2476-0757, DOI 10.23915/distill.00014, S2CID 159180422, lire en ligne)


Erreur de référence : Des balises <ref> existent pour un groupe nommé « note », mais aucune balise <references group="note"/> correspondante n’a été trouvée

Rich TVX News Network Site

Rich TVX News Network Info

© MMXXIII Rich X Search. We shall prevail. All rights reserved. Rich X Search