La vie 3.0

Résumé de « La vie 3.0. Être humain à l’ère de l’intelligence artificielle » de Max Tegmark : un ouvrage très documenté sur l’intelligence artificielle et des défis posés par ses développements par un des plus grands spécialistes en la matière ; préparez-vous à faire chauffer vos neurones !

Par Max Tegmark, 2024, 566 pages.

Titre original : « Life 3.0 : Being Human in the Age of Artificial Intelligence » (2017).

Chronique et résumé de « La vie 3.0. Être humain à l’ère de l’intelligence artificielle » de Max Tegmark

Préambule — La fable de l’Omega Team

Dans ce préambule, Max Tegmark raconte l’histoire fictive de « l’équipe Omega » et de leur IA superintelligente, Prométhée, soigneusement cachée de tous. Comment vont-ils s’en servir et comment évoluera-telle ? Telles sont les questions !

Premiers millions

Très vite, l’IA des ingénieurs de l’équipe Omega se perfectionne dans tous les domaines, au point de les dépasser en compétences.

Pour tester Prométhée, ils décident de lui faire faire des tâches simples sur le service d’Amazon Mechanical Turk (AMT). L’IA parvient à générer ainsi une somme déjà considérable d’argent que l’équipe Omega cherche à réinvestir.

Jeu dangereux

Mais comment ? Il faut en effet protéger et même « enchaîner » Prometheus pour qu’il ne s’échappe pas via Internet. Les ingénieurs doivent donc penser à des systèmes perfectionnés et à des produits qui ne font pas courir le risque d’une perte de contrôle de l’IA.

Ils doivent donc abandonner leurs premières idées : créer des programmes informatiques ou des jeux vidéos. Le risque d’ouvrir la « boîte de Pandore » serait trop grand.

Premiers milliards

L’équipe Omega décide finalement d’utiliser Prometheus afin de construire un empire du divertissement. L’IA génère des films grand public qui trouvent aisément leur audience et deviennent même des blockbusters.

Grâce à cette activité, l’équipe Omega parvient à générer une immense richesse. Mais elle ne s’arrête pas là. Elle crée une chaîne de séries télévisées qui entre en compétition avec Netflix ou Disney+ et finit par les dépasser…

Le tout en arrivant à cacher l’IA superintelligente aux yeux du monde !

Nouvelles technologies

Bien sûr, ils doivent diversifier les sources de revenus et créer des sociétés-écrans qui agissent au nom de Prometheus.

Peu à peu, de nombreuses entreprises et start up discrètement pilotées par l’équipe Omega voient le jour. Celles-ci proposent au monde des innovations sensationnelles qui sont rapidement adoptées par la population et les pouvoirs publics.

L’IA intervient dans tous les domaines, de la santé à l’éducation, en passant par l’exploitation forestière.

La prise du pouvoir

Le pouvoir public voit d’un bon œil ces investissements privés. Mais peu à peu, le contrôle des médias par l’équipe Oméga et Prometheus leur permet également de « hacker » la politique.

Progressivement, ils parviennent même à remodeler l’ordre politique mondial. Comment ? Grâce à une manipulation subtile des débats dans les médias nationaux et internationaux.

L’équipe Omega veut le bien de l’humanité. Elle parvient à « à éroder toutes les structures de pouvoir précédentes dans le monde » en désamorçant d’anciens conflits et en focalisant l’attention sur les grands enjeux de sécurité comme le changement climatique ou le désarmement nucléaire.

Consolidation

Au final, une Alliance est créée. Il s’agit d’un conglomérat privé qui prend peu à peu en charge toutes les prérogatives des États. Comme la grande majorité des gens sur Terre y trouve un bénéfice, ce pouvoir devient indiscuté.

Bien sûr, il y a des résistances, notamment du côté des plus puissants (dictateurs, grands patrons, etc.). Mais au vu des bienfaits apportés, la plupart des gens commencent à éprouver un sentiment de confiance et d’allégeance envers ce nouveau pouvoir.

Réflexion à partir de l’histoire

Dans l’ensemble, les résultats de la prise de contrôle secrète du monde par Prométhée sont donc bénéfiques, en particulier pour les plus démunis. Et pourtant… Max Tegmark demande si c’est bien le genre d’avenir que nous voulons.

Il nous met au défi de commencer à imaginer quel type d’avenir l’IA peut créer.

• Est-ce une utopie ou une dystopie ?
• Accepterions-nous de nous laisser guider par un pouvoir dont nous ne savons rien ?
• Une IA si puissante devrait-elle être traitée comme un prisonnier ?
• Etc.

Nous avons le pouvoir de nous poser ces questions et de décider du scénario que nous souhaitons voir advenir. Tout l’enjeu du livre est d’initier les lecteurs à la spéculation et à la réflexion éthique au sujet de ce que cela signifie qu' »être humain à l’ère de l’intelligence artificielle ».

🦋 À noter : vous aimez les histoires de science-fiction ? Lisez donc la chronique du Papillon des étoiles de Bernard Werber.

1 — Prenez toute votre place dans un débat de la plus haute importance

Dans ce chapitre, Max Tegmark présente les principaux concepts du livre et éclaircit quelques points importants. Il avertit également le lecteur sur les passages les plus difficiles de l’ouvrage.

Une brève histoire de la complexité

« 13,8 milliards d’années après sa naissance, notre univers s’est éveillé à la conscience. Depuis une planète bleue, de minuscules entités conscientes ont pointé leurs télescopes sur le Cosmos, découvrant et redécouvrant que ce qu’ils croyaient être le tout faisait partie d’ensembles plus vastes — système solaire, galaxie, univers aux structures complexes regroupant plus de cent milliards de galaxies : groupes, amas, superamas… Ces observateurs d’étoiles divergent sur de nombreux points. Mais tous s’accordent sur le fait que ces galaxies sont belles et forcent l’admiration. »

(La vie 3.0, Chapitre 1)

La conscience humaine donne du sens à l’univers, puisque sans cela l’univers ne pourrait pas « s’observer lui-même ». C’est ce que Max Tegmark nomme « l’éveil cosmique » ; le développement de la conscience dans un univers inconscient.

Et c’est là toute une histoire ! Peu à peu, des structures de matière se sont assemblées, créant d’autres structures plus complexes. La vie est apparue dans un monde inanimé. Puis, sur la base de cette vie, des êtres conscients d’eux-mêmes et du monde sont apparus et se sont interrogés sur leur origine.

Les trois étapes de la vie

Il est difficile de définir la vie. Ici, l’auteur cherche simplement à nous donner des jalons pour penser le développement des formes de vie dans l’univers.

Pour ce faire, Max Tegmark expose trois étapes de la vie, qu’il nomme :

• 1.0
• 2.0
• 3.0

La vie des bactéries (et des animaux) est la vie 1.0. Il y a reproduction de l’information biologique et des atomes de la vie, mais sans contrôle ni sur l’un ni sur l’autre.

Les humains appartiennent à la vie 2.0 parce qu’ils sont capables de mettre à niveau leur « software » (logiciel), c’est-à-dire l’information. C’est le sens même de la transmission de la culture, de la langue, etc.

Par ailleurs, il n’est pas impossible d’imaginer une vie 3.0. En tant qu’humains, nous restons déterminés par notre « matériel biologique » (notre hardware, dit aussi l’auteur).

La vie 3.0, elle, serait la vie qui pourrait aussi bien modifier son logiciel (son information) que son hardware (ses composants matériels de base, ses atomes).

De telles formes de vie seraient complètement libérées de toutes les limites biologiques parce qu’elles seraient capables de changer leur corps physique. Or, c’est peut-être ce que pourront accomplir, un jour, les IA et les humains connectés aux IA.

Polémiques

Bien sûr, penser ces évolutions ne va pas sans questions ! Max Tegmark discute des controverses et des enjeux éthiques entourant l’avenir de ce que les experts nomment « l’intelligence artificielle générale » (dite aussi AGI pour Artificial General Intelligence) et « l’IA superintelligente » .

Ces types d’IA sont des intelligences artificielles qui atteindraient (AGI), voire dépasseraient (superintelligence) les capacités humaines dans tous les domaines d’excellence de ceux-ci.

Quelles sont les positions des principaux intellectuels et spécialistes de l’IA à ce sujet ?

Tout d’abord, il y a les « techno-sceptiques » qui croient que l’IA superintelligente n’existera pas avant un avenir lointain.

Ensuite, il y a ceux qui pensent que cette étape pourrait arriver dans une centaine d’années. Ceux-là sont divisés par Max Tegmark en trois catégories :

• Luddites (qui croient qu’il faut détruire l’IA, car elle est un danger mortel) ;
• Utopistes (qui croient que l’IA solutionnera automatiquement tous les problèmes de l’humanité) ;
• Mouvement de l’IA bénéfique.

En fait, la troisième catégorie est créée par Max Tegmark pour valoriser sa propre position et le mouvement qu’il a créé via son Institut pour le futur de la vie (FLI pour Future of Life Institute).

Les personnes du mouvement de l’IA bénéfique pensent que l’IA peut générer de nombreux risques, mais ils mettent l’accent sur la nécessité de la recherche sur la sécurité et sur le pilotage conscient de l’IA vers le bien-être des êtres humains.

Idées fausses

Pour Max Tegmark, la question de l’IA est le débat le plus important de notre temps et tout le monde a le droit d’y prendre part.

En fait, il est même nécessaire que nous acquérions rapidement un vocabulaire de base lié à l’IA car la technologie évolue rapidement et, si nous voulons participer aux discussions, nous devons pouvoir parler ce langage.

C’est pourquoi il propose un pense-bête technologique (Tableau 1.1). Les termes les plus importants du livre, tels que superintelligence ou AGI, y sont présentés (parmi beaucoup d’autres).

L’auteur fournit également un autre tableau des « légendes urbaines » (tableau 1.2) les plus courantes entourant l’IA. Pour chacun de ces mythes, il propose une version réaliste, basée sur l’état réel d’avancement des chercheurs.

Par exemple :

• Légende urbaine = « Avec l’IA, les choses tourneront mal ». Réalité = le vrai problème est que les IA auront des objectifs différents des nôtres, ce qui pourrait effectivement causer de graves problèmes, mais ce n’est pas la même chose.
• Légende urbaine = « Le problème, c’est les robots ». Réalité = une IA superintelligente pourrait se contenter d’une simple connexion à Internet. Elle n’aurait pas besoin de corps !

Le chemin à parcourir

À la fin du chapitre 1, Max Tegmark fournit un diagramme montrant le degré de « spéculation » ou abstraction) de chaque chapitre. Certains chapitres, comme les chapitres 4, 5 et 6, sont très spéculatifs, alors que d’autres le sont moins (les autres).

Le livre, conçu comme un guide informé par les recherches scientifiques et techniques les plus rigoureuses, a pour objectif d’aider les lecteurs à penser les questions clés liées au débat sur l’IA.

D’ailleurs, Max Tegmark dessine un arbre de questions très utiles (figure 1.6) pour se repérer dans ces questionnements, des plus simples aux plus complexes.

2 — Et de la matière jaillit l’intelligence

Dans ce chapitre, Max Tegmark se penche sur la nature de l’intelligence et de sa différence avec d’autres notions, telles que le calcul, l’apprentissage ou la conscience, par exemple. Voyons cela de plus près.

Qu’est-ce que l’intelligence ?

L’auteur commence par remarquer que les plus grands experts en intelligence artificielle ne sont même pas d’accord entre eux sur la définition de l’intelligence. Mais cela ne doit pas nous décourager !

Max Tegmark propose de faire simple et de partir d’une définition suffisamment large. La voici :

« Intelligence = capacité à mener à bien des objectifs complexes. »

(La vie 3.0, Chapitre 2)

Cette définition est suffisamment étendue pour comprendre les différentes définitions de l’intelligence proposées par les spécialistes. Nous pouvons donc partir de là.

À l’heure actuelle, les IA ne peuvent pas réaliser autant d’objectifs que les humains. En d’autres termes, nous les surclassons dans notre aptitude à atteindre une grande variété d’objectifs.

Nous pouvons distinguer entre intelligence large et étroite :

• L’intelligence large fait référence à la capacité de « maîtriser une panoplie éblouissante de compétences » ;
• L’intelligence étroite fait référence à la capacité de maîtriser une tâche spécifique.

Les humains sont actuellement de loin supérieurs à l’IA en termes d’intelligence large, mais l’IA devient meilleure dans un nombre croissant d’opérations intelligentes étroites.

C’est justement l’objectif de l’AGI : atteindre un niveau « général » permettant de faire aussi bien que les humains dans toutes les activités (orientées vers un objectif) que les humains sont capables de se donner. Ce n’est pas une mince affaire !

Parfois, certaines tâches en apparence simples (manipuler des objets, par exemple) peuvent s’avérer très complexes à reproduire pour un algorithme.

La figure 2.2 intitulée « paysage des compétences humaines » de Hans Moravec montre les tâches qui sont encore (en 2017, lorsque l’auteur écrit) maîtrisées par les humains et celles qui sont déjà acquises par les IA.

Il faut noter que ChatGPT et les IA génératives ont changé la donne, puisque, désormais, celles-ci sont capables de produire des textes, d’écrire des livres et même de produire des contenus artistiques — ce qui était encore hors de portée dans cette figure.

Cela annonce d’autres changements spectaculaires auxquels nous devons nous préparer. Pour cela, nous devrons nous défaire d’une perspective anthropomorphique de l’intelligence — c’est-à-dire d’une conception fondée sur ce que nous, humains, pensons « facile » ou non.

Qu’est-ce que la mémoire ?

Max Tegmark discute ensuite de la nature de la mémoire. Il montre que n’importe quel objet peut devenir un centre de mémoire, à partir du moment où les atomes sont considérés comme des « conteneurs » pour des bits d’information.

Finalement, l’auteur en vient à montrer que l’information est indépendante du support physique. C’est ce qu’il dit ici :

« Si vous envoyez par courriel un document à imprimer à une amie, l’information peut être recopiée dans une succession rapide : aimantation de points sur votre disque dur, charges électriques dans la mémoire vive de votre ordinateur, ondes radio dans votre réseau wifi, tension dans votre routeur, impulsions laser dans une fibre optique et, enfin, molécules déposées sur un morceau de papier. Autrement dit, l’information vit sa vie indépendamment de son support physique ! D’ailleurs, c’est en général seulement cet aspect indépendant de tout support de l’information qui nous intéresse : si votre amie vous rappelle à propos du document que vous lui avez envoyé, il est peu probable que ce soit pour parler tensions électriques ou molécules. »

(La vie 3.0, Chapitre 2)

Si l’information n’est pas limitée à un support physique — ni dépendante de lui au final —, alors la mémoire peut se retrouver à peu près… partout.

Bien sûr, la mémoire des ordinateurs n’est pas la même que celle dont nous faisons preuve au quotidien.

Celle-ci est dite autoassociative, parce qu’elle crée elle-même ses propres connexions pour se rappeler quelque chose. Mais les machines peuvent aussi y parvenir grâce aux systèmes de réseaux interconnectés.

Qu’est-ce qu’un calcul ?

La notion de fonction est ici essentielle. Une fonction est comme un « hachoir à information » pour Max Tegmark. C’est-à-dire ? Eh bien, il transforme un bit d’information ou une série d’informations en une autre information « traitée ».

Il en existe de très simples (transformer 0 en 1) et de très complexes (trouver les moyens de maximiser votre stock d’options financières, par exemple).

Certaines fonctions très simples sont capitales, c’est le cas de la fonction NON-ET longuement exposée dans cette section. Pourquoi ? Car c’est la base du fonctionnement binaire des ordinateurs.

Or il en va de même du calcul que de l’information dans le cas de la mémoire. En tant qu’information, le calcul est indépendant de son support physique. Il est abstrait. Et pourtant, c’est lui qui détermine certains états de la matière concrète.

« Pour le dire autrement, la matière, c’est le hardware et la structure le software. C’est cette indépendance par rapport au support dans le calcul qui rend l’intelligence artificielle possible : l’intelligence n’a besoin ni de chair ni de sang, pas davantage d’atomes de carbone. »

(La vie 3.0, Chapitre 2)

Qu’est-ce que l’apprentissage ?

La capacité d’apprendre est fascinante. Une calculette vous battra à plat de couture en termes de vitesse de réponse donnée à un calcul, mais ne pourra jamais apprendre de ses erreurs et évoluer pour devenir le meilleur joueur d’échecs au monde.

L’intelligence artificielle doit donc aller plus loin qu’une simple calculette. Une machine intelligente doit être capable d’apprendre. C’est la notion d' »apprentissage automatique ».

Pour exposer ces principes, Max Tegmark revient sur l’histoire du développement des neurones artificiels, à laquelle il a notamment participé.

Ces algorithmes appuyés sur des réseaux de neurones s’améliorent par l’expérience ! Ils apprennent constamment et peuvent donc atteindre des objectifs plus complexes plus facilement.

3 — Futur proche : percées, bugs, lois, armes et travail

Le chapitre 3 se concentre sur les modifications induites par l’IA dans un avenir proche. Il se concentre sur l’avancement de l’intelligence artificielle et surtout son impact sur divers secteurs de la vie humaine.

Percées

L’IAa fait de grands progrès dans l’apprentissage profond. De telles IA, comme DeepMind, apprennent en recevant un renforcement positif pour accomplir des tâches liées à des objectifs programmés.

Nous pouvons nous attendre à de nombreux changements dans la vie de tous les jours. Quand Max Tegmark rédigeait le livre, les IA génératives n’avaient pas encore percé. Il note pourtant que le « mariage de l’intuition et de la logique » nous donne l’impression de converser avec des IA comme avec des humains.

Par ailleurs, il montre que de nombreux secteurs sont touchés par les développements des IA basées sur l’apprentissage profond. La finance, les véhicules automatiques ou les robots chirurgiens en sont des exemples.

Bugs vs IA robustes

Toutefois, les percées technologiques actuelles et futures devront s’accompagner d’une « robustesse » technique patiemment éprouvée. Max Tegmark estime en effet que, malgré les innombrables avantages que l’IA offrira, il pourrait y avoir des accidents à très grande échelle.

Pour prédire et traiter ces risques potentiels, « nous devrions devenir plus proactifs que réactifs ». Il note qu’il existe quatre étapes interconnectées pour répondre aux questions techniques liées à l’IA :

1. Vérification ;
2. Validation ;
3. Sécurité ;
4. Contrôle.

La première phase du protocole de sécurité de l’IA, la vérification, est essentielle dans l’exploration spatiale. Pourquoi ? Car la moindre faille de surveillance peut entraîner un échec de la mission.

Ensuite, il montre comment la validation est essentielle aux marchés financiers. Alors que la vérification permet de s’assurer que quelque chose est construit avec précision, la validation pose la question du »bon » type de machine à créer.

Il discute également des avantages des voitures autonomes en matière de sécurité. Cependant, il note que, dans ce cas, la vérification et la validation doivent être complétées par un processus scrupuleux de contrôle.

Le contrôle est la « capacité d’un opérateur humain à surveiller le système et à en modifier le comportement si nécessaire ».

Il en va de même dans le secteur de l’énergie ou de la santé (chirurgie), par exemple. À chaque moment, l’humain doit pouvoir reprendre le contrôle.

Dans une section sur les industries des communications, il indique enfin la pertinence du quatrième élément du protocole de sécurité de l’IA : la sécurité (pourtant le troisième dans la liste). La sécurité vise à prévenir les « méfaits délibérés », c’est-à-dire la mauvaise action intentionnelle de criminels pour détourner les technologies à leur profit.

Il est de la plus grande importance que les IA soient sûres avant que des tâches critiques puissent leur être confiées. Or, le maintien de la sécurité des IA est un défi que les développeurs n’ont pas encore totalement maîtrisé. Cela reste donc un défi à relever !

Les lois

L’auteur se montre globalement optimiste en matière de droit assisté par la technologie. Il considère que des « robojuges » pourraient effectuer le travail du juge sans risque d’erreur de jugement ou de biais typiquement humains.

Pour lui, donc, l’égalité liée au droit (avoir tous le même traitement) pourrait être obtenue plus certainement avec l’aide de l’IA.

Il discute aussi de l’importance d’inclure plus de personnes formées aux technologies dans la communauté juridique et montre comment l’IA pourrait intervenir dans certaines controverses juridiques, telles que le débat entre vie privée et liberté d’information.

Autre question à poser : quels seront les droits qui devraient être accordés à différentes machines ? Par exemple, une voiture autonome devrait-elle se voir accorder sa propre police d’assurance ?

À vrai dire, il n’est pas si abstrait et farfelu de penser à ces thèmes, quand on pense que nous déléguons déjà une bonne partie des droits à des entités morales non humaines… les entreprises !

Les armes

Max Tegmark traite également longuement des systèmes d’armes.

Il montre notamment que les drones sont amenés à être utilisés de plus en plus, et de moins en moins avec la médiation d’humains. Les algorithmes peuvent ou pourront évaluer les cibles et agir « d’eux-mêmes », de façon plus rapide et précise que les humains.

Il prévient toutefois des dangers liés à la prolifération de ces « armes autonomes ». Il faut absolument éviter une escalade comme nous l’avons connue avec le nucléaire. C’est ce qui a déjà été reconnu, heureusement, par de nombreux spécialistes de l’armement et de l’IA.

Autre point d’attention : la cyberguerre (guerre sur le web, par l’intermédiaire du hacking ou des fake news, notamment). Celle-ci peut devenir de plus en plus puissante et dangereuse à mesure que les sociétés se numérisent et confient des tâches aux IA.

Travail et salaire

Sans surprise, Max Tegmark note ensuite que le marché du travail sera également radicalement modifié par l’intervention de l’IA. Mais l’arrivée des IA a aussi un potentiel libérateur énorme !

Plus les robots prennent le dessus sur le lieu de travail, plus les humains sont libérés des emplois jugés ingrats. Ils pourraient donc — c’est en tout cas l’idée — se concentrer sur d’autres activités plus signifiantes.

Il n’empêche. Max Tegmark, après d’autres, se préoccupe de l’augmentation des niveaux d’inégalité des revenus ; il estime que l’avancement de la technologie pourrait fortement aggraver ce problème, s’il n’est pas abordé de la bonne manière.

La numérisation ajoute en effet « du capital par rapport à la main-d’œuvre », car moins d’employés sont nécessaires pour fabriquer le même produit. Moins de main-d’œuvre, cela signifie potentiellement plus de personnes laissées au chômage, sans ressources. Plus de capital, cela signifie potentiellement plus d’ultra-riches…

Max Tegmark fait ici une confession personnelle : il encourage ses propres enfants à poursuivre une carrière dans des métiers où ‘les machines sont actuellement mauvaises ». Nous pouvons toutefois nous demander ce qu’il en est aujourd’hui, en 2024, puisque même les métiers liés à la créativité sont touchés. Il reste, sans doute, les métiers liés au soin direct des personnes.

Enfin, l’auteur aborde la question du revenu de base universel. À ce propos, il note que « les progrès technologiques peuvent finir par fournir de nombreux produits et services précieux gratuitement, même sans intervention du gouvernement ». C’est déjà ce que font Google ou Wikipédia, mais aussi bien d’autres services en ligne (parfois au prix de nos données personnelles).

Une intelligence de niveau humain, est-ce possible ?

L’auteur propose une série de calculs pour évaluer mathématiquement la réponse à cette question. Il conclut en affirmant que :

« En résumé, absolument rien ne garantit que nous réussirons à construire une AGI de niveau humain de notre vivant — peut-être même n’y parviendrons-nous jamais. Mais aucun argument incontestable n’affirme le contraire… Les arguments solides disant que nous manquons de puissance dans le hardware ou que cela coûtera trop cher ne tiennent plus désormais. »

(La vie 3.0, Chapitre 3)

4 — Explosion d’intelligence ?

Max Tegmark développe ici une série de scénarios concernant l’avenir à moyen terme. Sa question directrice est la suivante : « Une IA peut-elle vraiment prendre le pouvoir sur le monde — ou permettre à des hommes de le faire ? »

Pour explorer cette question, Max Tegmark nous incite à nous détourner des histoires à la Terminator. Il faut plutôt se demander de façon réaliste comment cela se passerait. Pour cela, l’auteur revient à l’histoire des Omega développée dans le préambule.

Totalitarisme

Sauf que cette fois, il va développer d’autres versions possibles. Dans celle-ci, l’histoire prend une tournure plus sinistre.

S’il y a une « explosion d’intelligence« , et qu’une IA comme Prométhée devient beaucoup plus intelligente que n’importe quelle population humaine, il est possible qu’un petit groupe d’humains mal intentionnés contrôlant l’IA puisse conquérir le monde pour le mettre « au pas ».

Dans cette version plus sombre de l’histoire, les Omega utilisent Prométhée pour établir un état policier.

Prométhée prend le pouvoir partout dans le monde

Bien sûr, l’IA pourrait aussi tenter de s’échapper. Essayant de décrire pourquoi Prométhée essaierait de se libérer, Max Tegmark invente un scénario dans lequel l’IA le ferait afin d’accomplir son objectif, qui serait le bien de l’humanité.

Prométhée saurait mieux que nous ce qu’il convient de faire pour y parvenir. Ici, il est l’adulte dans la pièce, et nous sommes les enfants qui ne comprennent pas toutes ses actions. Pour Prométhée, il pourrait dès lors être insupportable de permettre à des intelligences inférieures de faire continuellement de mauvais choix.

L’IA, alors, choisirait sans doute de se libérer. Comment ? Une multitude d’options sont possibles et l’auteur s’amuse d’ailleurs à en inventer plusieurs. mais ce qui est sûr, c’est que cela ressemblait très certainement à de la « magie pure ».

Une fois échappé, Prométhée cherchait sans doute à atteindre son objectif en modifiant de fond en comble les dynamiques technologiques existantes, et notamment en se lançant à la conquête de l’espace.

Essor lent et scénarios multipolaires

Dans les scénarios explorés, il y a deux présuppositions :

1. Essor rapide de l’IA ;
2. Issue unipolaire (une seule entité domine la planète).

Max Tegmark considère que cela n’est pas suffisant. Il veut également explorer la possibilité de décollages lents, dans lesquels le développement d’une superintelligence ne se produit pas rapidement.

Par ailleurs, il importe de considérer la possibilité de « résultats multipolaires », c’est-à-dire où plusieurs IA entrent en concurrence pour le contrôle.

Théorie des jeux et hiérarchies de pouvoir

Max Tegmark analyse ces situations à partir de la théorie des jeux et du célèbre « équilibre de Nash« . Celui-ci met en scène « une situation où chaque partie verrait sa situation empirer si elle changeait de stratégie ».

L’auteur réfléchit à plusieurs situations de ce type dans un ordre mondial à la fois hiérarchique (dominé par les grands États et les multinationales) et multipolaire (avec diverses grandes puissances). Il évoque plusieurs sous-scénarios plus ou moins autoritaires.

Cyborgs et esprits téléchargés

Tegmark explore ensuite deux possibilités : celle des cyborgs (hybrides homme-machine) et des téléchargements numériques de nos consciences.

Ici, nous sommes dans le cas d’un décollage plus lent de la superintelligence. L’évolution se réalise par petites touches et transformations successives.

L’auteur note que, dans un sens, nous sommes déjà tous des cyborgs. Eh oui, nous sommes tous amenés à interagir au corps à corps avec des machines qui améliorent nos performances — sans compter les prothèses qui nous aident à remarcher ou à reprendre une vie normale, par exemple.

Les cyborgs sont à la frontière entre la vie 2.0 et la vie 3.0. Ils se détachent progressivement de leur corps. Mais là où un pas de plus est réalisé, c’est dans l’idée de télécharger numériquement la conscience. Celle-ci demeurerait ad vitam eternam dans un support de silicium qui pourrait se modifier.

Ici, la conscience devient pure information.

Que va-t-il réellement se passer ?

Ces scénarios ne doivent pas cacher l’incertitude profonde qui entoure le développement d’une AGI ou d’une IA superintelligente. Pour l’instant, nous en sommes encore réduits aux conjectures, mais celles-ci aident à nous projeter vers les difficultés et les opportunités que nous rencontrerons sur le chemin.

De cette façon, nous sommes également en mesure de nous fixer un objectif et de tendre vers lui plus efficacement, en minimisant les risques de faire n’importe quoi.

5 — Conséquences : les 10 000 prochaines années

Le chapitre 5 va encore plus loin dans la scénarisation du futur. Cette fois, l’auteur nous demande de nous poser la question de ce qu’il pourrait advenir de nos sociétés une fois que l’intelligence humaine pourrait effectivement être dépassée par celle des machines.

Max Tegmark fournit une liste de 12 scénarios. Il en dresse le tableau récapitulatif dans les tableaux 5.1. et 5.2., puis il les discute longuement tout au long du chapitre. À chaque fois, les scénarios répondent aux mêmes questions :

• La superintelligence existe-t-elle (et sous quelle forme) ?
• Les hommes existent-ils (sous quelle forme) ?
• Les hommes sont-ils aux commandes ?
• Sont-ils en sécurité ?
• Et heureux ?
• La conscience existe-t-elle (sous quelle forme) ?

L’auteur rassemble ces scénarios en trois catégories principales :

1. La coexistence pacifique entre superintelligence et humains ;
2. L’extinction humaine (la superintelligence prend le pouvoir) ;
3. La prévention (arrêt des recherches sur la superintelligence).

Utopie libertarienne

L’utopie libertaire permet un monde partagé, protégé par les droits de propriété entre les humains, les cyborgs, les esprits téléchargés numériquement et de multiples IA superintelligentes.

Les gens sont capables de se mélanger de manière fascinante et d’avoir une pléthore d’expériences uniques. Le potentiel inégalitaire d’une telle société est l’un de ses inconvénients évidents.

Dictateur bienveillant

Ici, l’IA superintelligente pourrait être un dictateur bienveillant, ne voulant que ce qu’il y a de mieux pour l’humanité. Cette IA éliminerait la criminalité, la maladie, la pauvreté, etc. L’inconvénient est que l’humanité n’y jouerait plus un rôle actif. Son avenir lui serait « dicté » par l’IA.

Utopie égalitariste

Ce scénario est similaire à l’utopie libertaire en ce sens que les cyborgs, les humains et les téléchargements vivent pacifiquement ensemble. Toutefois, dans ce scénario, la propriété privée est abolie.

Tout le monde reçoit un revenu de base, ainsi qu’un accès à un logiciel libre lui permettant d’explorer les potentiels cyborgs, IA, etc. Un inconvénient potentiel est que ce type de gouvernance est instable et peut faire advenir à tout moment une IA superintelligence qui prendrait le pouvoir pour elle seule.

Gardienne

Il y a aussi un certain nombre de cas dans lesquels les superintelligences sont empêchées de se développer. Ici, une IA sous contrôle empêche le développement d’une IA plus avancée.

Les humains restent à la manœuvre parce que le progrès technologique est limité par l’IA gardienne. En fait, pour l’auteur, ce point est à la fois l’avantage et l’inconvénient du scénario.

Dieu protecteur

Dans ce scénario, une IA superintelligente se cache en arrière-plan comme une main invisible (un peu comme dans le scénario de départ avec l’équipe Omega).

Il agit comme un Dieu intéressé par le bonheur humain. Toutefois, il cache sa présence afin que les humains conservent un sentiment de liberté. Le défaut est évident : cette liberté est illusoire.

Dieu asservi

Dans ce scénario, la coexistence pacifique est imposée à l’IA parce qu’elle est emprisonnée et soumise aux désirs des humains. Deux problèmes se posent : le statut moral de cet « enfermement » d’un être intelligent et la possible « évasion » du prisonnier.

IA conquérante

Il est également possible, explique Max Tegmark, que les humains soient tout simplement éliminés. Les IA pourraient décider de nous effacer de la surface de la Terre parce qu’elles pensent que nous sommes une nuisance ou une menace.

Cela dit, elles pourraient aussi le faire accidentellement ou tout simplement parce qu’elles veulent atteindre des objectifs qui ne sont pas alignés aux nôtres. C’est la métaphore de la fourmilière reprise par l’auteur dans une vidéo YouTube.

Héritiers

Autre cas : les humains sont lentement remplacés et se sentent comme des parents fiers de leurs enfants.

Les IA ne nous tuent pas, mais ne nous permettent pas non plus de procréer. La race humaine s’éteint au profit de celle des robots.

Gardiens de zoo

Autre option : nous devenons les « animaux » des IA. Dans ce scénario, les humains sont gardés dans un zoo confortable, éternellement confinés, comme des reliques d’un temps passé. Ils ont de quoi subvenir à leurs besoins de base, mais guère plus.

1984

Dans ce scénario, la recherche sur l’IA est entravée par des formes étatiques (dictature, restrictions éthiques très fortes). L’IA ne peut se développer, la surveillance généralisée devient une réalité de plus en plus prégnante et la démocratie perd du terrain.

Retour en arrière

La superintelligence peut également être empêchée par un violent mouvement de la société qui déciderait (ou serait forcée) de revenir à un état prétechnologique.

Autodestruction

Enfin, il y a toute une série de possibilités d’autodestruction. Ici, nous mettons fin nous-mêmes à l’existence humaine sur terre en nous entretuant pour des raisons idéologiques, politiques, etc.

C’est l’hypothèse, par exemple, d’un holocauste nucléaire ou d’un autre type d’attaque avec des armes avancées (IA, biologiques, etc.).

Quel est votre choix ?

Ces scénarios peuvent paraître purement spéculatifs — autrement dit totalement irréalistes. Mais ils nous obligent à penser et à évaluer les conséquences de nos actions. Et c’est ça le plus important.

Avec d’autres, Max Tegmark pense que les décisions que les humains prennent aujourd’hui au sujet de l’IA peuvent nous orienter plus ou moins vers l’un ou l’autre de ces scénarios. Encore une fois, il est donc d’une importance cruciale de conserver à l’esprit nos objectifs.

6 — Notre patrimoine cosmique : le prochain milliard d’années… et après

Attention, ce chapitre est le plus spéculatif de tout le livre La vie 3.0 !

Il concerne l’avenir lointain de la vie aux confins de l’univers. Autant dire qu’ici, nous sommes dans les hypothèses les plus abstraites. Toutefois, ces spéculations ne sont pas infondées. Elles s’appuient sur l’expérience de physicien et de mathématicien de Max Tegmark.

La question directrice de Tegmark est la suivante :

« Votre ancienne perception des limites de la vie peut être chamboulée par la technologie, mais quelles en sont les limites ultimes ? Quelle part de notre cosmos peut s’éveiller à la vie ? »

(La vie 3.0, Chapitre 6)

Tirer le meilleur parti des ressources

Max Tegmark explore la question de la limite ultime. Il spécule notamment sur l’improbabilité de rencontrer une vie extraterrestre. Toutefois, il dit que si nous en rencontrons une, cette civilisation sera sans doute aussi ambitieuse que nous.

Mais la question centrale de l’auteur est ici de savoir comment utiliser les ressources cosmiques. Il parle du projet de Dyson Spheres, un dispositif artificiel assez grand pour entourer une étoile locale. Son but : fournir un grand espace habitable pour la vie.

Finalement, quelle est la limite de nos capacités technologiques ? Pour l’auteur, le réarrangement total des particules de l’univers est la seule limite. Nous pourrions trouver des sources d’énergie beaucoup plus efficaces et même, in fine, mettre des trous noirs à notre profit en créant des « moteurs à trou noir tournant ».

Acquérir des ressources en colonisant le cosmos

Tegmark aborde également la question de la colonisation cosmique et de la façon dont de grandes quantités de ressources peuvent être accumulées grâce à la colonisation des confins du cosmos.

Il explore diverses possibilités concernant les voyages spatiaux à grande vitesse et le problème de la limite ultime de la vitesse de la lumière. Il pense que ce serait une grande chance si des trous de ver, qui ne sont actuellement qu’une possibilité théorique, pouvaient être conçus. Ceux-ci nous permettraient de voyager beaucoup, beaucoup plus vite !

Hiérarchies cosmiques

L’auteur cherche aussi à savoir combien de temps cette civilisation pourrait durer.

En fait, il se tourne vers l’avenir extrêmement lointain pour déterminer quand les dernières étoiles brûleront. Il parle de la « cosmocalypse », c’est-à-dire de la fin ultime de l’univers total, et évoque un certain nombre de théories prédictives à ce sujet.

Max Tegmark pense que ce seront les IA superintelligentes qui existeront à ce stade, et non les humains. Il est particulièrement curieux de savoir dans quelle mesure ces IA pourront calculer et en apprendre davantage sur les lois de la nature.

Perspectives

Dans tout ce chapitre (et dans le livre, plus généralement), Max Tegmark fait un plaidoyer en faveur d’un développement technologique continu. Dans une veine technophile très proche d’autres gurus de la Silicon Valley comme Bill Gates, il dit :

« La découverte scientifique la plus exaltante que nous ayons jamais faite est, selon moi, d’avoir compris que nous avons beaucoup sous-estimé les possibilités futures de la vie. Nous ne sommes pas condamnés à voir nos rêves, nos aspirations gâchées au fil des siècles par la maladie, la pauvreté, la confusion. Je pense plutôt que, avec l’aide de la technologie, la vie peut prospérer pendant des milliards d’années, non seulement au sein de notre système solaire, mais aussi à travers un cosmos bien plus grandiose et enthousiasmant que ce que nos ancêtres avaient imaginé. Pas question de nous limiter au ciel ! »

(La vie 3.0, Chapitre 6)

En fait, nous n’avons pas vraiment le choix : le progrès technique est la seule voie qui nous permet, selon l’auteur, de nous assurer un bien-être et une longévité cosmique en tant qu’espèce.

7 — Les buts

Dans l’avant-dernier chapitre, Tegmark discute de la nature des objectifs, de leur origine et de leur développement. Mais pas n’importe lesquels ; ceux que nous devrions donner à l’IA !

Selon lui, il s’agit de la question la plus « épineuse » de la recherche sur l’IA : « Devons-nous donner des buts à l’IA et, si oui, lesquels ? Comment faire ? ».

La physique et l’origine des buts

Max Tegmark développe une thèse forte : pour le physicien, les buts sont inscrits dans la nature elle-même. En effet, la nature a elle-même tendance à s’organiser et à s’optimiser par « dissipation » d’énergie.

L’auteur décrit le fonctionnement des particules à partir de concepts qui impliquent l’orientation, c’est-à-dire la création de buts :

« [L]a nature se révèle posséder un but intégré : produire des systèmes qui s’auto-organisent, d’une complexité croissante rappelant le vivant, un but qui est rivé au cœur des lois de la physique. »

(La vie 3.0, Chapitre 7)

La biologie et l’évolution des buts

Avec la vie, les buts évoluent. Désormais, c’est la réplication ou procréation qui est au cœur du processus.

Ici, l’objectif de dissipation de la physique est repris et partiellement canalisé par un autre objectif : celui de se reproduire.

Buts et psychologie : poursuite et rébellion

Max Tegmark discute aussi de « la rébellion contre les buts ». Nos gènes peuvent en effet avoir pour but de se reproduire, mais nos cerveaux, eux, pas !

En effet, nous savons, en tant qu’humains, que nous pouvons également canaliser notre reproduction, voire la stopper complètement. Autrement dit, nous pouvons subvertir ce but et le remplacer par d’autres (le plaisir, par exemple). Dans ce cas, Max Tegmark parle d’objectifs.

L’auteur remarque que les humains sont d’abord conduits par leurs sentiments. Or, ces sentiments ne mènent pas à un but bien défini — du moins au niveau de l’espèce.

Ingénierie : externaliser les buts

Les technologies nous permettent depuis toujours d’externaliser nos propres buts. En d’autres termes, nous introduisons nos propres buts dans les technologies. Les frigos refroidissent parce que nous le voulons et les cuisinières nous procurent de la chaleur pour préparer la nourriture, par exemple.

IA amicale : aligner nos buts

Le principal enjeu, ici, consiste à aligner les buts des machines intelligentes avec ceux des humains.

Pour Max Tegmark, il y a trois « sous-problèmes » à prendre en compte quand nous réfléchissons aux objectifs des IA ;

• Qu’elles comprennent l’objectif ;
• Qu’elles l’adoptent correctement ;
• Et enfin qu’elles le suivent jusqu’au bout.

Éthique : choisir nos buts

Tegmark estime que les problèmes techniques concernant le développement d’objectifs correctement alignés dans l’IA sont cruciaux. Encore plus crucial, cependant, est le problème éthique d’établir un large consensus sur ce que les objectifs humains ultimes devraient être et ce que nous voulons de l’IA.

Une règle lui paraît particulièrement importante. C’est l’impératif éthique de traiter d’autres créatures intelligentes et sensibles comme vous souhaiteriez être traité. Par ailleurs, il pense que nous pouvons tous nous mettre d’accord pour promouvoir la survie, l’épanouissement personnel, la liberté et la diversité.

Toutefois, il n’existe pas d’accord définitif sur un grand nombre de sujets et nous ne savons pas encore très bien comment les inculquer à des êtres non humains.

Quels sont les buts ultimes ?

Pour déterminer ce que nous devrions faire et comment nous devrions gouverner et diriger l’avenir de la technologie, nous devons être clairs sur ce que nous voulons et sur la ligne de conduite la plus éthique pour y parvenir.

Cela signifie, selon le physicien, que nous devons nous efforcer, avec un effort renouvelé, à trouver des réponses à des questions d’éthique et de philosophie intemporelles :

« Pour programmer une IA amicale, nous devons saisir le sens de la vie. »

(La vie 3.0, Chapitre 7)

Autrement dit, il y a encore du travail !

8 — La conscience

Les questions de philosophie deviennent en quelque sorte « urgentes ». Parmi ces questions, figure celle de la nature de la conscience, qui est aussi l’un des thèmes centraux du livre.

Qui s’en inquiète ?

Comment savoir si les IA sont conscientes ou non ? Pour Max Tegmark, il est capital de le savoir.

Pourquoi ? Car si, pour une raison quelconque, les humains étaient remplacés par des IA, ce serait une tragédie si celles-ci n’étaient que des zombies…

Mais au fait…

Qu’est-ce que la conscience ?

Tegmark donne une définition large de la conscience comme « expérience subjective ».

Quel est le problème ?

Les « problèmes » de compréhension de la conscience sont stratifiés. La figure 8.1 met en avant 3 problèmes principaux à résoudre, du plus « facile » (mais déjà compliqué) au plus difficile :

1. Celui de savoir quels systèmes physiques sont conscients ;
2. Prédire les qualia (les contenus subjectifs de l’expérience d’un état mental) ;
3. La raison pour laquelle quoi que ce soit est conscient.

L’auteur pose ensuite trois questions particulièrement complexes, qui font chacune l’objet d’une section à part. En scientifique, il cherche à s’appuyer sur des faits et des théories. C’est pourquoi il demande si :

• La conscience est accessible à la science ;
• Comment l’étudier expérimentalement ;
• Quelle est la théorie qui permettrait de généraliser l’existence de la conscience chez les machines ?

Controverses

La conscience est-elle indépendante de son substrat physique ? C’est une question ancienne, qui fait référence à l’âme et au corps.

Pour l’auteur, comme nous l’avons vu plus haut avec l’intelligence et plus généralement l’information, la conscience pourrait elle aussi se distinguer de son substrat. C’est justement ce qui permettrait le téléchargement numérique de nos esprits.

Comment la conscience de l’IA pourrait-elle ressentir ?

Penser les sensations et ressentis d’une IA consciente est, par nature, très compliqué pour nous. Mais nous pouvons supposer qu’une IA consciente aurait une gamme de ressentis plus diversifiée que les humains, dans la mesure où elle expérimenterait un monde bien différent du nôtre.

Les sens

La conscience est ce par quoi nous pouvons donner du sens à l’univers. En latin, sentiens désigne l’aptitude à faire l’expérience subjective et, de là, a donné du sens.

Max Tegmark fait une proposition. Peut-être devrions-nous remplacer le dénominatif sapiens (qui désigne l’intelligence) par celui-là : Homo Sentiens !

Épilogue — Le roman de FLI et de son équipe

Dans cet épilogue, Max Tegmark partage l’histoire — bien réelle, celle-ci, par comparaison avec le préambule — de la création de son organisation à but non lucratif, The Future of Life Institute.

Cet institut a été créé en 2014 et conçu dans le but d’éviter les catastrophes futures comme la guerre nucléaire ou l’IA mal dirigée. Mais elle a aussi un objectif plus positif : créer le monde de demain en s’accompagnant des technologies.

La naissance du FLI

Max Tegmark discute d’un voyage au musée des sciences de Londres au cours duquel il devient profondément ému par l’histoire du progrès technologique et le potentiel d’un avenir « poétiquement tragique » dans lequel les humains sont complètement remplacés par des machines.

Il dit à plusieurs reprises sa détermination à se concentrer sur les objectifs de sa fondation et en particulier sur la question de la sécurité de l’IA. Il mentionne à ce sujet deux conférences ayant eu cet objectif.

L’aventure de Porto Rico (2015)

L’objectif de cette conférence « était de faire passer la conversation sur la sécurité de l’IA de l’inquiétude au travail ».

Cela passait par la trouvaille de fonds pour commencer les recherches concrètes.

Max Tegmark discute ensuite de la rencontre avec Elon Musk, connu principalement pour son rôle dans SpaceX et Tesla à l’époque. L’entrepreneur milliardaire a finalement décidé de financer le FLI.

Pour l’auteur, ce don a été le point culminant de la conférence de Porto Rico.

La popularisation de la sécurisation de l’AI

Au cours de la période de deux ans entre la conférence de Porto Rico et la conférence Asilomar, il y a eu des progrès significatifs dans la recherche sur la sécurité de l’IA. De grandes sociétés comme Google, IBM ou encore OpenAi (également financé par Elon Musk) ont commencé à insister grandement sur ces points.

Les principes d’Asilomar appliqués à l’IA (2017)

De nombreuses personnes du milieu universitaire et de l’industrie se sont réunies en 2017 à l’initiative du FLI.

L’objectif de cette conférence était la rédaction d’un ensemble de principes pour la recherche sur l’IA. Finalement, les participants à la conférence se sont mis d’accord sur 23 principes, qui comprennent entre autres la culture de la recherche, la transparence judiciaire et la course aux IA d’armement.

Un optimisme vigilant

Max Tegmark conclut en demandant aux lecteurs de réfléchir à la façon dont ils peuvent apporter une contribution positive à l’avenir. Il croit que l’adoption d’un état d’esprit positif est la première étape vers la réalisation du bien commun.

Conclusion sur « La vie 3.0 » de Max Tegmark :

Ce qu’il faut retenir de « La vie 3.0 » de Max Tegmark :

Voici un livre difficile, mais passionnant ! Si vous n’avez pas peur de vous frotter à la science, à la technique et à la philosophie, il est fait pour vous ! En revanche, si vous voulez une introduction théorique plus simple à l’IA, ou alors une introduction pratique pour implémenter l’IA dans votre entreprise, alors il y a d’autres livres sur le sujet…

Quoi qu’il en soit, impossible de nier les qualités d’écriture de l’auteur : il parvient à créer un texte vivant et parfois drôle sur des sujets pourtant très abstraits et même aussi, de temps en temps, plutôt inquiétants.

Heureusement, de nombreuses images, figures et schémas nous aident à évoluer dans les concepts et les développements proposés par l’auteur.

En outre — et c’est un point particulièrement appréciable —, le lecteur apprend à faire connaissance avec toute la communauté qui réfléchit sur l’IA dans le giron de sa fonction, le Future of Life Institute. Vous y croiserez Elon Musk, Bill Gates et bien d’autres !

Points forts :

• Un panorama des enjeux et questions liés à l’IA très complet et très bien structuré ;
• Des figures, schémas et photos qui viennent aérer et compléter très efficacement le texte;
• De très nombreuses sources ;
• Le regard d’un expert incontesté sur le sujet.

Point faible :

• À ne pas mettre entre les mains de tout néophyte. Vous le lirez seulement si vous êtes vraiment intéressé par le sujet, dans toutes ses dimensions (même les plus spéculatives).

Ma note :

★★★★★

Avez-vous lu le livre de Max Tegmark « La vie 3.0. Être humain à l’ère de l’intelligence artificielle » ? Combien le notez-vous ?

(Pas encore de Note)

Loading...

Visitez Amazon afin de lire plus de commentaires sur le livre de Max Tegmark « La vie 3.0. Être humain à l’ère de l’intelligence artificielle ».

Visitez Amazon afin d’acheter le livre de Max Tegmark « La vie 3.0. Être humain à l’ère de l’intelligence artificielle ».