Suite à de nombreux et souvent houleux échanges à propos de l’IA, je me suis dit qu’il serait de bon ton d’ouvrir un sujet pour en discuter sur des bases plus saines que ce qu’on peut trouver un peu partout sur internet et consort.
Naviguer entre les absolutistes de l’IA et les anti-toutistes poussent à avoir de plus en plus régulièrement des critiques – qui peuvent être légitimes – basées sur des faits ou des compréhension erronées de ce que c’est, ce que ce n’est pas, son développement et les conditions de ce derniers, et son usage.
Il n’est pas question de faire un cours magistral sur ce qu’est l’IA fondamentalement, mais de faire un rapide retour des critiques développées dans cet article : Dans les algorithmes | IA, la grande escroquerie
Les critiques abordées sont pour certaines légitimes mais souvent basées sur des simplifications que j’estime malencontreuse – il serait difficile de les qualifier de malhonnête, je ne veux pas prêter d’intention maligne aux autrices.
Objectif du sujet
Le but ici est de reprendre un peu point par point les critiques émises et d’apporter les clarifications nécessaires pour ouvrir une discussion que j’estime particulièrement importante sur notre rapport à la technique, au travail et à la société en général. L’IA et son essor sont des catalyseur particulièrement cynique et efficace pour remettre notre rapport à tous ces sujets au centre de nos préoccupations. Et il est absolument nécessaire que nous nous en emparions, et que nous puissions en discuter.
Dans un premier temps donc j’apporterai les “ corrections “ nécessaires à l’article en soulevant les critiques que j’estime particulièrement intéressante. Si les corrections que j’apporte sont d’ordre académique, le choix des critiques est purement personnel, et ce sujet sera l’endroit adapté pour en discuter.
Critiques et corrections
Premièrement, il est important de rappeler qu’il n’est pas question de remettre en cause la légitimité académique des autrices de l’ouvrage en question. Je n’ai absolument aucune prétention en sociologie et encore moins en linguistiques. Pour autant, j’estime avoir les compétences nécessaires pour formuler les critiques quant à la compréhension des sujets IA et ses enjeux en tant que presque docteur sur le sujet à date d’aujourd’hui.
AI con** pourrait paraître comme un brûlot technocritique, mais il est plutôt une synthèse très documentée de ce qu’est l’IA et de ce qu’elle n’est pas**. L’IA est une escroquerie, expliquent les autrices, un moyen que certains acteurs ont trouvé “pour faire les poches de tous les autres”. « Quelques acteurs majeurs bien placés se sont positionnés pour accumuler des richesses importantes en extrayant de la valeur du travail créatif, des données personnelles ou du travail d’autres personnes et en remplaçant des services de qualité par des fac-similés ». Pour elles, l’IA tient bien plus d’une pseudo-technologie qu’autre chose.
Premier point essentiel : cet essai critique bien plus les conditions de développement de la technologie, son accaparement et son usage que la technologie en elle-même. À garder en tête. Par ailleurs, je pense qu’il y’a ici une preuve de confusion entre IA et chatbots/LLMs. Si les chatbots et autres LLMs et assimilés, et plus généralement les techniques d’IA générative et de NLP (traitement du langage naturel) sont effectivement des mises en oeuvre de ce qu’on appelle Intelligence Artificielles, ce ne sont pas les seules mise en oeuvre de ces techniques qui existe. Autrement dit pour les matheux du fond, ce sont des sous ensemble de l’ensemble “IA”. Et cette remarque va formellement constituer ce qui risque :
- d’énerver les travailleurs du secteur IA, puisque cette confusion entretien une critique anti-technologie infondée
- de conforter les anti-toutistes dans leurs positions en assimilant à large spectre les IA aujourd’hui “main stream” et l’ensemble des techniques
Et on comprends bien que la combinaison de ces deux points mène aux discussion explosives sur le sujet. Par l’exemple :
La phrase “ l’IA est une escroquerie ” est fondamentalement fausse si on pense en terme IA académique, mais potentiellement vraie si on change le terme IA par “ LLMs et autres chatbots d’entités privées “ – au moins. On pourrait étendre la critique à tout algorithme utilisant des techniques de Machine Learning (ML) ou DeepLearning développés par des entités privées sur des données non propriétaires et qui sont utilisées à des fins manipulatrices (coucou l’algo tiktok par exemple). Mais dans la lecture de la suite du pamphlet, on comprend vite que ce sont majoritairement les LLMs et assimilés qui sont visés.
L’escroquerie tient surtout dans le discours que ces acteurs tiennent, le battage médiatique, la hype qu’ils entretiennent, les propos qu’ils disséminent pour entretenir la frénésie autour de leurs outils et services. Le cadrage que les promoteurs de l’IA proposent leur permet de faire croire en leur puissance tout en invisibilisant ce que l’IA fait vraiment : « menacer les carrières stables et les remplacer par du travail à la tâche, réduire le personnel, déprécier les services sociaux et dégrader la créativité humaine »
C’est grâce à ce passage particulier qu’on comprend la confusion. Le battage médiatique etc est centré sur les LLMs et assimilés, pas sur l’IA de manière générale.
Première conclusion : il ne faut pas confondre IA et LLMs/chatbots. Ça n’amène jamais ou presque de discussion censées, mesurées et productives sur le sujet.
Bender et Hanna nous le rappellent avec force. « L’intelligence artificielle est un terme marketing ». L’IA ne se réfère pas à un ensemble cohérent de technologies. « L’IA permet de faire croire à ceux à qui on la vend que la technologie que l’on vend est similaire à l’humain, qu’elle serait capable de faire ce qui en fait, nécessite intrinsèquement le jugement, la perception ou la créativité humaine ». Les calculatrices sont bien meilleures que les humains pour l’arithmétique, on ne les vend pas pour autant comme de l’IA.
Ça c’est presque vrai.
Le terme d’IA a été émis notamment en conférence académique lors des présentations des modèles de neurones formels par McCulloch et Pitts, ainsi que par la présentation ultérieure du premier réseau de neurones formel – le Perceptron – par Rosenblatt. À l’époque, ce terme référait plus à l’idéal de ces chercheurs assemblés d’un jour arriver à modéliser mathématiquement et de manière fine le fonctionnement d’un cerveau humain. Et, conceptuellement, si on arrivait à simuler de manière informatique le fonctionnement du cerveau humain, il y’a fort à parier qu’on pourrait alors vraiment parler d’intelligence artificielle au sens propre.
Puis le terme à été récupéré, notamment par des auteurs de SF a succès, et s’est popularisé. Depuis, il a été communément admis comme représentatif des travaux académique dans la lignée des algorithmes et des modèles formels décrits plus avant. Difficile alors d’en faire un terme marketing. EN REVANCHE, si on prends en compte la confusion que j’ai pointé du doigt plus haut, là ça devient beaucoup plus vrai – même si la partie sur la cohérence des technologies regroupées sous les termes chatbot et LLMs serait à revoir. La projection de l’IA en tant qu’objet conscient, sa personnification, tient plus de l’illusion qu’autre chose.
D’ailleurs le paragraphe suivant est bizarre, parce qu’il fait l’étalage de beaucoup de techniques IA qui n’ont rien à voir avec les LLMs et/ou les chatbots:
L’IA sert à automatiser les décisions, à classifier, à recommander, à traduire et transcrire et à générer des textes ou des images.
Et cette partie est globalement vraie. La hype est entretenue par des acteurs privés pour booster leurs outils.
Dès le début, l**a « discipline »repose donc sur de grandes prétentions sans grande caution scientifique, de mauvaises pratiques de citation scientifiques et des objectifs fluctuants pour justifier les projets et attirer les investissements
Ça j’ai du mal. Il m’est difficile de qualifier les recherches en IA depuis les années 50 de “discipline” entre guillemets, et j’ai du mal à saisir le “sans grande caution scientifique”. Mais les arguments suivants sont sans doute vrais. Les chercheurs restent des humains malgré tout, et la recherche nécessite des financements. Lorsque ces derniers ne sont pas inconditionnels on enjolive et on en fait des caisses pour obtenir les 3 francs 6 sous qui nous permettrons de continuer nos recherches et de payer nos factures.
l’IA est une discipline de manipulation sans entrave biberonnée aux investissements publics et à la spéculation privée.
C’est un peu extrême. Le domaine des LLMs et des chatbots, parce qu’on a pas fait les investissements et la prévention publique nécessaire, et parce qu’on a laissé les gens s’y confronter d’eux même, peut effectivement ressembler à ce qui est décrit. Pour autant, difficile de considérer des algorithmes de clustering ou de détection de formes comme des formes de manipulation.
La fin de cette section m’apparaît vrai, et je n’irai pas sur les plates bandes de la linguiste ni de la sociologue.
Cette fiction de la conscience ne sert qu’à dévaluer la nôtre. Les « réseaux neuronaux » sont un terme fallacieux, qui vient du fait que ces premières machines s’inspiraient de ce qu’on croyait savoir du fonctionnement des neurones du cerveau humain dans les années 40. Or, ces systèmes ne font que prédire statistiquement le mot suivant dans leurs données de références.
Effectivement, la critique du terme réseaux neuronaux est bonne. Mais la suite est au moins fallacieuse. Tous les réseaux neuronaux n’ont pas été développés dans le cadre du traitement du langage, loin de là. Sinon le fonctionnement décrit est bon.
Par ailleurs, la première phrase m’apparaît être un gros procès d’intention. Je ne suis pas certain que les pionniers en la matière avaient effectivement pour but assumé de dévaluer la conscience humaine, mais ça pourrait se plaider.
Le reste de la section semble globalement ok, sauf que je dirai que l’IA telle qu’évoquée (LLMs et consort) est devenue un projet politique après avoir été fondamentalement développée. Entendre, elle n’a pas été développé dans un but politique en premier lieu.
L’IA se déploie partout avec la même promesse, celle qu’elle va améliorer la productivité, quand elle propose d’abord « de remplacer le travail par la technologie ». « L’IA ne va pas prendre votre job. Mais elle va rendre votre travail plus merdique », expliquent les chercheuses. « L’IA est déployée pour dévaluer le travail en menaçant les travailleurs par la technologie qui est supposée faire leur travail à une fraction de son coût ».
Là on entre dans le moment intéressant : notre rapport au travail et la productivité, et surtout comment l’IA va être employée et dans quel but. Et il va y avoir de grandes questions à se poser au niveau sociétal. Ça va ouvrir de grandes discussions sur l’organisation du travail, sa dimension sociale et son utilité, et surtout de la répartition des richesses.
Avant de continuer, prenons un exemple extrême – volontairement extrême :
Mettons qu’une IA soit capable de remplacer d’un coup ~80% de la masse salariale d’une entreprise. On imagine qu’on conserve ~10% pour la maintenance du bousin, son déploiement et son amélioration continue. Bon, beh qu’est-ce qu’on fait des 70% restés sur le carreau ? Comme on s’attaque à des métiers et des postes difficilement accessibles de base, et qu’on risque d’automatiser et de mécaniser les postes à faible valeur ajoutée, qu’est-ce qu’il nous reste ? Parce qu’autant les ouvrier du début XXème ont pu se recaser comme conducteur de machines, ouvriers sur lignes de prod, petits artisans, etc, sur le temps long, autant les emplois à risque aujourd’hui avec un déploiement frénétique d’IA sont en proportion sans commune mesure avec ce que nous avons pu connaître. En plus, les premiers emplois touchés sont des emplois avec VA (managers – même si ça me coute de le dire –, etc). Comment faire pour trouver suffisamment d’emploi à forte VA, en très peu de temps, pour conserver ces bras et cerveaux dans la vie active ?
Suite à cet exemple volontairement alarmiste, continuons.
L’IA n’est que la poursuite de cette longue tradition de l’industrie à chercher des moyens pour remplacer le travail par des machines, renforcer les contraintes et dégrader les conditions de travail au nom de la productivité.
C’est globalement vrai, à grande échelle, si on conserve le mélange IA-LLMs et assimilés. Mais c’est aussi ignorer les bienfaits d’une telle techno si déployée à bon escient et bien utilisée : gain de temps énorme pour certains postes, productivité décuplée et donc possibilité de réduire le temps de travail pour des résultats similaires, etc. La grande critique formulée ici, et que je ne saurais réfuter au vu de ma – maigre – expérience, réside donc plus dans le désir toujours plus avide de productivité et proprement amoral des grandes entreprises. Et ça se ressent dans leurs investissements frénétiques dans l’IA, sans commune mesure avec ce qu’on a pu connaître avant, même lors de la bulle Internet des années 2000.
Le remplacement par la technologie est un mythe persistant qui n’a pas besoin d’être réel pour avoir des impacts.
Ça c’est vrai, et ça pondère mon exemple extrême donné précédemment.
Tenter de remplacer le travail par des systèmes d’IA ne consiste pas à faire plus avec moins, mais juste moins pour plus de préjudices » – et plus de bénéfices pour leurs promoteurs
Toujours une confusion entre LLMs et le reste de l’IA. Un exemple de bonne utilisation de l’IA qui consiste précisément à faire plus avec moins, et avec des résultats assez marquants est AlphaFold, une IA destinée à aider les chercheurs en biotechnologie à imaginer de nouvelles formes de protéines afin de les aider dans leurs recherches. Former de nouvelles protéines ne leur prends plus qu’une fraction du temps qui était auparavant nécessaire en simulation. Leur VA se concentrant dès lors dans l’étude de ces nouvelles formes, exactement ce pour quoi ils ont envisagé en premier lieu de faire ces travaux.
Mais la critique reste éminemment valide pour les promoteurs des LLMs et assimilés comme “grand remplaçants de l’humain” dans tous les domaines. Ont y ajoutera aussi les algorithmes de surveillance et autres produisent toujours plus de coercition sur les employés pour tendre vers une productivité parfaite.
Babysitter les IA : l’exploitation est la norme
Je vais pas citer toute la section mais ici la critique du modèle de développement des IA génératives qui ont envahi le quotidien est tout à fait légitime, et tout à fait pertinente. Les bases de données initiales nécessaire aux entraînement ont été scrappées, annotées et compilées de manière globalement honteuse, exploitant des milliers d’humains aux 4 coins du globe et leurs travaux.
“Quand les services publics se tournent vers des solutions automatisées, c’est bien plus pour se décharger de leurs responsabilités que pour améliorer leurs réponses”
Là aussi, critique constructive et pertinente en prenant en exemple un modèle américain d’IA qui avait complètement sorti le processus humain du traitement de la justice. Raisonnement extensible à tout domaine qui nécessite une empathie et un contact humain pour être juste. Pour autant, l’application de l’IA dans les services publics peut être une bonne idée, simplement pas comme ça. On peut imaginer une IA de traitement automatisé des dossiers, qui adresse les bonnes personnes aux bons services, qui fait des tâches administratives chiantes et longues, etc. On dégage du temps de travail aux agents qui en ont déjà par dessus la tête.
La capacité des modèles d’IA générative à performer aux évaluations tient d’un effet Hans le malin, du nom du cheval qui avait appris à décoder les signes de son maître pour faire croire qu’il était capable de compter.
Ça c’est absolument vrai. Pour donner une autre image, c’est exactement la même chose qu’évaluer un élève sur sa capacité à apprendre par coeur une poésie sans la comprendre. Le problème c’est que ça donne une illusion de savoir, et qu’on lui accorde une confiance aveugle sur des sujets pourtant critiques avec un exemple des IA déployées dans les assurances santé américaines – encore eux, sic.
Le fait de pousser l’IA dans la santé n’a pas d’autres buts que de dégrader les conditions de travail des professionnels et d’élargir le fossé entre ceux qui seront capables de payer pour obtenir des soins et les autres qui seront laissés aux « contrefaçons électroniques bon marchés »
Ça c’est fondamentalement pas vrai. Dans la forme où c’est écrit encore une fois. Si pousser les LLMs généralistes dans la santé est une absurdité sans nom, il est tout à fait possible de réfléchir, développer et déployer des IA d’aide par exemple dans la reconnaissance d’image ou dans la recherche pour des cas complexes. Identiquement pour le problème scolaire, on en revient au point précédent, tenter de remplacer la nécessité d’un contact humain dans un domaine par une IA conduit nécessairement à des effets de bords sociaux, et donc sociétaux, assez inquiétants.
Or, pour les thuriféraires de l’IA, la connaissance scientifique ne serait qu’un empilement, qu’une collection de faits empiriques qui seraient découverts uniquement via des procédés techniques à raffiner. Cette fausse compréhension de la science ne la voit jamais comme l’activité humaine et sociale qu’elle est avant tout. Comme dans l’art, les promoteurs de l’IA ne voient la science que comme des idées, jamais comme une communauté de pratique.
Ça c’est particulièrement vrai, et inquiétant. Si les modèles d’IA sont d’excellent facilitateurs, ce ne sont pas des scientifiques. Et le déploiement vitesse grand V des IA dans les processus de relecture notamment, met en péril la cohésion sociale sur laquelle repose la science – déjà mis à mal par les éditeurs et leurs prix à la con (comment ça 60€ un article ? ça va aller Elsevier ? pardon je m’égare…).
La surutilisation de l’IA en science risque pourtant bien plus de rendre la science moins innovante et plus vulnérable aux erreurs, estiment les chercheuses. « La prolifération des outils d’IA en science risque d’introduire une phase de recherche scientifique où nous produisons plus, mais comprenons moins« , expliquaient dans Nature Lisa Messeri et M. J. Crockett (sans compter le risque de voir les compétences diminuer, comme le soulignait une récente étudesur la difficulté des spécialistes de l’imagerie médicale à détecter des problèmes sans assistance)
Totalement vrai. Mais encore une fois, ça tiens plus du déploiement et de l’usage frénétique de modèles pas expressément destiné à ces usages, qu’aux modèles eux-mêmes.
Le risque de l’IA, mais lequel et pour qui ?
Cette dernière section soulève de bonnes critiques aussi :
- L’AI safety n’est pas prise du bon bout. On prolifère de papiers à ce sujet (et en explainability) mais seuls les quelques – rares – excellents papiers faits par des chercheurs émérites pointent les vrais causes de l’AI unsafety : biais de sélections, pas de sécurité informatique suffisante, etc.
- Le problème de l’alignement est bien abordé. Pas grand chose à dire dessus, même si parfois un poil extrêmes, les risques sont bien réels.
Pour les uns comme pour les autres, le capitalisme est la seule solution aux maux de la société. Les uns comme les autres voient l’IA comme inévitable et désirable parce qu’elle leur promet des marchés sans entraves. Pourtant, rappellent les chercheuses, le danger n’est pas celui d’une IA qui nous exterminerait. Le danger, bien présent, est celui d’une spéculation financière sans limite, d’une dégradation de la confiance dans les médias à laquelle l’IA participe activement, la normalisation du vol de données et de leur exploitation et le renforcement de systèmes imaginés pour punir les plus démunis
Tout à fait et excellemment bien pointé du doigt. Le risque de dégradation du lien social et sociétal en globalité par l’anthropomorphisation des IA et la génération du modèle économique de ses promoteurs est réel et sérieux.
Nous devons collectivement façonner l’innovation pour qu’elle bénéficie à tous plutôt qu’elle n’enrichisse certains.
Oui et doublement oui. L’IA n’est aujourd’hui vu par ses promoteurs et les entreprises qui les déploient comme une source infinie de gains de productivité sur le dos de la société. Et c’est bien tout le problème.
Le reste du texte est un trop engagé pour en faire une vraie critique constructive.
Mon avis
- Les critiques sur notre rapport au travail, sur le déploiement frénétique des IA, sur l’éthique derrière la techno et la technique, etc, sont totalement légitimes et devraient être posées.
- Pour autant il ne s’agit pas de faire de l’anti-IA primaire, en diabolisant l’outil. Si les grandes boîtes derrière le développement de ces architectures ont des buts bien précis et un modèle économique basé sur l’aspiration perpétuelle de n’importe quelle donnée que vous pourriez produire, la technologie en elle-même peut avoir des bienfaits particulièrement appréciables en permettant de dégager du temps libre à tous les travailleurs pour une productivité similaire.
- Soit le texte synthétisant le livre est mal écrit, soit le livre fait de grosses confusion technique et c’est dommage parce que les critiques sont par ailleurs pertinentes
- Il faut garder à l’esprit qu’il s’agit d’un ouvrage et d’un résumé militant, ce qui oriente forcément le ton du texte
Voilà, si vous avez des trucs à dire c’est à vous ! 