Points clés
1. L’Engouement pour l’IA : Une Arnaque Détournant l’Attention des Vrais Dangers
L’intelligence artificielle, pour être franc, est une escroquerie : un produit que l’on vous vend pour enrichir certains.
Une diversion savamment orchestrée. Le récit omniprésent présentant l’« IA » comme une technologie révolutionnaire, voire apocalyptique, n’est qu’un écran de fumée délibéré. Cet engouement détourne l’attention des préjudices concrets et immédiats infligés à de vraies personnes par des systèmes automatisés déjà en place, préférant se focaliser sur des scénarios futuristes fantasmés. Il permet à des puissants de se rêver en sauveurs de l’humanité, tout en fermant les yeux sur les injustices quotidiennes.
Des conséquences bien réelles. Tandis que les législateurs débattent de la « p(doom) » — la probabilité d’une menace existentielle causée par l’IA — des individus subissent déjà de lourdes conséquences dues aux applications actuelles de l’IA.
- Reconnaissance faciale : Des personnes noires, comme Robert Williams et Porcha Woodruff, ont été arrêtées à tort à cause de systèmes de reconnaissance faciale défaillants.
- Deepfakes : Des adolescentes, en particulier, sont ciblées par des applications générant automatiquement des deepfakes pornographiques non consentis, entraînées sur des données collectées sans discernement sur Internet.
- Guerre automatisée : Des systèmes présentés comme de l’IA sont utilisés par des forces telles que l’armée israélienne pour accélérer la sélection de cibles, causant des pertes massives parmi les civils.
Le marketing prime sur le fond. Le terme « IA » est avant tout une étiquette marketing, non une définition technologique cohérente. Il sert à faire paraître les technologies humaines, intelligentes ou magiques, masquant leurs fonctions diverses et souvent banales. Ce cadrage encourage une acceptation sans critique de l’automatisation dans des domaines cruciaux, de l’attribution des prestations sociales à la classification pénale.
2. Les « Machines Pensantes » Sont une Illusion, Pas des Êtres Sentients
Soyons clairs : ni les grands modèles de langage, ni aucune autre technologie vendue comme « IA » ne sont conscients, sentients, ni capables de fonctionner comme des entités pensantes indépendantes.
Un autocompléteur sophistiqué. Les grands modèles de langage (LLM) tels que ChatGPT sont essentiellement des outils statistiques avancés, issus de décennies de modèles « n-gram » et de réseaux neuronaux. Ils prédisent le mot le plus probable suivant dans une séquence à partir d’énormes données d’entraînement, un processus affiné par des retours humains pour produire un texte plausible. Cela est bien loin de la conscience ou de la compréhension.
L’effet « ELIZA ». Les humains ont tendance à interpréter le langage en imaginant un esprit derrière, phénomène observé avec le chatbot ELIZA de Joseph Weizenbaum dans les années 1960. Quand les LLM génèrent un texte cohérent, nous projetons automatiquement une intention communicative et une compréhension, alors qu’ils ne possèdent ni subjectivité ni véritable saisie du sens. Cette anthropomorphisation est une illusion dangereuse.
La dévalorisation de l’humain. Les promoteurs de l’IA ont souvent recours à la dévalorisation de l’intelligence humaine pour élever les machines. Le tweet du PDG d’OpenAI, Sam Altman, « i am a stochastic parrot, and so r u », en est un exemple, suggérant que les humains ne sont que des manipulateurs complexes de chaînes de caractères. Cette vision réduit la condition humaine à la calculabilité et à la rationalité, cautionnant implicitement une longue histoire de déshumanisation.
3. Les Racines Racistes et Eugénistes de « l’Intelligence Générale »
Les discussions sur l’intelligence, qu’elle concerne les humains ou les machines, sont profondément ancrées dans la science raciale.
Un concept défaillant. La quête de « l’intelligence artificielle générale » (IAG) repose sur une notion d’« intelligence générale » sans définition acceptée, profondément enracinée dans des pseudosciences racistes et validistes. Les premiers tests de QI, développés par des eugénistes comme Lewis Terman et Robert Yerkes, servaient à justifier des hiérarchies raciales, plaçant les Blancs au sommet et les personnes noires et autochtones au bas de l’échelle.
Un héritage historique lourd. L’éditorial du Wall Street Journal de 1994, « Mainstream Science on Intelligence », cité dans une version précoce du document « Sparks » de Microsoft sur GPT-4, soutenait explicitement des différences raciales innées de QI, reprenant des arguments eugénistes sur les « mélanges » de sang blanc. Bien que la citation ait été retirée, elle révèle la filiation intellectuelle problématique du projet IAG.
Une eugénie moderne. Les véritables croyants contemporains de l’IAG, parmi lesquels des milliardaires de la tech comme Elon Musk et Marc Andreessen, promeuvent souvent une forme moderne d’eugénisme. Leurs fantasmes « techno-optimistes » et natalistes encouragent les « sociétés développées » (un code pour les populations blanches occidentales) à avoir plus d’enfants, tout en minimisant les enjeux climatiques et sociaux. Cette idéologie, partie intégrante du courant « TESCREAL », privilégie un futur hypothétique pour une élite au détriment des souffrances actuelles des communautés marginalisées.
4. L’IA au Travail : Dégrader les Emplois, Pas les Remplacer
Dans la grande majorité des cas, l’IA ne va pas vous remplacer. Mais elle va rendre votre travail beaucoup plus pénible.
La menace de l’automatisation. Les entreprises et les investisseurs sont attirés par l’IA pour la promesse de rendre obsolètes de vastes pans de main-d’œuvre, visant à « augmenter la productivité » en remplaçant les travailleurs par la technologie. Cette menace sert à dévaloriser le travail et imposer des conditions épuisantes, plutôt qu’à réellement gagner du temps ou améliorer la qualité du travail.
Les leçons des Luddites. Les Luddites de la Révolution industrielle n’étaient pas anti-technologie ; ils s’opposaient aux technologies qui déplaçaient les artisans qualifiés, inondaient les marchés de produits inférieurs et imposaient des conditions de travail pénibles. Aujourd’hui, les travailleurs font face à des luttes similaires :
- Grèves à Hollywood : Scénaristes et acteurs ont fait grève contre les studios qui veulent utiliser l’IA pour générer des scénarios et des images numériques, menaçant leurs moyens de subsistance et leur contrôle créatif.
- Entrepôts Amazon : Les robots imposent des cadences intenables, causant des blessures, tandis que des caméras équipées d’IA surveillent les livreurs.
- Robotaxis : Malgré des problèmes de sécurité et une opposition publique, des voitures autonomes comme Cruise et Waymo sont déployées pour faire baisser les salaires des chauffeurs humains.
Un travail invisible. L’illusion d’une IA entièrement automatisée repose sur une main-d’œuvre mondiale massive et sous-payée. Ces « travailleurs fantômes » accomplissent des tâches cruciales telles que :
- Étiqueter des images pour les voitures autonomes.
- Évaluer la cohérence et l’offensivité des productions des modèles de langage.
- Filtrer les contenus traumatisants (scènes de violence, discours haineux, abus sexuels sur mineurs) pour des entreprises comme OpenAI, souvent pour moins de 2 dollars de l’heure, avec des risques de stress post-traumatique.
5. Les Services Sociaux : L’Automatisation comme Pansement sur l’Austérité
Pendant ce temps, les investisseurs et autres profiteurs exploitent l’arnaque de l’IA pour déconnecter le reste d’entre nous des services sociaux, promouvant une course à l’échelle qui rend impossibles des services humains et connectés.
L’attrait de l’austérité. Les gouvernements aux budgets serrés, poussés par l’austérité néolibérale, se tournent de plus en plus vers des systèmes automatisés comme substituts bon marché aux services publics. Cette approche aggrave les inégalités et nuit aux plus vulnérables.
- Protection de l’enfance : L’algorithme prédictif du comté d’Allegheny (AFST) attribue des scores de risque aux enfants, justifiant souvent la séparation des familles pauvres noires et autochtones, automatisant ainsi le racisme systémique.
- Justice pénale : Les algorithmes d’évaluation des risques préalables au procès, comme COMPAS, sont biaisés racialement, étiquetant à tort les prévenus noirs comme récidivistes plus fréquemment.
Une abdication gouvernementale. Les dirigeants nationaux et locaux adoptent avec enthousiasme l’IA générative, déléguant des responsabilités gouvernementales avec des résultats désastreux.
- Chatbot de New York : Le chatbot du maire Eric Adams a donné des conseils illégaux, disant aux entreprises qu’elles pouvaient discriminer les locataires bénéficiant d’aides au logement ou voler les pourboires des travailleurs.
- Chatbots du NHS : Le service national de santé britannique prévoit d’utiliser des LLM pour les notes médicales, la planification et les orientations des patients, au risque de chaos et de violations de la vie privée.
- Système judiciaire : Des juges ont utilisé ChatGPT pour résumer des théories juridiques ou rédiger des décisions, et des législateurs pour rédiger des lois, malgré la propension de l’outil à « inventer » des informations.
De fausses promesses. Les promoteurs de l’IA promettent plus d’accessibilité et d’efficacité dans des secteurs cruciaux comme la santé et l’éducation. Pourtant, ces « solutions » sont souvent de pâles copies qui creusent l’écart entre des services humains de qualité pour les riches et des ersatz automatisés bon marché et peu fiables pour les autres. Le problème n’est pas un manque de technologie, mais un manque de ressources et de volonté politique pour traiter les problèmes systémiques.
6. Art, Science et Journalisme : La Créativité Minée par les Médias Synthétiques
Pour ceux qui vendent l’illusion de l’intelligence artificielle et ceux qui croient construire de véritables entités humaines, la créativité est l’objectif ultime et la preuve du succès.
L’artifice plutôt que l’art. Les générateurs d’art par IA, comme Stable Diffusion et Sora, sont présentés comme des outils « démocratisant la création d’images », mais leur prolifération repose sur un vol manifeste des données d’artistes en activité. Des artistes comme Karla Ortiz et Greg Rutkowski ont perdu des revenus alors que des studios utilisent des systèmes d’IA entraînés sur leurs œuvres sans consentement ni compensation.
- Les « trois C » : Les artistes réclament crédit, consentement et compensation pour l’utilisation de leurs œuvres dans l’entraînement des IA.
- Inondation de contenu : Des livres générés par IA, y compris des guides dangereux de cueillette de champignons, inondent des plateformes comme Amazon, nuisant aux auteurs et aux consommateurs.
- Réduction esthétique : L’art produit par IA tend à reproduire une esthétique étroite, souvent blanche et bourgeoise, reflétant les biais des données d’entraînement et des processus de réglage.
La science par algorithme. Le fantasme des « scientifiques IA » accélérant la découverte ignore que la science est une activité fondamentalement humaine et sociale.
- L’échec de Galactica : Le LLM de Meta, Galactica, a été ridiculisé pour générer des « articles scientifiques » racistes et absurdes avec de fausses citations.
- Échantillons « in silico » : Des chercheurs ont proposé d’utiliser des chatbots comme « sujets humains » pour des enquêtes et expériences, remplaçant les fondements empiriques par du sable mouvant.
- Crise de la revue par les pairs : Les LLM sont de plus en plus utilisés pour rédiger des revues par les pairs, déléguant un devoir académique et nuisant à l’intégrité de la publication scientifique.
Le déclin du journalisme. Les outils d’IA aggravent la crise du journalisme, due à la baisse des revenus publicitaires et à la concentration des médias.
- Auteurs fictifs : Sports Illustrated a publié des articles signés par des auteurs générés par IA, provoquant un scandale et la perte de sa licence.
- Usines à contenu : Des entreprises comme AdVon Commerce emploient des contractuels peu payés pour corriger des critiques de produits générées par IA pour de grands médias, privilégiant le clic au détriment de la qualité.
- Le rôle de Google : Google, principal responsable de la perte de revenus du journalisme, favorise désormais le contenu généré par IA dans ses résultats de recherche et propose des outils comme « Genesis » aux rédactions, les transformant en usines à contenu.
7. Les Alarmistes et les Promoteurs de l’IA : Deux Faces d’une Même Pièce Dangereuse et Distrayante
Ces groupes sont, paradoxalement, deux faces d’une même pièce : la conviction que le développement de l’IA est inévitable, que cette technologie sera autonome et puissante, et qu’elle sera finalement bénéfique si l’on joue bien nos cartes.
Peur fantasmée. Les alarmistes de l’IA mettent en garde contre des menaces existentielles comme le « maximiseur d’agrafes » ou la prise de contrôle par des machines sentientes, souvent en s’appuyant sur des estimations de « p(doom) ». Cet alarmisme, illustré par la lettre « AI Pause » et le Center for AI Safety, détourne l’attention des préjudices réels et immédiats.
- Désalignement : Les alarmistes se concentrent sur « l’alignement » d’IA superintelligentes hypothétiques avec des « valeurs humaines », un concept flou qui ignore la diversité et les conflits des valeurs humaines.
- Ignorer la violence présente : Cette focalisation sur des menaces futures imaginées permet d’ignorer la violence actuelle et le « destin funeste » vécu par les communautés marginalisées à cause des systèmes d’IA existants (surveillance, guerre, séparation familiale).
Optimisme débridé. Les promoteurs de l’IA, comme Marc Andreessen et Garry Tan, prônent « l’accélérationnisme » — un développement rapide et sans entrave de la technologie, surtout de l’IA, comme solution universelle. Leur « Manifeste techno-optimiste » rejette les notions de « risque existentiel », de « durabilité » et d’« éthique technologique » comme des épouvantails, défendant un capitalisme effréné et une vision eugéniste de la croissance démographique.
Origines et objectifs communs. Malgré leur opposition apparente, alarmistes et promoteurs partagent des racines intellectuelles dans les idéologies « TESCREAL » (Transhumanisme, Extropianisme, Singularitarisme, Cosmisme, Rationalisme, Altruisme Efficace, Longtermisme), souvent d’origine eugéniste. Les deux camps croient que le développement de l’IA est inévitable et souhaitable, servant à centraliser pouvoir et capital tout en détournant la responsabilité réelle.
8. Le Coût Climatique : La Dévastation Environnementale Accélérée par l’IA
L’humanité fait cependant face à un véritable risque existentiel : la crise climatique.
Une menace existentielle réelle. Tandis que les alarmistes de l’IA s’inquiètent de révoltes hypothétiques de machines, la menace existentielle réelle du changement climatique d’origine humaine s’accélère. La quête incessante de modèles d’IA toujours plus grands et d’utilisateurs croissants exige des quantités croissantes de calcul et d’énergie, avec des impacts environnementaux majeurs.
La matérialité « invisible ». Le « cloud computing » masque la réalité écologiquement intensive de l’IA :
- Matières premières : Extraction de métaux et minéraux pour les microprocesseurs.
- « Produits chimiques éternels » : PFAS utilisés dans la fabrication des puces.
- Consommation énergétique : Demande massive d’électricité pour la fabrication du matériel et le fonctionnement des centres de données.
- Usage de l’eau : Les centres de données consomment d’énormes quantités d’eau pour le refroidissement (par exemple, 500 ml pour 5 à 50 requêtes ChatGPT).
- Déchets électroniques : L’obsolescence rapide du matériel génère d’énormes volumes de déchets électroniques.
La course à l’échelle plutôt qu’à l’efficacité. Malgré les affirmations d’utilisation d’énergies renouvelables et de processeurs efficaces, l’ampleur du développement de l’IA — plus de modèles, modèles plus grands, bases d’utilisateurs en expansion — dépasse toute amélioration d’efficacité. La demande pour les centres de données est telle que des centrales à charbon, prévues pour la fermeture, restent en activité pour répondre aux besoins énergétiques.
Des promesses non tenues. Des géants technologiques comme Microsoft et Google ont reconnu avoir largement manqué leurs engagements climatiques, attribuant directement cet échec à l’explosion de l’IA. Ce gaspillage de ressources freine directement les objectifs de lutte contre la crise climatique, les coûts étant supportés de manière disproportionnée par les réfugiés climatiques et les communautés vulnérables, non par l’élite technologique protégée.
9. Résister à l’Engouement : Poser des Questions Critiques et Exiger la Transparence
Résumé des avis
The AI Con suscite des avis partagés, avec des notes allant d’une à cinq étoiles. Nombreux sont les lecteurs qui saluent la perspective critique des auteurs sur l’engouement autour de l’intelligence artificielle ainsi que leur exploration des impacts potentiellement négatifs. L’ouvrage est loué pour son contenu informatif et son style d’écriture accessible. Toutefois, certains lui reprochent un scepticisme excessif, un parti pris politique ou un manque de profondeur technique. En général, les lecteurs trouvent le livre stimulant, même s’ils ne partagent pas toutes ses thèses. Quelques critiques relèvent également un ton parfois sarcastique ou répétitif.
Les lecteurs ont aussi lu
FAQ
What is The AI Con: How to Fight Big Tech’s Hype and Create the Future We Want by Emily M. Bender about?
- Critical examination of AI hype: The book argues that much of what is marketed as artificial intelligence is a "con," designed to benefit tech companies and investors while obscuring real social and ethical issues.
- Focus on real-world harms: Instead of speculative threats like rogue superintelligence, the book highlights actual harms such as labor exploitation, environmental degradation, surveillance, and misinformation.
- Interdisciplinary approach: Drawing from history, sociology, labor studies, and environmental science, the book provides a comprehensive critique of AI’s societal impact.
- Strategies for resistance: The authors offer practical advice for individuals, workers, and policymakers to resist AI hype and advocate for technology that serves communities, not just profits.
Why should I read The AI Con by Emily M. Bender?
- Unveils the AI hype machine: The book exposes how AI hype manipulates public perception, policymaking, and investment, often distracting from urgent issues like climate change and social inequality.
- Empowers critical thinking: Readers are equipped with frameworks and questions to critically evaluate AI claims and avoid being misled by marketing or sensationalism.
- Highlights marginalized perspectives: The book centers the experiences of workers, climate refugees, and marginalized communities most affected by AI’s negative impacts.
- Offers actionable solutions: It provides guidance on leveraging existing laws, regulatory frameworks, and collective action to hold AI companies accountable.
What are the key takeaways from The AI Con by Emily M. Bender?
- AI is a marketing term: The book argues that "AI" is often used to sell the illusion of human-like intelligence, masking the reality of automation and statistical pattern matching.
- Real harms over hype: It emphasizes that current AI technologies cause tangible harms—like job loss, bias, and environmental damage—while hype distracts from these issues.
- Critical literacy is essential: Readers are encouraged to question AI claims, understand the limitations of technology, and advocate for ethical policies.
- Human-centered solutions: The authors stress the importance of investing in human expertise, labor rights, and social services rather than relying on automated systems.
How does The AI Con by Emily M. Bender define and critique "AI hype"?
- Deliberate strategy: AI hype is described as a calculated effort by companies and investors to inflate expectations and obscure the limitations and harms of AI technologies.
- FOMO and hype cycles: The book explains how fear of missing out (FOMO) drives rapid adoption and investment, fueling a cycle that prioritizes profit over ethics.
- Misleading metaphors: Anthropomorphizing AI with terms like "superhuman" or "hallucination" misleads the public about what AI can actually do.
- Distraction from real issues: Both utopian and dystopian narratives about AI distract from addressing present-day harms and reinforce the interests of powerful actors.
What does The AI Con by Emily M. Bender say about the definition and reality of "AI"?
- AI as a marketing label: The book asserts that "AI" does not refer to a coherent set of technologies but is used to sell the illusion of machine intelligence.
- Diverse technologies grouped together: It explains that AI includes a range of automation tools—like decision-making systems, recommendation engines, and generative models—that are fundamentally different but lumped under one term.
- Focus on automation: The authors argue for using "automation" instead of "AI" to clarify that these systems lack understanding or consciousness and simply perform statistical tasks.
- Obscures human labor: The term "AI" often hides the significant human effort required to make these systems function safely and effectively.
How do large language models (LLMs) like ChatGPT actually work, according to The AI Con by Emily M. Bender?
- Statistical prediction, not understanding: LLMs generate text by predicting the next word based on patterns in massive datasets, without any comprehension or intent.
- Neural networks and embeddings: These models use neural networks and word embeddings to capture co-occurrence patterns, producing plausible but not necessarily meaningful text.
- Human labor behind the scenes: LLMs depend on human annotators for rating outputs and filtering harmful content, often under poor working conditions.
- Illusion of intelligence: The apparent fluency of LLMs can mislead users into attributing understanding or agency where none exists.
What are the main harms of AI discussed in The AI Con by Emily M. Bender?
- Labor exploitation and job precarity: AI systems often replace stable jobs with precarious gig work or crowd labor, disproportionately affecting marginalized workers.
- Environmental impact: Training and running large AI models consume vast amounts of energy and water, contributing to climate change and environmental degradation.
- Surveillance and social control: AI enables pervasive surveillance, especially targeting marginalized groups, and reinforces systemic inequalities through automated policing and risk assessment.
- Misinformation and trust erosion: AI-generated content floods information ecosystems, making it harder to discern authentic knowledge and undermining public trust.
How does The AI Con by Emily M. Bender address the environmental impact of AI?
- Hidden resource consumption: The book reveals that AI’s energy and water use is often obscured by terms like "cloud computing," but involves intensive mining, manufacturing, and cooling.
- Growing carbon footprint: Increasing model sizes and user bases multiply AI’s environmental impact, with data centers’ energy use projected to rival that of entire countries.
- Corporate pledges fall short: Companies’ climate promises often fail to offset the increased emissions from AI investments.
- Disproportionate burden: Environmental harms from AI disproportionately affect marginalized communities and climate refugees, while tech elites remain insulated.
What does The AI Con by Emily M. Bender say about AI’s impact on labor and workers?
- Automation replaces stable jobs: AI is used to replace well-paying, stable jobs with precarious gig or crowdwork, often under exploitative conditions.
- Invisible human labor: Much of AI’s apparent competence depends on low-paid workers performing data labeling, content moderation, and filtering.
- Worker resistance: Unions and labor movements, such as the Writers Guild of America, are actively resisting AI-driven job displacement and setting standards for worker protections.
- Need for stronger laws: The book calls for enforcing and expanding labor protections, including laws like the PRO Act, to safeguard workers in the AI era.
How does The AI Con by Emily M. Bender critique the concept of artificial general intelligence (AGI)?
- Lack of clear definition: The book points out that neither AI Doomers nor Boosters have a justifiable, operational definition of "general intelligence," making AGI claims speculative.
- Historical context: It references Alan Turing’s work to show that foundational AI questions are too vague without precise definitions.
- Quasi-spiritual beliefs: The term AGI has taken on a quasi-spiritual significance among some researchers, lacking empirical grounding.
- Distraction from real harms: Focusing on AGI diverts attention from the tangible harms caused by current AI technologies.
What strategies and advice does The AI Con by Emily M. Bender recommend for resisting AI hype and harms?
- Ask pointed questions: The book encourages asking what is being automated, how systems are evaluated, who benefits or is harmed, and what labor and data practices are involved.
- Everyday resistance: Individuals can resist by refusing to use AI tools, mocking synthetic content, and supporting labor unions fighting AI-driven job loss.
- Support information literacy: Backing libraries and promoting information literacy helps counter the spread of AI-generated misinformation.
- Advocate for regulation: The authors call for enforcing existing laws, demanding transparency, and prioritizing human and civil rights over unchecked innovation.
What are the best quotes from The AI Con by Emily M. Bender and what do they mean?
- "Artificial intelligence, if we’re being frank, is a con: a bill of goods you are being sold to line someone’s pockets." This quote encapsulates the book’s central thesis that AI hype primarily serves commercial interests rather than the public good.
- "Always read the footnotes." The authors urge readers to look beyond surface claims and examine the evidence and assumptions underlying AI technologies.
- "AI is a marketing term. It doesn’t refer to a coherent set of technologies." This challenges the common perception of AI as a unified field, emphasizing its use as a buzzword.
- "Science is a human, social endeavor." The book reminds readers that technological progress and scientific discovery are collective, human-driven processes, not the result of autonomous machines.
