Le lanceur d’alerte de Theranos Tyler Shultz avertit que l’essor de l’IA pourrait rendre les tromperies plus difficiles à détecter

Tyler Shultz, l’ancien employé de Theranos dont les avertissements ont contribué à révéler les défaillances de la technologie d’analyse sanguine de l’entreprise, exhorte les investisseurs à examiner les start-up d’IA avec beaucoup plus d’attention. Dans un entretien avec The San Francisco Standard, Shultz a déclaré que la difficulté d’évaluer l’intelligence artificielle pourrait offrir aux fondateurs malhonnêtes de nouveaux moyens d’induire leurs financeurs en erreur.

Son avertissement intervient alors que l’essor de l’IA continue d’attirer des capitaux et des valorisations considérables, y compris pour des entreprises qui ne sont pas encore rentables. Il ne s’agit pas de dire que les entreprises actuelles d’IA sont comparables à Theranos, mais que la complexité technique du secteur peut rendre les affirmations exagérées difficiles à vérifier pour les investisseurs non spécialistes.

Pourquoi Shultz établit la comparaison avec Theranos

Shultz a rejoint Theranos peu après l’université et est devenu un lanceur d’alerte majeur après avoir découvert que les appareils d’analyse sanguine de l’entreprise produisaient des résultats dangereusement inexacts. Selon le récit de TechCrunch consacré à ses propos et à l’histoire de l’entreprise, les machines étaient utilisées dans des établissements Walgreens et généraient des informations erronées pour de vrais patients.

Theranos a atteint une valorisation d’environ 10 milliards de dollars alors que son système propriétaire n’effectuait pas la vaste gamme d’analyses qu’il prétendait prendre en charge. L’entreprise n’utilisait ses propres machines que pour une partie des tests et s’appuyait sur des équipements de tiers pour d’autres résultats, a rapporté TechCrunch.

Cette histoire nourrit les inquiétudes de Shultz concernant l’IA. Il a estimé que les investisseurs ne devraient plus considérer une brève rencontre avec un fondateur comme une base suffisante pour réaliser un investissement personnel important. Selon lui, Theranos a montré comment un modèle de levée de fonds qui pouvait autrefois impliquer des sommes relativement modestes pouvait se transformer en un échec financier et institutionnel beaucoup plus vaste.

La comparaison est également relancée par le documentaire « You Can See Everything », qui suit l’ancienne directrice générale de Theranos, Elizabeth Holmes, avant le début de sa peine de prison. TechCrunch a rapporté que Holmes et son partenaire, Billy Evans, travaillent aussi sur Haemanthus, une entreprise de diagnostic décrite dans le film comme « Theranos 2.0 » et qui aurait levé environ 20 millions de dollars. Les éléments disponibles ne démontrent pas que la nouvelle entreprise ait reproduit les agissements de Theranos.

Le problème de la diligence raisonnable dans l’IA

L’argument central de Shultz est que les entreprises d’IA peuvent être particulièrement difficiles à évaluer de l’extérieur. Un investisseur peut parfois examiner un prototype physique ou demander des preuves scientifiques classiques, mais l’évaluation d’une entreprise d’IA peut nécessiter l’accès aux données d’entraînement, à l’architecture du modèle, à la méthodologie de test, aux coûts d’inférence, aux contrôles de sécurité et aux données d’utilisation des clients.

Il a notamment averti qu’il pouvait être difficile de distinguer un produit véritablement original d’un « ChatGPT wrapper », c’est-à-dire un service qui ajoute une mince couche logicielle ou un flux de travail autour d’un modèle existant. Cette distinction est importante, car un produit peut sembler techniquement sophistiqué tout en dépendant fortement du modèle, de l’interface de programmation, des tarifs et de la disponibilité d’une autre entreprise.

Pour les concepteurs et les investisseurs, la question n’est pas de savoir si les wrappers sont intrinsèquement illégitimes. De nombreux produits utiles associent des modèles existants à des interfaces spécialisées, des données propriétaires, une intégration aux processus ou des fonctions de conformité. La question de diligence est de savoir si l’entreprise dispose d’un avantage défendable et si son modèle économique reste viable lorsque le fournisseur du modèle sous-jacent modifie ses tarifs, ses conditions d’accès ou ses capacités.

Un problème similaire concerne les affirmations de performance. Les résultats d’un modèle peuvent varier selon le benchmark, la conception des prompts, le jeu d’évaluation, les évaluateurs humains et les conditions opérationnelles. Une démonstration commerciale peut montrer qu’un système fonctionne dans un scénario soigneusement choisi sans établir qu’il est fiable dans l’ensemble du flux de travail d’un client.

Ce que montrent les éléments disponibles — et ce qu’ils ne montrent pas

Les éléments les plus solides de cette histoire sont les explications de Shultz sur les risques, rapportées par TechCrunch à partir de son entretien avec The San Francisco Standard. L’article de Tech Buzz reprend indépendamment le même avertissement général, mais ne fournit ni texte supplémentaire ni documents justificatifs.

Les articles ne désignent pas une entreprise d’IA précise que Shultz considérerait comme frauduleuse. Ils ne fournissent pas non plus de preuve que le marché actuel de l’IA dans son ensemble repose sur la tromperie. Les références à des entreprises levant des capitaux avec des valorisations de mille milliards de dollars constituent un contexte de marché présenté dans le rapport de TechCrunch, et non la preuve que ces entreprises ont déformé leur technologie.

Cette distinction est importante. Les systèmes d’IA sont réels et de plus en plus utiles, mais l’existence d’une technologie opérationnelle ne valide pas toutes les affirmations d’une start-up sur ses capacités propriétaires, sa croissance, ses marges ou l’adoption par ses clients. Une valorisation élevée ne démontre pas non plus l’adéquation entre le produit et le marché.

Theranos offre un exemple particulièrement grave, car les défaillances présumées ont affecté des décisions médicales et de vrais patients. Les produits d’IA peuvent également être utilisés dans des contextes à forts enjeux, mais les risques varient selon les usages. Un assistant marketing défaillant et un système utilisé pour le triage médical ne nécessitent ni les mêmes contrôles, ni les mêmes preuves, ni la même analyse de responsabilité.

Conséquences pour les concepteurs et les acheteurs professionnels

Pour les fondateurs de l’IA, l’avertissement de Shultz relève le niveau d’exigence concernant la communication de ce qui est réellement propriétaire. Les entreprises devraient pouvoir expliquer quelles parties de leur stack elles contrôlent, quelles capacités proviennent de fournisseurs externes de modèles, comment les sorties sont évaluées et ce qui se passe lorsque le système échoue.

Cette transparence peut également améliorer la levée de fonds. Une entreprise qui communique ses limites, sa latence, ses coûts de modèle, ses taux d’erreur et ses risques de dépendance peut sembler moins impressionnante dans un pitch court qu’une entreprise aux affirmations générales, mais elle donne aux investisseurs une base plus claire pour juger sa pérennité.

Les acheteurs professionnels sont confrontés à un défi comparable. Avant de déployer un produit d’IA, les équipes achats et techniques devraient le tester sur des données internes représentatives, vérifier les pratiques du fournisseur en matière de sécurité et de confidentialité, examiner les exigences de contrôle humain et calculer les coûts dans des conditions d’utilisation réalistes. Elles devraient également demander si le fournisseur pourra prendre en charge le flux de travail si son modèle de fondation privilégié évolue.

La question clé n’est donc pas simplement de savoir si une démonstration d’IA fonctionne. Il faut déterminer si le produit fonctionne de manière constante dans l’environnement de l’acheteur, s’il peut être surveillé après son déploiement et si son modèle économique ne dépend pas entièrement d’hypothèses optimistes concernant le prix des modèles ou l’expansion de la clientèle.

Ce qu’il faut surveiller

Les investisseurs et les clients devraient surveiller les informations plus détaillées que les start-up d’IA fourniront sur la provenance des modèles, la méthodologie des benchmarks, la fidélisation des clients, les marges brutes et la dépendance aux plateformes tierces. Les évaluations indépendantes seront plus utiles que les démonstrations choisies par les fondateurs, en particulier pour les applications réglementées ou sensibles en matière de sécurité.

Le marché devrait également suivre l’évolution des pratiques de diligence raisonnable. Les demandes d’audits techniques, d’évaluations reproductibles, de clients de référence, de preuves de revenus fondés sur l’usage et d’historiques documentés d’incidents pourraient se généraliser à mesure que le financement passe de l’expérimentation au déploiement à grande échelle.

Enfin, toute affirmation future concernant Haemanthus ou d’autres projets associés à Holmes devrait être examinée séparément et à partir d’éléments vérifiables. L’existence d’un second acte pour une ancienne dirigeante de Theranos ne constitue pas en soi une preuve de faute, tout comme un pitch d’IA convaincant ne constitue pas une preuve de fraude.

Le point de vue de Creati.ai

L’avertissement de Shultz est le plus utile lorsqu’il est considéré comme un cadre de diligence plutôt que comme un verdict sur le secteur de l’IA. Le risque central n’est pas que toutes les start-up d’IA soient trompeuses ; c’est que la complexité technique, le financement rapide et les démonstrations convaincantes puissent rendre les affirmations fragiles plus difficiles à contester avant que l’argent et la responsabilité ne soient transférés en aval.

Pour les concepteurs et les acheteurs d’IA, la crédibilité dépendra de plus en plus de la capacité à montrer le travail effectué : limites claires du système, évaluations reproductibles, rapports honnêtes sur les échecs et modèle économique capable de résister aux changements de la couche des modèles. Ces pratiques ne peuvent pas éliminer la fraude, mais elles rendent plus difficile le remplacement des preuves par la qualité de la présentation.