Информатор Theranos Тайлер Шульц предупреждает: бум ИИ может затруднить выявление обмана

Тайлер Шульц, бывший сотрудник Theranos, чьи предупреждения помогли раскрыть неисправную технологию анализа крови компании, призывает инвесторов гораздо тщательнее проверять стартапы в сфере ИИ. В интервью The San Francisco Standard Шульц заявил, что сложность оценки искусственного интеллекта может дать нечестным основателям новые способы вводить инвесторов в заблуждение.

Его предупреждение прозвучало в момент, когда бум ИИ продолжает привлекать огромный капитал и высокие оценки, в том числе для компаний, которые еще не вышли на прибыль. Речь не о том, что нынешние компании в сфере ИИ эквивалентны Theranos, а о том, что техническая сложность отрасли может затруднить проверку преувеличенных заявлений для инвесторов, не являющихся специалистами.

Почему Шульц проводит сравнение с Theranos

Шульц присоединился к Theranos вскоре после окончания колледжа и стал одним из ключевых информаторов после того, как обнаружил, что устройства компании для анализа крови выдают опасно неточные результаты. Согласно материалу TechCrunch о его высказываниях и истории компании, аппараты использовались в магазинах Walgreens и выдавали неверную информацию реальным пациентам.

Оценка Theranos достигала примерно 10 млрд долларов, хотя ее запатентованная система не выполняла широкий спектр анализов, который, как утверждала компания, она поддерживала. Theranos использовала собственные аппараты лишь для части тестов, а для других результатов полагалась на оборудование третьих сторон, сообщила TechCrunch.

Именно эта история лежит в основе обеспокоенности Шульца ситуацией с ИИ. Он заявил, что инвесторы больше не должны считать короткую встречу с основателем достаточным основанием для крупной личной инвестиции. По его мнению, Theranos показала, как модель привлечения средств, которая когда-то могла предполагать относительно небольшие суммы, может масштабироваться в гораздо более масштабный финансовый и институциональный провал.

Сравнение также вновь стало актуальным благодаря документальному фильму «You Can See Everything», который рассказывает о бывшей главе Theranos Элизабет Холмс до того, как она начнет отбывать тюремный срок. TechCrunch сообщила, что Холмс и ее партнер Билли Эванс также работают над Haemanthus — диагностической компанией, которую в фильме называют «Theranos 2.0» и которая, по сообщениям, привлекла около 20 млн долларов. Доступные свидетельства не подтверждают, что новая компания повторила действия Theranos.

Проблема проверки компаний в сфере ИИ

Главный аргумент Шульца заключается в том, что бизнесы в сфере ИИ бывает особенно трудно оценить со стороны. Инвестор может осмотреть физический прототип или запросить обычные научные доказательства, но для оценки ИИ-компании может потребоваться доступ к данным обучения, архитектуре модели, методике тестирования, стоимости инференса, средствам защиты и данным об использовании продукта клиентами.

Он особо предупредил, что бывает трудно отличить действительно уникальный продукт от «ChatGPT wrapper» — сервиса, который добавляет тонкий программный слой или рабочий процесс поверх существующей модели. Это различие важно, поскольку продукт может выглядеть технически сложным, при этом сильно зависеть от модели, интерфейса программирования приложений, цен и доступности другой компании.

Для разработчиков и инвесторов вопрос не в том, являются ли обертки по своей природе незаконными. Многие полезные продукты объединяют существующие модели со специализированными интерфейсами, собственными данными, интеграцией процессов или функциями соответствия требованиям. При проверке нужно выяснить, обладает ли компания защищаемым преимуществом и сохранится ли ее экономика, если поставщик базовой модели изменит цены, условия доступа или возможности.

Аналогичная проблема касается заявлений о производительности. Результаты модели могут меняться в зависимости от бенчмарка, дизайна промптов, набора для оценки, человеческих проверяющих и условий эксплуатации. Демонстрация для продаж может показать, что система работает в тщательно выбранном сценарии, но не доказать ее надежность во всем рабочем процессе клиента.

Что показывают доказательства — и чего они не показывают

Самое весомое свидетельство в этой истории — рассказ Шульца о рисках, опубликованный TechCrunch по итогам его интервью с The San Francisco Standard. Материал Tech Buzz независимо отражает то же общее предупреждение, но не содержит дополнительного текста статьи или подтверждающей документации.

В публикациях не названа конкретная ИИ-компания, которую Шульц считает мошеннической. В них также нет доказательств того, что нынешний рынок ИИ в целом построен на обмане. Упоминания компаний, привлекающих капитал при оценке в триллионы долларов, — это рыночный контекст из материала TechCrunch, а не доказательство того, что эти компании искажали информацию о своей технологии.

Это различие важно. Системы ИИ реальны и становятся все полезнее, однако наличие работающей технологии не подтверждает каждое заявление стартапа о его собственных возможностях, росте, марже или привлечении клиентов. Высокая оценка также не доказывает соответствие продукта рынку.

Theranos — особенно серьезный пример, поскольку предполагаемые сбои повлияли на медицинские решения и реальных пациентов. Продукты ИИ тоже могут работать в ситуациях с высокими рисками, но риски различаются в зависимости от сценария использования. Неисправный маркетинговый помощник и система медицинской сортировки пациентов не требуют одинаковых мер контроля, доказательств или анализа ответственности.

Последствия для разработчиков и корпоративных покупателей

Для основателей ИИ предупреждение Шульца повышает планку в вопросе объяснения того, что действительно является собственной разработкой. Компании должны уметь объяснить, какие части своего стека они контролируют, какие возможности получают от внешних поставщиков моделей, как оцениваются результаты и что происходит при сбое системы.

Такая прозрачность может также улучшить привлечение средств. Компания, которая сообщает об ограничениях, задержке, стоимости модели, частоте ошибок и рисках зависимости, может выглядеть менее впечатляюще в коротком питче, чем компания с широкими обещаниями, но дает инвесторам более ясную основу для оценки устойчивости.

Корпоративные покупатели сталкиваются с похожей проблемой. До внедрения ИИ-продукта закупочные и технические команды должны протестировать его на репрезентативных внутренних данных, проверить практики поставщика в области безопасности и конфиденциальности, изучить требования к проверке человеком и рассчитать затраты при реалистичном использовании. Им также следует выяснить, сможет ли поставщик поддерживать рабочий процесс, если предпочитаемая им базовая модель изменится.

Таким образом, главный вопрос не сводится к тому, работает ли демонстрация ИИ. Нужно понять, стабильно ли продукт работает в среде покупателя, можно ли контролировать его после внедрения и имеет ли он бизнес-модель, не зависящую полностью от оптимистичных предположений о ценах на модели или расширении клиентской базы.

За чем следить дальше

Инвесторам и клиентам стоит ждать от стартапов в сфере ИИ более подробной информации о происхождении моделей, методике бенчмарков, удержании клиентов, валовой марже и зависимости от сторонних платформ. Независимые оценки будут полезнее демонстраций, выбранных основателями, особенно для регулируемых приложений и систем, связанных с безопасностью.

Рынку также следует наблюдать за развитием практик проверки. По мере того как финансирование будет переходить от экспериментов к масштабному внедрению, более распространенными могут стать запросы на технические аудиты, воспроизводимые оценки, рекомендации клиентов, подтверждения выручки на основе использования и документированные истории инцидентов.

Наконец, любые будущие заявления о Haemanthus или других проектах, связанных с Холмс, следует оценивать отдельно и на основании проверяемых фактов. Само существование второй попытки бывшего руководителя Theranos не является доказательством правонарушения — так же как убедительный питч об ИИ не является доказательством мошенничества.

Взгляд Creati.ai

Предупреждение Шульца наиболее полезно рассматривать как основу для проверки, а не как вердикт индустрии ИИ. Главный риск не в том, что каждый ИИ-стартап обманывает, а в том, что техническая сложность, быстрое финансирование и убедительные демонстрации могут затруднить оспаривание слабых заявлений до того, как деньги и ответственность переместятся дальше по цепочке.

Для разработчиков и покупателей ИИ доверие все больше будет зависеть от способности показать проделанную работу: четкие границы системы, воспроизводимые оценки, честные отчеты о сбоях и экономику, способную выдержать изменения на уровне модели. Эти практики не могут полностью устранить мошенничество, но затрудняют подмену доказательств качеством презентации.