Корпоративные ИИ-агенты останавливаются из-за нехватки организационных знаний

По данным MIT Technology Review Insights, многие корпоративные ИИ-агенты не могут выйти за рамки пилотных проектов, поскольку им не хватает организационного контекста, необходимого для интерпретации данных и надежных действий. Новый отчет, основанный на опросе 300 руководителей в сферах данных, ИИ и технологий, показал, что в среднем до промышленной эксплуатации доходит лишь около 34% проектов агентного ИИ.

Этот вывод указывает на проблему, которая глубже, чем просто доступ к большему числу документов или более крупным языковым моделям. Агентам необходимо понимать, что означает информация внутри конкретной компании, как события связаны друг с другом и какие процедуры регулируют принятие решений. Без этого контекста организации могут иметь работающие демонстрации, но не системы, которым они готовы доверить производственные задачи.

Разрыв между пилотом и промышленной эксплуатацией — это также разрыв в знаниях

Отчет выделяет три основные способности, составляющие корпоративные знания: семантические знания, описывающие смысл и связи в данных; эпизодическую память, фиксирующую релевантные события прошлого; и процедурные знания, отражающие то, как должна выполняться работа.

MIT Technology Review Insights сообщает, что организации с более развитыми возможностями в этих областях с большей вероятностью продвигают свои проекты агентов. Группа, которую отчет называет лидерами промышленной эксплуатации, вывела за пределы пилотной стадии в среднем 61% своих проектов агентного ИИ по сравнению примерно с одной третью в среднем среди всех опрошенных организаций.

Отчет не доказывает, что более развитые возможности управления знаниями напрямую приводят к более высоким показателям промышленной эксплуатации. Он выявляет тесную связь между этими факторами. Это различие важно, поскольку исследование основывалось на ответах руководителей, а не на независимом аудите развернутых систем.

Опрос также показал, что фрагментация данных была наиболее часто упоминаемым препятствием для расширения доступа агентов к организационным знаниям: ее назвали 55% респондентов. Несвязанные приложения и несовместимые структуры данных затрудняют для агента формирование полной картины клиента, процесса, риска или делового события.

Среди лидеров промышленной эксплуатации более заметными были опасения по поводу безопасности и конфиденциальности: их назвали 72% представителей этой группы. Это может означать, что организации, добившиеся большего прогресса в развертывании, сталкиваются с проблемами управления, возникающими, когда агенты получают более широкий доступ к чувствительной информации.

Почему корпоративный контекст важен для агентов

Обычная поисковая система может вернуть релевантный документ, не понимая, как этот документ вписывается в операционные правила компании. Агент, от которого ожидают рекомендации по дальнейшим действиям или выполнения рабочего процесса, нуждается в большем. Он должен определить авторитетные источники, сопоставить противоречивые записи, помнить, что уже произошло, и следовать утвержденным процедурам.

Именно это различие между данными и знаниями проводит отчет. Данные могут показать, что по счету не внесен платеж или что компонент отсутствует на складе. Знания помогают агенту определить, распространяется ли на счет специальный контракт, актуальна ли запись об инвентаре и какие действия организация разрешает в такой ситуации.

Эта проблема контекста влияет на надежность ИИ-агентов в практических рабочих процессах. Агент, подключенный к разрозненным системам, может выдать правдоподобный ответ, пропустив исключение, хранящееся в другом приложении. В службе поддержки клиентов, финансах, закупках или операционной деятельности такая ошибка может оказаться более разрушительной, чем простая неспособность ответить.

Результаты отчета также объясняют, почему генерация с дополнением поиска сама по себе может не решить все проблемы развертывания. Поиск способен улучшить информацию, передаваемую модели, но организациям по-прежнему нужны правила качества источников, прав доступа, взаимосвязей данных и последовательности действий, которые разрешено выполнять агенту.

Компании создают уровень знаний

Опрошенные руководители ожидают, что наибольшие улучшения качества решений агентов будут достигнуты за счет укрепления структурной связи между корпоративными данными и ИИ-системами. Отчет называет это уровнем знаний: организационной основой, которая предоставляет агентам доступ к пригодной для использования и контекстуализированной информации, а не к изолированным хранилищам данных.

В число инвестиционных приоритетов, выявленных в отчете, входят конвейеры приема данных, API, готовые для ИИ, генерация с дополнением поиска, агенты оценки и графы знаний. Эти технологии решают разные части проблемы. Конвейеры могут подготавливать информацию к использованию, API — предоставлять единообразный доступ к данным и бизнес-функциям, а графы знаний — представлять связи, которые трудно вывести только из неструктурированного текста.

Отчет представляет эти направления как организационные приоритеты и рекомендации экспертов, а не как доказательство того, что одна архитектура подойдет каждой компании. Например, граф знаний может помочь отображать сущности и зависимости, но для этого также требуется постоянное управление определениями и связями. Аналогично, API, готовый для ИИ, способен улучшить доступ, но при этом по-прежнему может предоставить агенту неполные или плохо управляемые исходные данные.

Для разработчиков это означает, что разработка агентов все чаще включает инженерную работу с данными, управление метаданными, контроль доступа и проектирование рабочих процессов. Модель остается важной, но является лишь одним из компонентов промышленной системы.

Что результаты означают для разработчиков и покупателей

Команды, оценивающие ИИ-агентов, должны измерять не только способность агента завершить заранее подготовленную демонстрацию. Им следует проверять, выбирает ли агент правильный источник, обрабатывает ли противоречивые записи, соблюдает ли разрешения, помнит ли релевантные события и объясняет ли, почему совершил конкретное действие.

Агенты оценки могут стать полезными в этом процессе, особенно при проверке большого числа решений на соответствие корпоративным политикам и ожидаемым результатам. Однако автоматизированная оценка должна дополнять, а не заменять человеческую проверку рабочих процессов с высокой степенью воздействия. Исходные материалы не содержат подробных доказательств точности или зрелости таких систем оценки.

Корпоративным покупателям также следует рассматривать фрагментацию данных как ограничение развертывания, а не как неудобство внутреннего офиса. Подключение агента к большему числу систем может расширить его возможности, но одновременно увеличить число точек отказа и масштаб потенциального инцидента с конфиденциальностью. Акцент на безопасности среди лидеров промышленной эксплуатации указывает на то, что успешное развертывание требует одновременного развития политик доступа и возможности аудита вместе с функциональностью.

Для основателей и поставщиков платформ рыночный сигнал заключается в том, что спрос может сместиться от автономных интерфейсов агентов к инфраструктуре, делающей корпоративные знания пригодными для использования. Продукты, объединяющие поиск, разрешения, память, оценку и выполнение рабочих процессов, могут решить более насущную проблему покупателя, чем системы, обещающие автономность без надежного организационного контекста.

За чем следить дальше

Следующими важными сигналами будут сообщения компаний о более высоких показателях промышленной эксплуатации после инвестиций в уровни знаний, а также то, сохранятся ли эти результаты в регулируемых и насыщенных данными отраслях. Покупателям следует искать независимо проверяемые свидетельства внедрения, а не ориентироваться на количество пилотов или общие заявления о распространении технологии.

Важно будет также отслеживать, как поставщики определяют API, готовый для ИИ, как поддерживают актуальность графов знаний и могут ли поисковые системы сохранять права доступа в нескольких корпоративных приложениях. Инциденты безопасности, ошибки оценки и измеримое сокращение ручной проверки расскажут о готовности к промышленной эксплуатации больше, чем одни только демонстрации.

Сам отчет подготовлен Insights — подразделением MIT Technology Review, занимающимся заказным контентом, — а не редакцией издания. Поэтому его результаты опроса полезны как ориентировочное представление о приоритетах руководителей, но их следует рассматривать как основанные на исследовании утверждения, а не как окончательные измерения рынка.

Взгляд Creati.ai

Главный вывод практический: корпоративные агенты не становятся надежными просто потому, что получают больше данных. Им необходимо поддерживаемое понимание делового смысла, истории, разрешений и процедур. Это превращает инфраструктуру знаний в ключевую часть стека ИИ-продукта, а не в необязательное улучшение после выбора модели.

Наиболее сильными, вероятно, будут внедрения, в которых контекст рассматривается как измеримая инфраструктура. Команды, способные показать, какие источники использовал агент, какие правила его ограничивали и как оценивались его решения, будут иметь более ясный путь от пилота к промышленной эксплуатации, чем команды, полагающиеся только на беглые ответы.