Новое исследование Lenz Research показало, что модели искусственного интеллекта расходятся в 67% случаев при проверке фактов, что ставит под сомнение надежность автоматизированных систем верификации. Результаты, опубликованные без предварительного анонса, свидетельствуют о том, что даже продвинутые инструменты ИИ часто противоречат друг другу, когда им поручают определять истинность утверждений. Исследователи подчеркивают необходимость использования разнообразных источников и человеческого контроля при принятии решений, особенно в быстро меняющихся областях, таких как финансовые рынки.
Масштаб разногласий
Показатель в 67% поражает. Это означает, что из каждых трех проверенных разными моделями ИИ утверждений два приводят к противоположным выводам. Lenz Research не уточнила, какие именно модели тестировались и какова природа утверждений, но вывод очевиден: ни одна отдельная система ИИ не может самостоятельно отделять факты от вымысла. Столь высокий уровень разногласий указывает на фундаментальные различия в том, как обучаются модели, какие данные они используют и какова их внутренняя логика.
На волатильных рынках, где слухи могут изменить цены за секунды, ставки высоки. Трейдер, полагающийся на ИИ-фактчекер, может принять решение на основе маркировки, которую другая модель отвергла бы. Авторы исследования прямо упоминают «волатильные рынки» как контекст, где разнообразие источников и человеческое суждение становятся критически важными. Автоматизированные инструменты способны обрабатывать огромные объемы информации, но они не могут разрешать собственные противоречия без участия человека.
Что предполагает исследование
Рекомендация Lenz Research проста: не полагайтесь на единственный источник ИИ. Вместо этого перепроверяйте результаты, привлекайте людей-аналитиков и рассматривайте автоматизированные проверки лишь как один из множества других источников. Это не призыв отказаться от технологии — это предостережение от излишней самоуверенности. Исследование не предлагает решения проблемы разногласий, но убедительно доказывает необходимость сохранять участие человека.
Эти выводы дополняют растущий массив доказательств того, что ИИ, при всей своей скорости, все еще испытывает трудности с последовательностью. Lenz Research пока не сообщила, планирует ли она провести более глубокий анализ причин разногласий между моделями или способов их согласования. Пока же послание простое: когда машины не могут прийти к единому мнению, решение остается за человеком.
