МФТИ создал метод для выявления ошибок в рассуждениях нейросетей

Диляра Аминова Автор статьи

МФТИ разработал новый метод, позволяющий выявлять логические ошибки в ответах нейросетей, даже если они звучат убедительно. Сообщает Интернет-газета «Жук».

В лаборатории фундаментальных исследований искусственного интеллекта МФТИ был создан способ обнаружения некорректных рассуждений, генерируемых большими языковыми моделями. Об этом сообщили в пресс-службе МФТИ на портале Naked Science.

Проверка моделей искусственного интеллекта (ИИ) особенно важна в таких областях, как медицина, где ошибки могут иметь серьезные последствия. Результаты исследования опубликованы в журнале AI.

Большие языковые модели используются как инструменты для решения практических задач. Они не только предоставляют ответы, но и показывают промежуточные этапы рассуждений. На ранних стадиях развития ИИ пользователи должны были формулировать запросы так, чтобы модель подробно объясняла свои мысли. Современные модели обладают этой способностью автоматически.

Однако существует проблема так называемых галлюцинаций. Модели могут создавать вымышленные факты, ссылаться на несуществующие источники и генерировать логически ошибочные рассуждения, которые выглядят последовательными.

Большинство исследований галлюцинаций сосредоточены на фактических ошибках, вымышленных данных или неверных выводах. Однако надежность диагностики зависит не только от точности фактов, но и от процесса отбора свидетельств, определения их значимости и сопоставления альтернатив.

Разработанный метод проверки основан на том, что структура рассуждения может служить индикатором галлюцинаций. Анализ цепочек шагов позволит моделям различать обоснованные рассуждения от галлюцинаторных.

Для проверки идеи была составлена выборка из 1000 сгенерированных жалоб пациентов с аутоиммунными и ревматологическими заболеваниями. Жалобы формулировались неоднозначно, чтобы модель не могла поставить диагноз по одному ключевому слову. Для каждой жалобы были подготовлены два варианта рассуждений: обоснованное и галлюцинаторное, содержащее одну из шести типичных ошибок.

Каждое рассуждение было представлено в виде схемы. Текст делился на короткие фрагменты, каждому из которых присваивалась роль: ключевое утверждение, подтверждающий довод, противоречащий довод, игнорирование неудобного факта, вывод. Схема отображает структуру рассуждения: что является главным, что второстепенным, учтены ли противоречия.

Сравнительный анализ схем выявил значительные различия. В обоснованных рассуждениях ключевые свидетельства встречались в 79% случаев, а в галлюцинаторных – только в 15%. Этап объединения различных фактов перед выводом присутствовал в 79% обоснованных рассуждений и только в 16% галлюцинаторных. Кроме того, галлюцинаторные рассуждения были короче и проще по структуре: модели переходили к выводу, минуя этап сопоставления данных.

На следующем этапе классификатор был обучен различать обоснованные и галлюцинаторные рассуждения на основе их структуры. Классификатор верно определял тип рассуждения примерно в 81% случаев, используя только схемы без содержания.

Затем структурный сигнал был объединён с другими сигналами. При сочетании трёх компонентов классификатор правильно распознавал галлюцинаторные рассуждения в 84% случаев, тогда как без структурного сигнала – только в 72%. Последующие эксперименты показали, что ни один из отдельных сигналов не достигал максимального результата: они дополняют друг друга.

Анализ дискурса не заменяет проверку фактов, но помогает выявлять структурно необоснованные цепочки рассуждений, даже если они изложены бегло и убедительно, прокомментировал Борис Галицкий, ведущий научный сотрудник лаборатории фундаментальных исследований искусственного интеллекта МФТИ.

Структурный анализ вносит значительное дополнение в исследование галлюцинаций больших языковых моделей, хотя и не может полностью заменить проверку фактов. Борис Галицкий выделяет три ключевых достижения исследователей. Во-первых, был создан набор данных для изучения характеристик галлюцинаторных рассуждений на уровне дискурса. Во-вторых, был выявлен набор структурных признаков, позволяющих отличить обоснованные объяснения по цепочке мыслей от галлюцинаторных. Наконец, было продемонстрировано, как эти признаки могут быть использованы для интерпретируемого обнаружения галлюцинаций и верификации рассуждений, что способствует разработке более надежных и объяснимых систем на основе больших языковых моделей.

Проблема ошибок нейросетей касается не только медицины и науки, но и индустрии видеоигр. Игровое сообщество критикует ошибки искусственного интеллекта в видеоиграх, а разработчики продолжают внедрять ИИ, чтобы снизить затраты на производство. Игроки жалуются на роботизированные диалоги и шестипалых персонажей.