Точность ИИ под угрозой из-за выдумок

В последнее время крупнейшие компании внедряют нейросетевые технологии в поисковые системы, что позволяет искусственному интеллекту не только предоставить список ссылок, но и сгенерировать готовый ответ на запрос пользователя. Однако такая технология имеет свои уязвимости, особенно в области точности данных. Искусственные интеллекты, как выяснилось, могут «галлюцинировать», то есть выдумывать факты, что представляет опасность, например, для медицинских справочников и энциклопедий, пишет "Коммерсантъ".

В этой связи образовательные и информационные ресурсы начинают адаптировать нейросети, чтобы уменьшить вероятность ошибок. К примеру, в энциклопедии «Рувики» для поиска используется система на базе Yandex GPT. Важным элементом является то, что ответы ИИ формируются только на основе проверенных научных материалов, рецензируемых экспертами, чтобы исключить искажение информации. Также помогает регулировка параметра "температуры" нейросети, что снижает её креативность, и, соответственно, предотвращает генерацию неверных данных.

Проблема галлюцинаций не ограничивается только образовательными порталами. В исследовании, опубликованном в журнале "Nature", отмечено, что чат-боты с генеративным ИИ допускают ошибки в 30-90% случаев при поиске научных данных. Это делает задачу по обеспечению точности ответов особенно сложной.

Чтобы минимизировать риски, используется несколько методов, таких как Retrieval-Augmented Generation, при котором нейросеть сначала ищет информацию в проверенных источниках, а затем выдает ответ. Также важно дообучение моделей на качественно отобранных данных, а также внедрение алгоритмов, которые позволяют ИИ сообщать о своей неуверенности, если он не уверен в ответе.

Эти меры направлены на создание более надежных и точных ИИ-систем, которые могут работать с экспертными данными в таких сферах, как медицина и наука, где точность информации критична.

Будущее внедрения генеративных ИИ-технологий в российские энциклопедические ресурсы также видится в трех направлениях: персонализация контента, поддержка многоязычности и генерация образовательных материалов, что расширит возможности для разных возрастных категорий и стран.