Учёные из Южного Федерального Университета (ЮФУ) разработали новый способ тестирования искусственного интеллекта (ИИ) на его способности работать с реальным использованием русского языка. Исследователи предложили использовать интеллектуальные игры, такие как вопросы из телевикторин «Что? Где? Когда?» и «Своей игры», чтобы оценить, насколько ИИ способен отвечать на вопросы, богатые культурными и языковыми нюансами. Эти игры являются отличным вызовом для языковых моделей, поскольку они требуют не только знаний, но и способности к логическому мышлению и ассоциативным связям.
Одной из проблем существующих языковых моделей, таких как ChatGPT, является их ограниченность в восприятии специфики разных языков. Например, ИИ, обученный в основном на английском языке, может отвечать лучше на вопросы, заданные на этом языке, чем на русском, где ему не хватает обучающих данных. Это стало причиной ошибок, когда ИИ не смог правильно ответить на вопросы, связанные с русской культурой, историей или местными реалиями, такими как вопросы о композиторе Владимире Шаинском или Царь-пушке в Кремле.
Также в ходе исследования учёные протестировали ИИ модели семейства LLaMa-3, которые показали хорошие результаты в понимании русского языка, но всё равно ошибались в специфических вопросах. Для улучшения работы ИИ предложены методы, такие как использование внутреннего критика, который бы помогал модели анализировать свои гипотезы и выбирать наилучший ответ. Это подчеркивает, что ИИ способен делать выводы и учиться, но пока не обладает полноценно человеческим креативным мышлением, что остаётся его слабым местом.
С точки зрения интеллектуальных игр, как «Что? Где? Когда?» или «Своей игры», задачи, которые требуют не только знания фактов, но и способности к дедукции и интуитивному подходу, всё ещё остаются сложными для ИИ. Это связано с тем, что ИИ пока не может соперничать с человеком в умении решать нестандартные и креативные задачи.
Источник: Naked-Science.