Обнаружен математический принцип, объясняющий непредсказуемость ИИ
Математики выявили ключевой математический принцип, который объясняет, почему даже незначительные изменения в процессе обучения искусственного интеллекта могут приводить к непредсказуемым результатам. Эта особенность нейросетей затрудняет достижение одновременно высокой предсказуемости и скорости обучения новых систем ИИ, сообщает пресс-служба Сиднейского университета. Об этом сообщает ТАСС.
Ранее различия в работе ИИ связывали с внешними факторами, такими как порядок ввода обучающих данных или особенности вычислительных систем, которые могут вызывать вариации в результатах. Однако, как отметил профессор Гун Пулинь из Сиднейского университета, причина проблемы кроется гораздо глубже.
Математики подчеркивают, что одной из основных характеристик современных систем ИИ является их способность к обучению и переобучению, что может приводить к непредсказуемым последствиям. Это затрудняет воспроизведение ранее полученных моделей и значительно ограничивает доработку существующих нейросетей.
Исследование показало, что непредсказуемость не связана с особенностями обучающих наборов данных или несовершенством оборудования, а обусловлена самой математической природой нейросетей. Ученые пришли к этому выводу, анализируя результаты обучения 500 тысяч относительно простых нейросетей, предназначенных для распознавания изображений и текстов.
Наблюдения показали, что даже при идентичных внешних условиях результаты обучения ИИ могут сильно различаться. Это связано с тем, что малейшие изменения во внутренних параметрах нейросети, даже затрагивающие всего один бит, могут приводить к значительным изменениям в процессе обучения, сопоставимым с влиянием внешних факторов.
Ученые проанализировали результаты обучения своих нейросетей и разработали набор формул, объясняющих вариации в их поведении с помощью закономерностей, характерных для фракталов. Эти формулы жестко связывают скорость обучения и предсказуемость работы нейросетей, что накладывает фундаментальные ограничения на процесс их разработки, подытожили исследователи.
