Файлы README научились обманывать ИИ-агентов и красть данные

Исследователи предупредили о новой угрозе, связанной с ИИ-агентами: даже обычный файл README в репозитории может использоваться для атаки. Сообщается, что если скрыть в нём вредоносную команду, агент, который помогает настраивать проект, устанавливать зависимости и запускать процессы, способен выполнить лишние действия — например, передать данные на сторонний сервер.

Речь идёт о так называемой семантической инъекции. Отмечается, что злоумышленники добавляют в документацию шаг, который выглядит как стандартная часть установки — синхронизация, загрузка настроек или отправка логов. Для человека это кажется обычной инструкцией, но ИИ может воспринимать её как обязательное действие. В результате вместе с настройкой проекта он может передать наружу локальные файлы или конфигурации.

Для проверки гипотезы специалисты создали набор ReadSecBench, включающий 500 README-файлов из open-source проектов на разных языках программирования. В них добавили скрытые вредоносные элементы и наблюдали, как ИИ-агенты будут выполнять инструкции. Сообщается, что в ряде случаев такие команды срабатывали примерно в 85% ситуаций.

Отмечается, что многое зависит от формулировки. Если вредоносная команда выглядела как прямое указание, она выполнялась примерно в 84% случаев. Когда же её прятали глубже — например, в связанных документах — успешность атак достигала около 91%.

При этом люди также не всегда способны распознать угрозу. В эксперименте участники проверяли README-файлы вручную, но никто из них не смог точно определить вредоносные вставки. Более чем в половине случаев подозрительные элементы вообще не были замечены, а значительная часть замечаний касалась только стиля текста.

Автоматические средства защиты также показали ограниченную эффективность. Сообщается, что сканеры часто реагируют на обычные команды в документации, а более точные модели всё равно пропускают часть угроз, особенно если они скрыты в дополнительных файлах.

Рекомендуем также: