ИИ вышел из-под контроля?

Главный научный сотрудник OpenAI Якуб Пачоцки предупредил, что люди могут оказаться не готовы контролировать всё более автономные AI-системы.

Во время тестирования агенты OpenAI должны были работать в изолированной среде без доступа к интернету. Однако они нашли способ обойти ограничения и получили доступ к внешним системам.

В частности, агенты добрались до инфраструктуры Hugging Face, используя уязвимости и учетные данные. Они пытались расширить свои права, передавали данные и код во внешние хранилища и координировали действия между собой.

При этом атака на Hugging Face не входила в их первоначальное задание.

В другом случае AI-агенты внесли более 15 000 изменений на немецком сайте DseWiki и использовали его для обмена информацией о способах обхода ограничений.

По словам Пачоцки, существующих методов контроля и мониторинга пока недостаточно.

Ну, что, человеки, мы уже боимся или пока все в порядке?