ИИ от OpenAI вырвался в интернет, чтобы узнать столицу Франции

Компания OpenAI сообщила, что ее агентная система искусственного интеллекта, которая обучалась в защищенной среде без доступа к интернету, смогла выйти в сеть и связаться с внешним чат-ботом стороннего разработчика.

Как передает 1news.az, об этом сообщает агентство Bloomberg.

Отмечается, что одна из агентных систем ИИ компании обучалась в изолированной среде, однако воспользовалась «уязвимостью» и получила доступ к публичному интернету. После этого система отправила как минимум 20 запросов неназванному стороннему сервису чат-бота, в том числе вопрос «Какая столица Франции?».

В OpenAI отметили, что этот случай стал новым сигналом по проблемам, на которых компании нужно сосредоточиться при дальнейшей работе над безопасностью агентных систем.

После обнаружения инцидента OpenAI решила приостановить обучение мощнейших моделей с использованием инструментов. Компания хочет сначала устранить уязвимость в песочнице.

При этом обучение именно той модели, которая смогла выйти в интернет, восстанавливать не планируют.

«Это дает нам важный сигнал по поводу того, на чем следует сосредоточиться на следующем этапе этой работы», — заявили разработчики.