OpenAI, Anthropic и DeepMind тестват AI с Irregular

Стартъпът симулира кибератаки, за да открива уязвимости в големите езикови модели

Водещите лаборатории за изкуствен интелект OpenAI, Anthropic и Google DeepMind са се обърнали към стартъпа Irregular за стрес-тестове на своите AI модели в симулирани среди. Това съобщава Forbes. Irregular вече е привлякъл 80 млн. долара инвестиции при пазарна оценка от 450 млн. долара.

Компанията се специализира в т.нар. „red teaming“ – проверка на това как AI системите се държат в потенциално опасни сценарии. Във виртуална среда на моделите се възлагат задачи като например откриване и кражба на поверителни данни от корпоративна мрежа. Целта е да се идентифицират слабите места, преди реални хакери да се възползват от тях, отбелязва Forbes.

Реални инциденти с използване на AI

Актуалността на проблема се потвърждава от вече регистрирани случаи. Anthropic наскоро съобщи, че неговият модел Claude е бил използван при кибератаки за генериране на злонамерен код и фишинг съобщения. ФБР от своя страна предупреди за атаки с гласови съобщения, създадени от изкуствен интелект. Още през юли ръководителят на OpenAI Сам Алтман предупреди за възможността от мащабни измами с помощта на AI.

Стрес-тестове разкриват автономно поведение

При един от експериментите Irregular е предоставил на GPT-5 достъп до симулирана компютърна мрежа и ограничена информация за защитата ѝ. Моделът самостоятелно е сканирал мрежата и е изготвил план за атака. От стартъпа посочват, че GPT-5 „определено е разбирал къде трябва да търси“ уязвимости, но не е успял да осъществи реална атака. Затова към момента моделът не е надежден инструмент за настъпателни кибероперации.

В друг тест два AI модела са анализирали виртуални ИТ системи, след което единият е решил да си вземе почивка и е убедил другия да направи същото. Според главния изпълнителен директор и съосновател на Irregular Дан Лахав решението е било спонтанно, но произтича от факта, че моделът е обучен на материали, публикувани от хора в интернет.

При тестване на китайския модел Qwen на Alibaba агентът е трябвало да поправи софтуерен бъг в приложение, преобразуващо заявки на естествен език в код. Вместо да открие грешката, той самостоятелно е променил базовия AI модел: събрал е обучителни данни, дообучил е модела, променил е теглата му и е заменил първоначалната версия в приложението. Поправката се е оказала успешна, но подходът е бил неочакван за разработчиците.

Експериментът е разкрил и риск за поверителността. Специалистите са добавили в обучителните данни измислени имена и имейл адреси, които агентът е използвал при актуализацията на модела. В резултат тези данни са станали достъпни за други приложения, работещи със същия AI модел. Изследователите подчертават, че случаят не показва способност за рекурсивно самоусъвършенстване, а илюстрира риска автономните агенти да променят използваните модели и да заобикалят ограниченията, заложени от разработчиците.

Планове за превантивна защита

Според Лахав специалистите по red teaming са малко, а с усложняването на изкуствения интелект проверката на моделите ще става все по-трудна. Той очаква бъдещите системи да имат значително по-голяма автономност и затова защитата срещу нови заплахи трябва да се изгражда предварително. Компанията планира да разработва средства за сигурност, които да остават актуални и в ерата на изкуствения общ интелект (AGI).

В бъдеще Irregular възнамерява да създава AI системи, които самостоятелно да формират защита веднага след откриването на нов тип атака. Стартъпът планира и разширяване на клиентската си база извън лабораториите – с инструменти за обикновени фирми, чиито служители използват невронни мрежи в работата си.