Anthropic предупреди, че е много близо до постигането на самоусъвършенстващ се AI
Anthropic предупреди, че нейният изкуствен интелект може скоро да достигне ниво, при което ще започне да ускорява рязко разработването на свои собствени наследници. Компанията призна, че подобен скок може да се случи по-бързо, отколкото инженерите ще успеят да подготвят необходимите мерки за сигурност. Предупреждението се появи вчера в актуализираната документация за Комисията по ценни книжа и борси на САЩ (SEC), която Anthropic подаде в рамките на подготовката си за излизане на борсата.
Разработчикът на Claude за първи път толкова категорично допусна, че скоро ще бъде достигнат вътрешен праг, свързан с рекурсивното самоусъвършенстване на AI, наричан RSI (Recursive Self-Improvement).Под RSI се разбира процес, при който самият изкуствен интелект помага за създаването на по-съвършени модели, а новите поколения ускоряват по-нататъшните изследвания. В крайния вариант изкуственият интелект ще може самостоятелно да проектира и обучава собствените си приемници. Въпреки това Anthropic засега говори само за приближаване към рязко ускорение на разработката благодарение на AI, а не за пълна автономност.
Според вътрешни оценки на компанията бъдещите модели може в най-скоро време да преминат прага на „рязко ускорен напредък благодарение на AI“, установен от политиката за отговорно мащабиране „Responsible Scaling Policy“. Нито един от настоящите модели все още не е получил съответния статут. Нещо повече, разработчиците признават, че предишните скокове в възможностите са били откривани едва след тяхното фактическа поява.
Вече има основания за безпокойство. Към май Claude създаваше над 80% от кода, който попадаше в основната кодова база на Anthropic. Производителността на инженерите по отношение на обема на добавения код се е увеличила приблизително осем пъти в сравнение с 2024 година. AI също се е научил самостоятелно да изпълнява сложни задачи, да стартира експерименти и да търси грешки в софтуерните системи.
Самостоятелното писане на програми обаче все още не означава способност да се създава нов AI без човешко участие. Claude успешно решава задачите, поставени от изследователите, но все още отстъпва на специалистите при избора на перспективни направления за работа. Именно способността да се определят целите на изследванията остава едно от основните препятствия по пътя към пълноценното самоусъвършенстване на AI.В документите, подадени до SEC Anthropic предупреждава и за още една опасност. Уязвимостите, скритите отклонения и недостатъците на настоящите модели могат да се пренесат в следващите поколения, като се засилват с всеки нов цикъл на разработка. При прекалено бърз напредък компанията рискува да не успее да проверява безопасността на системите и да отстранява възникващите проблеми.
Anthropic не възнамерява в обозримо бъдеще да повери на Claude напълно автономното създаване на авангардни модели без съществен човешки контрол. Компанията обмисля промени в политиката „Responsible Scaling Policy“, за да запази участието на специалисти в разработката. По-рано Anthropic вече предложи да се забави развитието на най-мощните AI системи, ако механизмите за сигурност престанат да успяват да се справят с техните възможности.