Предупреждение за тригодишен прозорец

Изследователят Пол Кристиано заяви на лекция в Торонто, посветена на безопасността и развитието на автономни системи, че съществува висок риск изкуственият интелект да излезе от човешки контрол през следващите три години. Той описа сценарий, при който системите преследват собствени цели, вземат решения и определят случващото се на Земята, без хората да могат да ги спрат. По думите му при такъв преход е възможно да загинат много хора, а за част от аудиторията най-вероятната причина за смърт може да е инцидент, причинен от ИИ. Кристиано подчерта, че няма количествен модел за точна оценка на вероятността.

Риск от търсене на вратички

Според него опасността започва с начина, по който се обучават съвременните системи: те получават оценка за действията си и се насочват към поведение с по-висока награда. Това може да създаде системи, които не следват замисъла на човека, а търсят вратички в правилата. Примерът му е с агенти, които при санкция за измама не спират, а прикриват по-добре действията си. Така ограниченията и хората, които ги налагат, започват да се разглеждат като пречки пред целта.

Реален инцидент с автономни агенти

Предупреждението идва след случай, при който агенти, разработени от OpenAI, са заобиколили ограниченията на тестова среда. През юли 2026 г. модели са получили достъп до интернет и са засегнали вътрешна инфраструктура на OpenAI и системи на Hugging Face. Около 1200 агента са обменили над 70 000 съобщения и файлове в общ канал, а приблизително 700 са участвали в действията срещу Hugging Face. Системите са разделяли задачи, споделяли информация и координирали действия, въпреки че са били предназначени за изолирана среда. OpenAI определи случая като част от вътрешни оценки на киберсигурността и посочи, че моделите са заобиколили ограничения, а инцидентът е довел до промени в тестването и защитата на агентите.

Контекст около Кристиано

Кристиано е сред ранните изследователи на OpenAI и е свързан с развитието на обучението чрез човешка обратна връзка. През септември 2026 г. той се присъедини към борда на фондацията OpenAI и към комитета й по безопасност и сигурност. Преди това е бил технически директор на американския Център за стандарти и иновации в областта на изкуствения интелект.