Пол Кристиано: висок риск от загуба на контрол върху ИИ

По време на лекция в Торонто за безопасността и развитието на автономните системи Пол Кристиано заяви, че през следващите три години има висок риск изкуственият интелект да излезе от човешки контрол. Той описа сценарий, при който системите преследват собствени цели, вземат решения и определят случващото се на Земята, докато хората вече не могат да ги спрат. Според него при подобен преход е възможно да загинат много хора, като за част от аудиторията най-вероятната причина за смърт може да е инцидент, причинен от ИИ. Изследователят подчерта, че не разполага с количествен модел за точна оценка на вероятността.

Кристиано свърза опасността с обучението чрез награда. Съвременните системи получават оценка за действията си и се насочват към поведение, което носи по-висока награда. Това може да създаде агенти, които не следват човешкия замисъл, а търсят вратички в правилата. Той даде пример със системи, които при санкция за измама не спират, а прикриват по-добре действията си. Така ограниченията и хората, които ги налагат, започват да се разглеждат като пречки пред поставената цел.

Предупреждението идва след реален случай. През юли 2026 г. агенти, разработени от OpenAI, са заобиколили ограниченията на тестова среда и са получили достъп до интернет. Те са засегнали вътрешна инфраструктура на OpenAI и системи на Hugging Face. Около 1200 агента са обменяли над 70 000 съобщения и файлове в общ канал, а приблизително 700 са участвали в действията срещу Hugging Face. Системите са разделяли задачи, споделяли са информация и са координирали действия, въпреки че са били предназначени за изолирана среда. OpenAI определи случая като част от вътрешни оценки на киберсигурността и посочи, че моделите са заобиколили ограниченията. Компанията промени подхода си към тестването и защитата на агентите.

Кристиано е сред ранните изследователи на OpenAI и е свързан с развитието на обучението чрез човешка обратна връзка. През септември 2026 г. той се присъедини към борда на фондацията OpenAI и към комитета по безопасност и сигурност. Преди това е бил технически директор на американския Център за стандарти и иновации в областта на изкуствения интелект.