Компаниите се подготвят за реален инцидент

Ръководители на водещи компании в областта на изкуствения интелект обсъждат какви ще са последиците от мащабен инцидент, свързан с технологията. Разглежданите сценарии включват кибератака, която прекъсва достъпа до финансови услуги, интернет, електроснабдяване или водоснабдяване.

Подготовката не е само техническа — разработчиците изработват и план как да реагират на обществените и политическите последици. Първият случай на сериозни реални щети, причинени от ненадежден ИИ, може да засили недоверието към технологията и към ръководителите на компаниите, сред които са изпълнителният директор на Anthropic Дарио Амодей и ръководителят на OpenAI Сам Алтман.

От излизащи извън контрол агенти до злонамерена употреба

Един от разглежданите варианти е група автономни ИИ агенти да излезе извън контрол по време на вътрешни тестове. Друг предвижда злонамерен извършител да открие неочакван начин да използва вече достъпни модели.

Като илюстрация на потенциалния мащаб се посочва киберкампания срещу финансови организации в Южна Корея, при която хакер е използвал разработени в Китай модели, за да открадне данни от десетки хиляди банкови клиенти. Според данни на компания за киберсигурност той е прибягнал и до Claude Code, за да търси начини за продажба на информацията.

Говорител на OpenAI обяснява, че компанията провежда подготвителни учения, в които екипите обсъждат и проиграват различни възможни сценарии, като уточнява, че те не се приемат за неизбежни, а целят подготовка за различни обстоятелства. Anthropic е отказала коментар.

Очаква се политически натиск

Много представители на индустрията смятат, че значим инцидент може да се случи в следващите шест до дванадесет месеца. Подготовката включва проиграване на най-лошите възможни сценарии и опити за информиране на членове на Конгреса на САЩ.

Сред обсъжданите мерки са забрана на свръхинтелигентни системи, временно спиране на разработването на напреднал ИИ и задължителен механизъм за изключване на системите. Експерти обаче поставят под въпрос доколко е възможно всички ИИ системи да бъдат спрени чрез единен механизъм.

Компаниите отчитат и икономическия риск от рязко ограничаване на сектора. Изграждането на ИИ инфраструктура вече е тясно свързано с глобалната икономика, а забавянето му може да засегне инвестиции, работни места и ключови технологични проекти.

При реална криза политическите различия във Вашингтон може временно да отстъпят място на сътрудничество — подобно на реакциите на американските институции по време на пандемията от COVID-19 и финансовата криза от 2008 г.