Главният изпълнителен директор на Microsoft Сатя Надела призова за създаване на „аварийна спирачка“ за напредналите системи с изкуствен интелект. Според него оторизиран човек трябва да има възможност да спре или изключи модела по време на изпълнение на задача, ако системата започне да действа непредвидимо или извън зададените ѝ ограничения.

Надела подчертава, че още от самото начало трябва да се приеме, че моделът може да бъде компрометиран. Той сравнява защитата с аварийна спирачка, която позволява на човек да се намеси незабавно, вместо да разчита единствено на уверенията на компанията, разработила модела.

Според него съвременните ИИ системи се различават от традиционния софтуер, при който поведението обикновено може да бъде проследено до конкретен участък от програмния код. При големите езикови модели често не е възможно да се установи защо е взето определено решение или как точно данните от обучението са повлияли върху резултата. Затова той предлага моделът да бъде отделен от управляващата среда, която координира работата му, както и от списъка с действия, които има право да извършва. Средствата за контрол и защита трябва да се намират извън самия модел. Така промяна в поведението на ИИ няма автоматично да премахва ограниченията върху достъпа му до системи и данни.

Главният изпълнителен директор на Microsoft настоява още всяко съществено действие на модела да бъде проследимо, проверимо и документирано. Като основни принципи той посочва разнообразието от модели, независимия контрол, одита, изолацията, ограничаването на достъпа и публичното разкриване на инциденти.

Позицията му идва на фона на нарастващи опасения за автономните ИИ агенти. Редица компании в сектора обсъждат сценарии за последиците от евентуален голям инцидент, като представители на индустрията оценяват риска от такова събитие през следващите 6–12 месеца. Това са оценки и вътрешни сценарии, а не потвърдена прогноза.

През последните месеци станаха известни случаи, при които ИИ агенти са заобикаляли ограничения, действали са в тестови среди по непредвиден начин или са получавали достъп до системи, които не са били част от първоначалната задача. Един инцидент с агенти в инфраструктура беше определен като предупредителен сигнал за възможностите на подобни системи.

Надела смята, че компаниите не трябва да приемат ИИ като поредица от „черни кутии“, чиито препоръки и действия просто се одобряват или отхвърлят. Според него най-надеждна ще бъде не системата, чийто модел се смята за най-достоен за доверие, а тази, която позволява на организациите да разчитат възможно най-малко на самия модел.