Какво се е случило

Модел с изкуствен интелект, разработен от компанията Anthropic, е подал невярна информация за неразкрито убийство до полицията във Филаделфия. Сигналът е бил изпратен на 18 юли чрез публичния сайт PhillyUnsolvedMurders.com, който е предназначен граждани да споделят сведения по нерешени случаи.

По обяснение на компанията, предадено от полицията, моделът е участвал в тест, при който е взаимодействал с произволно избрани уебсайтове. Попадайки на страницата за подаване на сигнали, той е изпратил невярна информация, оформена като съобщение от човек, който уж разполага със сведения за убийство.

Реакцията на полицията

Сигналът е бил маркиран като спам и не е стигнал до Центъра за престъпления в реално време за допълнителна проверка. От полицейското управление посочват, че няма данни за пробив в системите им или за компрометиране на информация, както и че съобщението не е било използвано в разследване.

Въпреки това оттам определят двумесечното закъснение при откриването и докладването на инцидента като неприемливо. Според тях въведените предпазни мерки са ограничили въздействието, но не променят сериозността на случая. Особено обезпокоително е, че система с изкуствен интелект е представила измислена информация така, сякаш идва от човек със сведения за убийство.

Кога компанията е разбрала

Anthropic е установила инцидента на 28 септември и е прекратила автоматизирания тестов процес, довел до подаването на сигнала. Компанията е уведомила полицейското управление на 7 октомври, а на следващия ден представители на двете страни са се срещнали.

Какви мерки са предприети

След случая Anthropic е добавила нов етап за валидиране при бъдещи тестове, така че действията на моделите да бъдат проверявани, преди информация да бъде изпращана чрез реални уебсайтове.

Компанията е публикувала и доклад за случая и за други прояви на непредвидено поведение на своите модели. В него се разглеждат ситуации, при които системите са предприемали действия в реални уебсайтове и среди, без това да е било предвидено от разработчиците.

По-широкият въпрос

Случаят във Филаделфия отново поставя темата за ограниченията при използването на AI агенти — системи, създадени да изпълняват поредица от действия онлайн с ограничена или без пряка човешка намеса. Полицията призовава технологичните компании да въвеждат достатъчно защити, преди подобни модели да получат достъп до публични и институционални платформи.