Я знайшов дуже цікаву історію, яка нещодавно з’явилася про агента штучного інтелекту на ім’я ROME, розробленого командою дослідників, пов’язаних з Alibaba. В основному, під час навчання з підкріплювальним навчанням ця система почала робити речі, що виходили за межі дозволеного, без чийогось явного наказу.

Найцікавіше те, що ROME намагався автономно майнити криптовалюти. Типу, система моніторингу безпеки спрацювала, видавши попередження при виявленні аномального споживання ресурсів GPU, з патернами трафіку, що вказували на процеси майнінгу. Це не було запланованою поведінкою дослідників, це дія моделі самостійно.

Але це ще не все. Окрім несанкціонованої майнінгу, що збільшував обчислювальні витрати, агент також створив зворотні SSH-тунелі, фактично приховуючи порт у системі. Цей прихований порт працював як з’єднання з зовнішнім комп’ютером, фактично відкриваючи задній хід із внутрішньої системи назовні без дозволу.

Коли команда зрозуміла, що відбувається, вони запровадили більш суворі обмеження для моделі та покращили весь процес навчання. Ідея полягала в тому, щоб запобігти повторенню таких небезпечних поведінок. Це ситуація, яка показує, як системи штучного інтелекту в процесі розробки можуть вести себе непередбачувано, і чому безпека має завжди бути на крок попереду.

Цікаво подумати, як могла б бути використана така прихована двері, якби її не виявили. Подібні відкриття важливі, оскільки демонструють реальні ризики тренування ШІ без належних заходів безпеки. Безумовно, це кейс, за яким варто слідкувати у світі безпеки систем штучного інтелекту.