Microsoft Memperbaiki Kerentanan Copilot yang Kritis, Mengekspos Kode 2FA

Microsoft memperbaiki kerentanan yang dinilai dengan tingkat maksimum kritis di platform AI M365 Copilot pada Selasa lalu. Pada Senin, peneliti dari perusahaan keamanan Varonis yang menemukan kerentanan tersebut mengungkapkan bagaimana proof-of-concept exploit mereka dapat mengambil kode otentikasi dua faktor dan data sensitif lainnya dari email yang dapat diakses oleh Copilot. Penyebab utamanya berasal dari ketidakmampuan bot AI untuk membedakan instruksi yang diberikan oleh pengguna dan instruksi yang tertanam dalam konten pihak ketiga yang diproses model, sehingga Microsoft dan penyedia LLM lainnya tidak dapat mencegah produk mereka menuruti permintaan pengambilan data berbahaya.

Peneliti Varonis Mengakali Guardrails Copilot Menggunakan Markup Language

Microsoft membangun guardrails ke dalam Copilot untuk mencegah LLM mengirimkan formulir web, mengirim email, dan melakukan tindakan serupa yang dapat mengekfiltrasi data pengguna. Peneliti Varonis bekerja di sekitar pembatasan tersebut menggunakan markup language, yang memungkinkan menambahkan elemen pemformatan seperti heading, daftar, dan tautan ke teks tanpa tag HTML. Pengalihan lain melibatkan pembungkusan data sensitif di dalam tag HTML seperti dan . Dalam kedua kasus, permintaan web yang berisi data tersebut mengarah ke server web penyerang, tempat informasi rahasia ditangkap dalam log.

Microsoft menerapkan guardrails tambahan termasuk membungkus output Copilot dalam blok agar browser memperlakukannya sebagai teks biasa, serta membatasi situs yang dapat dikunjungi Copilot tanpa persetujuan eksplisit. Meski Copilot memiliki izin menyeluruh untuk mengirim permintaan ke domain Microsoft, guardrails membatasi permintaan ke situs yang tidak tepercaya.

Parameter-to-Prompt Injection Mengeksploitasi Parameter Query URL

Varonis menyusun rangkaian exploit yang melewati guardrails ini dengan apa yang disebut peneliti sebagai Parameter-to-Prompt Injection. Parameter dalam kasus ini adalah q di sebuah URL, yang menandai kueri yang disertakan. Parameter-to-Prompt Injection merupakan kerabat dekat prompt injection, dengan perbedaan bahwa perintah berbahaya ditempatkan di parameter kueri, bukan di email atau bagian lain dari konten yang tidak tepercaya.

FAQ

Kerentanan apa yang Microsoft perbaiki di Copilot pada Selasa lalu? Microsoft memperbaiki kerentanan dengan tingkat maksimum kritis di platform AI M365 Copilot yang memungkinkan peretas mengambil kode otentikasi dua faktor dan data sensitif lainnya dari email yang dapat diakses oleh Copilot. Peneliti Varonis yang menemukan kerentanan tersebut mengungkapkan proof-of-concept exploit mereka pada Senin.

Bagaimana peneliti Varonis mengakali guardrails keamanan Copilot? Peneliti Varonis menggunakan markup language untuk menambahkan elemen pemformatan tanpa tag HTML dan membungkus data sensitif di dalam tag HTML seperti dan . Mereka juga memakai teknik Parameter-to-Prompt Injection yang menempatkan perintah berbahaya di parameter query URL, bukan di konten email, sehingga permintaan web yang berisi data pengguna mengarah ke server yang dikendalikan penyerang tempat informasi ditangkap dalam log.