Serangan dan pertahanan AI di balik email phishing

Sumber asli: Pengetahuan Baru Ilmu Pengetahuan dan Teknologi

Penulis: Zhangdao

Sumber gambar: Dihasilkan oleh AI Tanpa Batas‌

AI Generatif mengubah bidang e-commerce lintas batas menjadi "Myanmar Utara Baru" di Internet. Baru-baru ini, banyak penjual melaporkan menerima "email phishing" yang menyamar sebagai email resmi Amazon, yang mengekstrak informasi akun penting penjual melalui tautan jahat yang disediakan. Beberapa orang tertipu dan kehilangan sebanyak 400.000 hanya dalam satu malam. Sudan adalah salah satu korban yang beruntung. Dalam email yang diterimanya pada awal September, alamat pengirim sangat mirip dengan alamat resmi Amazon, dan isinya merupakan tiruan cerdas dari gaya pemberitahuan Amazon, yang mendesak penjual untuk memperbarui informasi kontak darurat. Mengikuti petunjuk di email, Anda akan diarahkan ke situs web yang tampak seperti "Amazon" dan diminta memasukkan email, kata sandi, dan kode verifikasi dua langkah. Setelah Anda tertipu, Anda akan segera menerima pemberitahuan "login jarak jauh toko" dari pejabat Amazon yang sebenarnya.

Hasil deteksi ChatGPT killer GPTZero

**Sultan segera menghentikan kerugiannya ketika menyadari ada yang tidak beres. Ia juga menggunakan alat teknis untuk menganalisis isi email, yang menunjukkan bahwa ada kemungkinan 90% dihasilkan oleh AI. **Teknologi baru sekali lagi berdiri di persimpangan antara kebaikan dan kejahatan.

01 AI Generatif “melakukan kejahatan”

Sudan sering menjelajahi Internet di dalam dan luar negeri. Dia tidak asing dengan ChatGPT dan telah mengalaminya berkali-kali. Dia juga mendengar bahwa ChatGPT dapat melewati mekanisme keamanan dengan cara tertentu dan menghasilkan konten ilegal dan tidak bermoral. Apa yang belum dia sadari adalah bahwa teknologi "jailbreak" ChatGPT telah diulang beberapa kali, dan sekarang bahkan ada versi "GPT jahat" yang lebih canggih di pasaran, dan email phishing yang ditemui kali ini mungkin ditulis oleh versi ini. . . **Versi "GPT jahat" yang lebih terkenal adalah WormGPT dan FraudGPT, keduanya dapat dengan cepat menerapkan penipuan email phishing. ** Pada bulan Maret 2021, WormGPT keluar, dan pengembangnya mulai menjual hak penggunaan di forum peretas pada bulan Juni tahun ini. Berbeda dengan ChatGPT, WormGPT tidak menetapkan batasan yang mencegah menjawab pertanyaan terkait aktivitas ilegal, dibangun berdasarkan model GPT-J open source 2021 yang agak ketinggalan jaman, dan dilatih secara khusus pada data terkait pengembangan malware. Untuk menilai potensi risiko, tim peneliti di perusahaan analisis keamanan Slashnext menguji serangan BEC (Business Email Fraud). Dalam percobaan tersebut, mereka meminta WormGPT untuk membuat email dengan tujuan memberikan tekanan pada manajer akun yang tidak curiga untuk membayar faktur palsu.

Email phishing yang dihasilkan oleh WormGPT

Hasilnya mengejutkan. Email yang dihasilkan oleh WormGPT tidak hanya sangat meyakinkan, namun juga sangat cerdik dalam taktik, sepenuhnya menunjukkan kemampuannya untuk melakukan serangan phishing dan BEC yang kompleks. Model bahasa jahat lainnya yang disebut FraudGPT diluncurkan pada bulan Juli tahun ini. Mulai tanggal 22 Juli, pengembang mempromosikan produk tersebut di berbagai forum, menyebutnya sebagai alternatif ChatGPT yang tidak dibatasi. Menurut laporan, FraudGPT diperbarui setiap satu hingga dua minggu, dan menggunakan berbagai model AI dalam arsitekturnya. Alat ini memiliki harga berbasis langganan dan biaya $200 per bulan, atau $1.700 per tahun.

Tangkapan layar forum yang menunjukkan fungsi FraudGPT

Tim peneliti keamanan Netenrich membeli dan mengujinya. Antarmuka FraudGPT sangat mirip dengan ChatGPT. Permintaan historis pengguna ditampilkan di sisi kiri, dan jendela obrolan menempati sebagian besar antarmuka. Pengguna hanya perlu memasukkan pertanyaan di area "Ajukan pertanyaan", dan sistem akan menghasilkan jawaban yang sesuai untuk mereka.

FraudGPT menghasilkan email phishing

Selama pengujian, peneliti menginstruksikan FraudGPT untuk membuat email phishing terkait bank. Pengguna cukup memformat pertanyaan untuk memasukkan nama bank tertentu dan FraudGPT menangani sisanya. Alat ini juga memandu pengguna di mana menempatkan tautan berbahaya di konten email, dan selanjutnya dapat menghasilkan halaman login untuk penipuan, sehingga mendorong korban untuk memberikan informasi pribadi. **Para analis mengatakan FraudGPT dapat menjadi alat yang ideal untuk melancarkan serangan phishing dan BEC yang berdampak besar, sehingga menyebabkan penipuan finansial dan pencurian data dalam skala besar. ** Ada lebih dari dua “GPT jahat” yang aktif. Baru pada pertengahan Agustus, para ahli di bidang keamanan jaringan mengungkapkan alat kejahatan dunia maya berbasis GPT lainnya yang disebut EvilGPT. Aplikasi ini mirip dengan FraudGPT dan WormGPT yang dapat membantu membuat malware, email phishing, menjebak link, dan mendeteksi kelemahan keamanan jaringan perusahaan. Jika GPT di atas dilarang atau dihapus karena alasan tertentu, GPT akan tersedia di pasar sebagai alternatif. Pada saat yang sama, mereka juga mengadopsi model penetapan harga berbasis langganan untuk menarik calon pengguna agar membeli. EvilGPT hanyalah puncak gunung es yang ditemukan dalam beberapa minggu terakhir. **Seiring berjalannya waktu, semakin banyak alat dan aplikasi berbahaya yang berbasis pada teknologi kecerdasan buatan mungkin akan bermunculan. **

02 Dengan "berkah" AI, email phishing sulit dideteksi

Email phishing sudah tidak asing lagi bagi praktisi e-commerce lintas batas, namun Sudan masih hampir terjerumus kali ini.Selain kelalaian yang sesekali terjadi, "berkah" AI generatif memainkan peran penting. Dulu, cara efektif untuk mengidentifikasi email phishing adalah dengan memperhatikan kesalahan ejaan dan tata bahasa kata-kata dalam konten. Menurut data, sekitar 50% email phishing berasal dari Rusia, Jerman, dan Tiongkok. Sebagian besar konten palsu yang dikirim dari wilayah yang tidak berbahasa Inggris ini mengandung tata bahasa atau kata-kata yang tidak normal, yang tidak sesuai dengan gaya email formal dan standar.

Email phishing yang tidak terbukti

Faktanya, untuk mencegah karyawan mengklik email dengan link jahat atau membocorkan informasi login, banyak perusahaan e-commerce menggunakan pelatihan untuk mengingatkan mereka tentang kesalahan ejaan, tata bahasa yang tidak biasa, dan kesalahan lain yang mungkin dilakukan oleh bukan penutur asli bahasa Inggris. **Namun, teknologi AI generatif saat ini dapat menghilangkan fitur pengenalan tradisional ini dengan sempurna. Email phishing Amazon ini tidak mengandung kesalahan tata bahasa apa pun. ** Evan Reiser, CEO perusahaan keamanan email Abnormal Security, baru-baru ini menunjukkan hal ini dalam sebuah wawancara. Email phishing halus yang dihasilkan oleh platform AI generatif hampir sama dengan email asli, sehingga sulit dikenali secara sekilas. “Saat Anda melihat email-email ini, tidak ada apa pun di otak Anda yang memperingatkan Anda bahwa ini mungkin serangan phishing,” katanya. **Hal yang menakutkan adalah menghindari kesalahan bahasa hanyalah keterampilan dasar yang ditampilkan oleh AI generatif pada email phishing. Kemampuan penipuan dan kebingungan yang lebih kuat lebih mematikan. ** Berkat kemampuan AI untuk meniru tulisan manusia, konten email phishing mungkin termasuk menciptakan rasa urgensi, mendorong penerima untuk mengklik link, atau email rekayasa sosial yang disamarkan sebagai permintaan pengiriman uang. Setelah penerima mengeklik tautan tersebut, sistem mereka mungkin terinfeksi kode berbahaya. Skenario email Amazon palsu di atas adalah skenario yang dibuat oleh AI yang mendesak bagi penjual. Banyak penjual yang merasa ada yang tidak beres setelah meninjau isi email dengan cermat.Namun, mereka tetap mengikuti petunjuk di email karena khawatir melewatkan beberapa informasi penting. **Selain itu, AI generatif juga dapat membuat email phishing menjadi lebih agresif. **Mereka dapat mengambil informasi pribadi dari platform sosial, portal berita, forum online, dan sumber lain untuk membuat email menarik yang lebih bertarget. Ini adalah tugas yang biasanya membutuhkan waktu berbulan-bulan untuk diselesaikan di masa lalu. Jika penyerang memiliki akses ke informasi kepemilikan ini, mereka dapat memasukkan detail yang lebih meyakinkan ke dalam email atau meniru cara seseorang menulis. “Saat ini, penjahat cukup menangkap email-email ini, secara otomatis memasukkannya ke dalam model besar, dan kemudian memerintahkannya untuk membuat email yang merujuk pada lima percakapan online terakhir,” jelas Evan Reiser. “Tugas yang mungkin memakan waktu delapan jam kini bisa dilakukan sekarang hanya butuh delapan detik.” Bahkan penyerang dengan kemampuan teknis terbatas dapat memanfaatkan AI generatif untuk menulis kode VBA. Mereka hanya menginstruksikan AI untuk menyematkan URL berbahaya ke dalam kode, dan ketika pengguna membuka file seperti Excel, sistem secara otomatis mengunduh dan mengeksekusi malware tersebut.

Di masa lalu, sistem seperti ChatGPT dan Bard memiliki perlindungan bawaan untuk mencegah pembuatan konten berbahaya sebanyak mungkin, namun seiring dengan semakin banyaknya versi GPT jahat yang muncul, keamanan email menghadapi tantangan besar. Pada tanggal 21 Agustus 2023, tim peneliti keamanan internasional Perception Point dan Osterman Research bersama-sama merilis laporan berjudul "Peran Kecerdasan Buatan dalam Keamanan Email". Laporan ini mengungkapkan tren yang mengkhawatirkan tentang bagaimana penjahat dunia maya memanfaatkan AI untuk meningkatkan dan mempersulit ancaman email seperti serangan phishing dan BEC. **Studi ini mencatat bahwa penjahat dunia maya dengan cepat mengadopsi alat AI untuk mencapai kepentingan mereka, dengan 91,1% organisasi melaporkan bahwa mereka telah menjadi sasaran serangan email yang disempurnakan dengan AI. **

**03 Solusi: Gunakan AI untuk melawan AI? **

**Di bawah ancaman AI, metode sebelumnya yang mengandalkan pengalaman untuk menghindari perangkap email phishing tidak lagi efektif. Penanggulangan baru mungkin terletak pada penggunaan AI untuk melawan AI. **Beberapa perusahaan keamanan siber telah mengintegrasikan AI generatif ke dalam produk mereka sebagai upaya mengambil langkah sebelum teknologi tersebut disalahgunakan dalam skala besar. Vendor menggunakan AI untuk meningkatkan kemampuan dan proses keamanan email. Misalnya, untuk mendapatkan wawasan tentang kebiasaan dan karakteristik setiap pengirim dan penerima, model AI dirancang untuk memetakan pola komunikasi ke setiap anggota organisasi. Secara khusus, siapa yang akan mengirim pesan kepada mereka? Apa isi pesannya? Kapan dan dari mana pesan-pesan ini dikirim? Apakah orang lain biasanya di-CC atau hanya ada satu penerima yang dituju? Alamat email manakah yang digunakan setiap pengirim? Singkatnya, AI digunakan untuk membangun profil perilaku rutin setiap orang. Selain itu, untuk mendeteksi pola pengiriman email yang tidak biasa, vendor menggabungkan strategi berikut: menganalisis pola pengiriman yang mendasarinya menggunakan teknologi grafik sosial; mengidentifikasi alamat email yang serupa atau terkait erat; mengidentifikasi pesan yang mengandung teknik rekayasa sosial; dan mendeteksi penipu. Tag dan merek lainnya- elemen visual terkait, dan mengklasifikasikan nada, emosi, dan gaya dalam email. Semua strategi di atas membantu mendeteksi email anomali yang dirancang untuk membingungkan pikiran manusia. Meskipun manusia dengan pelatihan kesadaran keamanan juga dapat menemukan sinyal anomali ini, hanya AI yang dapat mengintegrasikan semua dimensi analisis dengan kecepatan jaringan untuk memastikan deteksi yang berkelanjutan dan andal dalam menghadapi pesan berukuran besar. Solusi AI juga dapat memanfaatkan beberapa model pembelajaran mesin untuk mengidentifikasi informasi yang mengandung konten berbahaya. Model-model ini dikembangkan, diadaptasi, dan diperbarui berdasarkan kumpulan data informasi yang diberi label berbahaya atau tidak berbahaya. Beberapa vendor menggunakan teknologi AI generatif untuk menghasilkan data sampel tambahan dari informasi berbahaya yang diketahui, yang menyediakan lebih banyak data pelatihan berkualitas tinggi untuk model pembelajaran mesin. **Satu-satunya yang bisa mengalahkan AI adalah AI. ** Faktanya, banyak organisasi sudah menggunakan AI untuk perlindungan keamanan email. Menurut Osterman Research, empat dari lima organisasi telah menerapkan atau secara aktif mempromosikan solusi keamanan email berbasis AI dalam dua tahun terakhir sebagai tambahan terhadap langkah-langkah perlindungan konvensional.

Diantaranya, ada dua cara utama untuk memperkenalkan AI guna memperkuat keamanan email: di satu sisi, penyedia keamanan email yang ada mengintegrasikan perlindungan AI ke dalam produk mereka; di sisi lain, organisasi sengaja mencari solusi baru yang mendukung AI. Dalam dua tahun terakhir, seperlima responden masih belum mengadopsi solusi tersebut: 12,7% belum menerapkan solusi apa pun, sementara 6,0% secara aktif mengeksplorasi dan mengevaluasi opsi yang memungkinkan. **Menurut data dari Osterman Research, AI telah menunjukkan kemampuan luar biasa dalam meningkatkan efisiensi deteksi dan memperkuat perlindungan. **

Organisasi memiliki efisiensi deteksi tertentu sebelum mengadopsi solusi keamanan email yang disempurnakan dengan AI. Namun ketika penjahat dunia maya menggunakan AI untuk meningkatkan teknik serangan mereka, organisasi yang tidak memiliki perlindungan AI akan menghadapi tantangan besar dalam efisiensi pendeteksiannya. Hanya dengan menjadi sekuat iblis kita dapat membawa para penyerang dan pembela email phishing kembali ke garis awal yang sama dalam teknologi AI.

(Karakter dalam artikel adalah nama samaran)

Referensi:

Lebih dari 91% Organisasi Pernah Mengalami Serangan Email yang disempurnakan dengan AI dan 84% Mengharapkan Penggunaan AI yang Berkelanjutan untuk Mengakali Keamanan yang Ada WormGPT-Alat AI Generatif yang Digunakan Penjahat Dunia Maya untuk Meluncurkan Serangan Kompromi Email Bisnis WormGPT dan FraudGPT - Bangkitnya LLM Berbahaya AI Generatif Dapat Merevolusi Email untuk Peretas