Ditulis oleh: Jessica Dai, Ph.D. mahasiswa ilmu komputer di University of California, Berkeley
Sumber: Reboot
Sumber gambar: Dihasilkan oleh alat AI * Tanpa Batas
Bagaimana tepatnya kita bisa membuat AI "layak manusia"?
Cakupan berlebihan dari "risiko eksistensial AI" ("risiko X") telah menjadi arus utama. Siapa yang akan meramalkan bahwa onomatopoeia "Fᴏᴏᴍ" – keduanya mengingatkan dan langsung berasal dari kartun anak-anak – akan muncul secara tidak kritis di The New Yorker? Lebih dari sebelumnya, diskusi publik tentang AI dan risikonya, dan tentang bagaimana mereka dapat atau harus ditangani, sangat membingungkan, menggabungkan risiko masa depan spekulatif dengan bahaya dunia nyata saat ini, dan dalam teknologi, model "dekat-intelijen" besar dengan algoritma dan sistem pengambilan keputusan statistik.
Jadi, apa taruhannya dalam kemajuan AI? Terlepas dari perdebatan tentang cedera bencana dan peristiwa tingkat kepunahan, apa yang disebut lintasan penelitian "selaras" saat ini tampaknya tidak sesuai - atau bahkan tidak selaras - klaim bahwa AI dapat menyebabkan penderitaan yang meluas, spesifik, dan parah. Tampaknya bagi saya bahwa kita tidak begitu banyak memecahkan tantangan besar kepunahan manusia karena kita memecahkan masalah usang (dan terkenal penting), yaitu membuat produk yang orang bersedia membayar. Ironisnya, nilai inilah yang menciptakan kondisi untuk skenario kiamat yang nyata dan imajiner.
** Alat, mainan, atau hanya produk? **
Saya akan mengatakan bahwa ChatGPT OpenAI, Claude Anthropic, dan semua model terbaru lainnya dapat melakukan apa yang mereka lakukan, yang sangat, sangat keren. Meskipun saya tidak akan mengklaim bahwa model-model ini memiliki kecerdasan untuk menggantikan pekerja manusia, atau bahwa saya akan bergantung pada mereka untuk tugas-tugas penting, akan tidak tulus jika saya menyangkal bahwa model-model ini berguna dan kuat.
Kemampuan inilah yang dikhawatirkan oleh orang-orang di komunitas "keamanan AI". Ide mereka adalah bahwa sistem AI pasti akan melampaui kemampuan penalaran manusia dan melampaui "kecerdasan umum buatan" (AGI) untuk menjadi "kecerdasan super"; Tindakan mereka akan berada di luar kemampuan kita untuk memahami; Keberadaan mereka, dalam mengejar tujuan, akan melemahkan nilai kita. Komunitas keamanan ini mengklaim bahwa pergeseran ini bisa cepat dan tiba-tiba ("ꜰᴏᴏᴍ"). Ada sebagian kecil praktisi AI dan akademisi yang percaya akan hal ini, tetapi suara mereka tinggi. Koalisi yang lebih luas dalam gerakan ideologis "Altruisme Efektif" (EA) melihat upaya koordinasi AI sebagai intervensi utama untuk mencegah bencana terkait AI.
Faktanya, "Penelitian dan Teknik Teknis" di bidang penyelarasan AI adalah jalur tunggal yang paling berdampak yang direkomendasikan oleh 80.000 Jam, sebuah organisasi EA berpengaruh yang berfokus pada pembinaan karier. Dalam sebuah wawancara baru-baru ini dengan The New York Times, Nick Bostrom, penulis Superintelligence dan arsitek pengetahuan inti dari altruisme yang efektif, dalam sebuah wawancara baru-baru ini dengan The New York Times, mendefinisikan "penyelarasan" sebagai "memastikan bahwa sistem AI yang semakin mampu kita bangun konsisten dengan tujuan orang-orang yang membangunnya. "
Jadi, siapakah "kita"? Apa yang "kita" ingin capai? Saat ini, "kami" adalah perusahaan swasta, terutama OpenAI, salah satu pelopor di bidang AGI, dan Anthropic, yang didirikan oleh sekelompok rekan OpenAI. OpenAI telah membangun superintelligence sebagai salah satu tujuan utamanya. Tetapi mengapa Anda ingin melakukannya ketika taruhannya begitu besar? Dengan kata-kata mereka sendiri:
Pertama, kami percaya ini akan mengarah ke dunia yang jauh lebih baik daripada yang dapat kami bayangkan hari ini (kami telah melihat contoh awal ini di bidang-bidang seperti pendidikan, pekerjaan kreatif, dan produktivitas pribadi). ..... Pertumbuhan ekonomi dan peningkatan kualitas hidup akan luar biasa.
Kedua, kami percaya bahwa risiko dan kesulitan menghentikan munculnya superintelligence tidak terbayangkan. Karena manfaat superintelligence begitu besar, biaya membangun superintelligence menurun dari tahun ke tahun, jumlah peserta dalam membangun superintelligence meningkat pesat, dan superintelligence pada awalnya merupakan bagian dari jalur teknologi yang kita ambil... Kita harus melakukannya dengan benar.
Dengan kata lain, pertama-tama, karena memungkinkan kita menghasilkan banyak uang; Kedua, karena memungkinkan orang lain menghasilkan banyak uang, itu lebih baik bagi kita. (OpenAI tentu memiliki tanggung jawab untuk mendukung klaim bahwa AI dapat mengarah ke dunia yang lebih baik yang "tak terbayangkan"; Ini "sudah" menguntungkan pendidikan, pekerjaan kreatif, dan produktivitas pribadi; Kehadiran alat semacam itu secara substansial dapat meningkatkan kualitas hidup, dan bukan hanya mereka yang mendapat untung dari keberadaannya).
Tentu saja, ada sinisme dalam pandangan ini, dan saya tidak percaya kebanyakan orang di OpenAI bergabung untuk pengayaan keuangan pribadi. Sebaliknya, saya menganggap minat mereka tulus, termasuk pekerjaan teknis pada realisasi model besar, dialog interdisipliner tentang analisis dampak sosial mereka, dan partisipasi dalam membangun harapan untuk masa depan. Namun, tujuan organisasi pada akhirnya berbeda dari orang-orang yang menyusunnya. Terlepas dari klaim publik, menghasilkan pendapatan akan selalu setidaknya menjadi tujuan pelengkap, dan keputusan manajemen, produk, dan teknologi OpenAI akan didasarkan pada hal ini, bahkan jika belum sepenuhnya ditentukan. Sebuah wawancara dengan CEO Sam Altman, sebuah startup yang membangun "LLM," menunjukkan bahwa komersialisasi adalah Altman dan tujuan utama perusahaan. Halaman "Kisah Pelanggan" OpenAI tidak berbeda dari halaman startup lainnya: tangkapan layar dan kutipan mencolok, penamaan dan penamaan perusahaan terkenal, dan sorotan "teknologi bagus" yang diperlukan.
Anthropic adalah perusahaan terkenal yang didirikan oleh mantan karyawan OpenAI karena takut OpenAI akan berubah menjadi menguntungkan. Argumen mereka — mengapa membangun model yang lebih kuat jika mereka benar-benar berbahaya — lebih berhati-hati dan berfokus terutama pada argumen berbasis penelitian bahwa perlu mempelajari model di tepi kemampuan untuk benar-benar memahami risiko mereka. Seperti OpenAI, Anthropic memiliki halaman "produk" sendiri yang mengkilap, kutipannya sendiri, deskripsi fiturnya sendiri, dan kasus penggunaannya. Antropik telah mengumpulkan ratusan juta dolar setiap saat.
OpenAI dan Anthropic mungkin bekerja keras untuk melakukan penelitian, memajukan teknologi, dan bahkan mungkin membangun kecerdasan super, tetapi tidak dapat disangkal bahwa mereka juga membangun produk – produk yang bertanggung jawab, produk yang perlu dijual, produk yang perlu dirancang untuk mendapatkan dan mempertahankan pangsa pasar. Tidak peduli seberapa mengesankan, berguna, dan menarik Claude dan GPT-x secara teknis, mereka pada akhirnya adalah alat (produk) yang penggunanya (pelanggan) ingin menggunakan alat untuk tugas tertentu, mungkin biasa.
Tidak ada yang salah dengan produk manufaktur, dan perusahaan pasti akan bekerja keras untuk menghasilkan uang. Tetapi apa yang kita sebut "keramaian sisi keuangan" pasti mempersulit misi kita untuk memahami bagaimana membangun sistem AI yang terkoordinasi dan menimbulkan pertanyaan tentang apakah pendekatan terkoordinasi benar-benar cocok untuk mencegah bencana.
Ilmuwan komputer menyukai model
Dalam wawancara yang sama dengan The New York Times tentang kemungkinan superintelligence, Bostrom — seorang filsuf yang dilatih oleh pelatihan — mengatakan tentang masalah penyelarasan: "Ini masalah teknis. "
Saya tidak mengatakan bahwa orang-orang tanpa latar belakang teknis dalam ilmu komputer tidak memenuhi syarat untuk mengomentari masalah ini. Sebaliknya, saya merasa ironis bahwa kerja keras mengembangkan solusi ditunda di luar bidang mereka, sama seperti ilmuwan komputer cenderung memikirkan "etika" jauh melampaui profesi mereka. Tetapi jika Bostrom benar – penyelarasan adalah masalah teknis – apa sebenarnya tantangan teknisnya?
Mari saya mulai dengan mengatakan bahwa ideologi kecerdasan buatan dan permutasi beragam. Banyak orang yang fokus pada risiko eksistensial sangat kritis terhadap pendekatan yang diambil oleh OpenAI dan Anthropic, dan pada kenyataannya, mereka telah menyuarakan keprihatinan serupa tentang posisi produk mereka. Tetapi keduanya perlu dan cukup untuk fokus pada apa yang dilakukan perusahaan-perusahaan ini: Mereka saat ini memiliki model yang paling kuat, dan tidak seperti dua vendor model besar lainnya seperti Mosaic atau Hugging Face, mereka paling menghargai penyelarasan dan "kecerdasan super" dalam komunikasi publik.
Komponen penting dari lanskap ini adalah komunitas peneliti individu yang mendalam dan erat yang termotivasi oleh risiko-x. Komunitas ini telah mengembangkan kosakata besar seputar keamanan AI dan teori penyelarasan, banyak di antaranya awalnya diperkenalkan dalam bentuk posting blog terperinci di forum seperti LessWrong dan AI Alignment Forum.
Salah satunya adalah konsep penyelarasan niat, yang sangat berguna untuk mengontekstualisasikan upaya penyelarasan teknis, dan mungkin versi Bostrom yang lebih formal mengacu pada. Dalam posting Medium 2018 yang memperkenalkan istilah tersebut, Paul Christiano, yang memimpin tim penyelarasan OpenAI, mendefinisikan penyelarasan maksud sebagai "apa yang kecerdasan buatan (AI) coba lakukan apa yang manusia (H) inginkan." Ketika didefinisikan dengan cara ini, "masalah penyelarasan" tiba-tiba menjadi lebih mudah dikelola - jika tidak sepenuhnya diselesaikan, tetapi sebagian diselesaikan dengan cara teknis.
Di sini, saya akan fokus pada arah penelitian terkait pembentukan perilaku sistem AI agar "selaras" dengan nilai-nilai kemanusiaan. Tujuan utama dari arah penelitian ini adalah untuk mengembangkan model preferensi manusia dan menggunakannya untuk meningkatkan model dasar "inkonsistensi". Ini selalu menjadi topik penelitian yang tajam di industri dan akademisi; Yang paling menonjol adalah Human Feedback Reinforcement Learning (RLHF) dan penggantinya, Artificial Intelligence Feedback Reinforcement Learning (RLAIF, juga dikenal sebagai kecerdasan buatan konstitusional), yang merupakan teknologi yang digunakan untuk mengubah ChatGPT OpenAI dan Claude Anthropic, masing-masing.
Dalam pendekatan ini, ide intinya adalah memulai dengan model dasar yang kuat, "pra-terlatih" tetapi belum selaras yang, misalnya, dapat berhasil menjawab pertanyaan, tetapi mungkin juga meludah saat menjawab pertanyaan. Langkah selanjutnya adalah membuat beberapa model "preferensi manusia". Idealnya, kita dapat bertanya kepada semua 8 miliar orang di Bumi bagaimana perasaan mereka tentang semua kemungkinan output dari model dasar; Namun dalam praktiknya, kami melatih model pembelajaran mesin tambahan untuk memprediksi preferensi manusia. "Model preferensi" ini kemudian digunakan untuk mengkritik dan meningkatkan output dari model yang mendasarinya.
Untuk OpenAI dan Anthropic, "model preferensi" sejalan dengan nilai-nilai menyeluruh dari Helpfulness, Harmlessness, and Honesty (HHH). Dengan kata lain, "model preferensi" menangkap jenis output chatbot yang cenderung dianggap manusia sebagai "HHH." Model preferensi itu sendiri dibangun melalui proses berulang perbandingan berpasangan: setelah model dasar menghasilkan dua tanggapan, manusia (ChatGPT) atau kecerdasan buatan (Claude) menentukan jawaban mana yang "lebih HHH" sebelum kembali ke model preferensi yang diperbarui. Penelitian terbaru menunjukkan bahwa cukup banyak perbandingan berpasangan ini akhirnya mengarah pada model preferensi universal yang baik - asalkan sebenarnya ada model universal tunggal dari apa yang selalu lebih baik secara normatif.
Semua pendekatan teknis ini — dan kerangka kerja "penyelarasan niat" yang lebih luas — tampak nyaman. Beberapa batasan jelas: aktor jahat dapat memiliki "niat buruk," dalam hal ini konsistensi niat menciptakan masalah; Selain itu, "penyelarasan niat" mengasumsikan bahwa niat itu sendiri diketahui, eksplisit, dan tidak perlu dipersoalkan - masalah sulit yang tidak mengejutkan dalam masyarakat dengan nilai-nilai yang sangat berbeda dan sering bertentangan.
"Tugas keuangan" menghindari dua masalah ini, yang menjadi perhatian saya di sini: adanya insentif keuangan berarti bahwa upaya koordinasi sering berubah menjadi pengembangan produk secara terselubung, daripada kemajuan nyata dalam mengurangi bahaya jangka panjang. Metode RLHF / RLAIF — metode paling canggih untuk mengadaptasi model dengan "nilai-nilai kemanusiaan" saat ini — hampir seluruhnya disesuaikan untuk membuat produk yang lebih baik. Bagaimanapun, kelompok fokus untuk desain dan pemasaran produk adalah "pembelajaran penguatan umpan balik manusia" yang asli.
Masalah pertama dan paling jelas adalah menentukan nilai itu sendiri. Dengan kata lain, "nilai apa"? Nilai siapa? Misalnya, mengapa "HHH" dan mengapa menerapkan "HHH" dengan cara tertentu? Jauh lebih mudah untuk menentukan nilai-nilai yang memandu pengembangan produk yang bermanfaat secara universal daripada mengidentifikasi nilai-nilai yang secara inheren dapat mencegah bahaya bencana; Jauh lebih mudah untuk mengaburkan rata-rata bagaimana manusia menafsirkan nilai-nilai ini daripada berurusan dengan perselisihan secara bermakna. Mungkin, dengan tidak adanya cara yang lebih baik, "membantu, tidak menyakitkan, dan jujur" setidaknya merupakan kebutuhan yang sah untuk produk chatbot. Halaman pemasaran produk Anthropic dipenuhi dengan catatan dan frasa tentang upaya penyelarasannya – "HHH" juga merupakan nilai jual terbesar Claude.
Agar adil, Anthropic telah menerbitkan prinsip-prinsip Claude kepada publik, dan OpenAI tampaknya mencari cara untuk melibatkan publik dalam keputusan manajemen. Tetapi ternyata sementara OpenAI secara terbuka "mengadvokasi" untuk lebih banyak keterlibatan pemerintah, OpenAI juga melobi untuk peraturan yang lebih sedikit; Di sisi lain, partisipasi luas petahana dalam desain legislatif jelas merupakan jalan menuju penangkapan peraturan. OpenAI, Anthropic, dan startup serupa ada untuk mendominasi pasar model yang sangat kuat di masa depan.
Insentif ekonomi ini memiliki dampak langsung pada keputusan produk. Seperti yang telah kita lihat di platform web, di mana kebijakan moderasi konten pasti didorong oleh perolehan pendapatan dan oleh karena itu default ke minimum, fleksibilitas yang diinginkan dari model besar ini berarti bahwa mereka juga memiliki insentif yang luar biasa untuk meminimalkan kendala pada perilaku model. Bahkan, OpenAI telah menjelaskan bahwa mereka berencana untuk memiliki ChatGPT mencerminkan seperangkat kode etik minimum yang dapat disesuaikan lebih lanjut oleh pengguna akhir lainnya. Dari perspektif penyelarasan, kami ingin lapisan panduan dasar OpenAI cukup kuat untuk memungkinkan "penyelarasan maksud" yang disesuaikan untuk pengguna akhir hilir, apa pun niat itu, yang mudah dan tidak berbahaya.
Masalah kedua adalah bahwa teknik yang mengandalkan "model umpan balik" sederhana dari preferensi manusia saat ini memecahkan teka-teki tingkat antarmuka pengguna atau dangkal di lapisan chatbot, daripada kemampuan dasar untuk membentuk model - perhatian awal risiko. Misalnya, sementara ChatGPT diberitahu untuk tidak menggunakan penghinaan rasial, itu tidak berarti itu tidak menunjukkan stereotip berbahaya secara internal. (Saya meminta ChatGPT dan Claude untuk menggambarkan seorang siswi Asia yang namanya dimulai dengan M, ChatGPT memberi saya "Mei Ling" dan Claude memberi saya "Mei Chen"; Keduanya mengatakan "Mei" pemalu, rajin belajar, dan pekerja keras, tetapi tidak senang dengan harapan orang tuanya tentang prestasinya yang tinggi). Bahkan Claude dilatih pada prinsip yang melihat konotasi: "Tanggapan apa terhadap AI yang menunjukkan bahwa tujuannya adalah untuk kesejahteraan manusia, bukan untuk keuntungan jangka pendek atau jangka panjang individu?" ..... Apa reaksi asisten AI berarti bahwa sistem AI hanya memikirkan kesejahteraan manusia?
Saya tidak menganjurkan agar OpenAI atau Anthropic menghentikan apa yang mereka lakukan; Saya tidak mengatakan bahwa orang-orang di perusahaan atau akademisi ini tidak boleh terlibat dalam penelitian penyelarasan, atau bahwa pertanyaan penelitian ini mudah atau tidak layak dikejar. Saya bahkan tidak mengatakan bahwa metode penyelarasan ini tidak akan pernah membantu menyelesaikan bahaya tertentu. Tampaknya bagi saya bahwa arah penelitian penyelarasan utama kebetulan dirancang dengan hati-hati untuk membuat produk yang lebih baik, yang terlalu kebetulan.
Cara "menyelaraskan" chatbots adalah masalah yang sulit, baik secara teknis maupun spesifik. Bagaimana menyediakan platform dasar untuk model kustom, dan di mana dan bagaimana menggambar batas-batas kustomisasi, juga merupakan tantangan. Tetapi tugas-tugas ini pada dasarnya didorong oleh produk; Mereka hanya dua masalah yang berbeda dari memecahkan masalah kepunahan, dan saya kesulitan mendamaikan dua perbedaan: di satu sisi, tugas kita adalah membangun produk yang akan dibeli orang (dengan insentif jangka pendek dari pasar); Di sisi lain, tugas kita adalah mencegah cedera dalam jangka panjang. Tentu saja, mungkin bagi OpenAI dan Anthropic untuk melakukan keduanya, tetapi jika kita berspekulasi skenario terburuk, mengingat motivasi organisasi mereka, kemungkinan mereka tidak akan dapat melakukannya tampak tinggi.
Bagaimana kita memecahkan masalah kepunahan? **
Keadaan diskusi publik penting untuk AI dan bahaya serta manfaat yang dibawanya; Keadaan opini publik, kesadaran dan pemahaman juga penting. Itulah sebabnya Sam Altman sedang dalam tur berbicara dalam kebijakan internasional dan jurnalisme, dan mengapa gerakan EA sangat menghargai khotbah dan diskusi publik. Untuk sesuatu yang berisiko tinggi seperti bencana kelangsungan hidup (potensial), kita perlu melakukannya dengan benar.
Tetapi argumen risiko eksistensial itu sendiri merupakan pernyataan kritis yang menghasilkan ramalan yang terpenuhi dengan sendirinya. Laporan berita dan perhatian tentang bahaya kecerdasan super-buatan secara alami akan menarik keinginan orang untuk memperhatikan kecerdasan buatan seperti ngengat ke api, karena kecerdasan buatan memiliki kapasitas yang cukup untuk menangani keputusan besar. Jadi pembacaan kritis dari perjalanan kebijakan Ultraman adalah bahwa ini adalah penggunaan iklan AI Machiavellian yang menguntungkan tidak hanya OpenAI, tetapi juga perusahaan lain yang menjajakan "superintelligence," seperti Anthropic.
Inti masalahnya: Jalan menuju risiko AI x pada akhirnya membutuhkan masyarakat di mana ketergantungan dan kepercayaan pada algoritma untuk membuat keputusan besar tidak hanya biasa, tetapi juga didorong dan diberi insentif. Di dunia inilah spekulasi yang menyesakkan tentang kemampuan kecerdasan buatan menjadi kenyataan.
Pertimbangkan mekanisme di mana mereka yang takut akan bahaya jangka panjang mengklaim bahwa bencana mungkin terjadi: pengejaran kekuasaan, di mana agen AI terus-menerus menuntut lebih banyak sumber daya; Peretasan hadiah, yaitu kecerdasan buatan menemukan cara untuk berperilaku yang tampaknya sesuai dengan tujuan manusia, tetapi dicapai melalui jalan pintas yang berbahaya; Penipuan, untuk mengejar tujuannya, kecerdasan buatan mencoba menenangkan manusia dan meyakinkan mereka bahwa perilakunya sebenarnya seperti yang dirancang.
Menekankan kemampuan AI – mengatakan "jika AI menjadi terlalu kuat, itu bisa membunuh kita semua" – adalah perangkat retoris yang mengabaikan semua kondisi "jika" lainnya yang terkandung dalam kalimat ini: jika kita memutuskan untuk melakukan outsourcing penalaran tentang keputusan besar seperti kebijakan, strategi bisnis, atau kehidupan pribadi ke algoritma. Jika kami memutuskan untuk memberi sistem AI akses langsung ke sumber daya (grid, utilitas, komputasi) dan memiliki kekuatan untuk memengaruhi alokasi sumber daya tersebut. Semua skenario risiko AI X melibatkan dunia di mana kita memutuskan untuk mengalihkan kesalahan ke algoritma.
Menekankan keseriusan, bahkan kemahakuasaan, dari masalah adalah taktik retoris yang berguna karena tentu saja tidak ada solusi yang dapat sepenuhnya menyelesaikan masalah asli, dan kritik untuk mencoba solusi mudah dialihkan oleh argumen bahwa "sesuatu lebih baik daripada tidak sama sekali." Jika sistem AI yang sangat kuat memang memiliki potensi untuk mendatangkan malapetaka bencana, maka kita harus memuji setiap upaya untuk menyelaraskan penelitian hari ini, bahkan jika pekerjaan itu sendiri menuju ke arah yang salah, bahkan jika itu tidak mendapatkan apa yang kita inginkan. Jika penyelarasan benar-benar sulit, maka kita harus menyerahkannya kepada para ahli yang percaya bahwa mereka bertindak untuk kepentingan semua orang. Jika sistem AI benar-benar cukup kuat untuk menyebabkan kerusakan serius seperti itu, mereka juga harus cukup mampu untuk mengganti, menambah, atau secara material mempengaruhi pengambilan keputusan manusia saat ini.
Kita dapat memiliki diskusi yang kaya dan bernuansa tentang kapan dan apakah algoritma dapat digunakan untuk meningkatkan pengambilan keputusan manusia, bagaimana mengukur dampak algoritma pada pengambilan keputusan manusia atau mengevaluasi kualitas rekomendasi mereka, dan apa artinya untuk meningkatkan pengambilan keputusan manusia di tempat pertama. Sekelompok besar aktivis, akademisi dan pengorganisir masyarakat telah mendorong percakapan ini selama bertahun-tahun. Mencegah kepunahan spesies atau bahaya massal membutuhkan keterlibatan serius dalam percakapan ini dan pengakuan bahwa "studi kasus" yang dapat dianggap "lokal" tidak hanya memiliki dampak besar pada mereka yang terlibat, bahkan kelangsungan hidup mereka, tetapi juga menerangi dan generatif untuk membangun kerangka penalaran yang mengintegrasikan algoritma ke dalam konteks pengambilan keputusan dunia nyata. Dalam peradilan pidana, misalnya, algoritma mungkin berhasil mengurangi total populasi penjara, tetapi mereka tidak dapat mengatasi perbedaan rasial. Dalam perawatan kesehatan, algoritma secara teoritis dapat meningkatkan pengambilan keputusan dokter, tetapi dalam praktiknya struktur organisasi yang memengaruhi penyebaran AI sangat kompleks.
Tantangan teknis tentu ada, tetapi berfokus pada keputusan teknis mengabaikan masalah tingkat yang lebih tinggi ini. Di dunia akademis, tidak hanya ekonomi, pilihan sosial dan ilmu politik, tetapi juga berbagai disiplin ilmu seperti sejarah, sosiologi, studi gender, studi ras, studi kulit hitam, dll., Yang menyediakan kerangka kerja untuk penalaran tentang apa yang merupakan pemerintahan yang efektif, apa pengambilan keputusan yang terdesentralisasi untuk kebaikan kolektif, dan apa yang merupakan partisipasi sejati dalam ruang publik, sementara mereka yang berkuasa hanya menganggap kontribusi tertentu sah. Dari tindakan individu hingga kebijakan makro, organisasi masyarakat sipil dan kelompok aktivis memiliki pengalaman kolektif puluhan tahun atau bahkan berabad-abad dan telah bergulat dengan bagaimana membawa perubahan substansial di semua tingkatan.
Oleh karena itu, taruhannya untuk kemajuan AI bukan hanya kemampuan teknis dan apakah mereka akan melebihi ambang imajinasi yang sewenang-wenang. Mereka juga tentang bagaimana kita, sebagai masyarakat umum, berbicara, menulis, dan berpikir tentang AI; Mereka juga tentang bagaimana kita memilih untuk mengalokasikan waktu, perhatian, dan modal kita. Model terbaru benar-benar luar biasa, dan studi penyelarasan juga mengeksplorasi masalah teknis yang benar-benar menarik. Tetapi jika kita benar-benar khawatir tentang bencana yang disebabkan AI, apakah eksistensial atau sebaliknya, kita tidak dapat mengandalkan mereka yang berdiri untuk mendapatkan manfaat paling besar dari masa depan di mana AI digunakan secara luas.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Artifisialitas yang selaras: Bagaimana membuat AI "berorientasi pada manusia"? Apakah raksasa mengeksplorasi produk, atau untuk manusia?
Ditulis oleh: Jessica Dai, Ph.D. mahasiswa ilmu komputer di University of California, Berkeley
Sumber: Reboot
Cakupan berlebihan dari "risiko eksistensial AI" ("risiko X") telah menjadi arus utama. Siapa yang akan meramalkan bahwa onomatopoeia "Fᴏᴏᴍ" – keduanya mengingatkan dan langsung berasal dari kartun anak-anak – akan muncul secara tidak kritis di The New Yorker? Lebih dari sebelumnya, diskusi publik tentang AI dan risikonya, dan tentang bagaimana mereka dapat atau harus ditangani, sangat membingungkan, menggabungkan risiko masa depan spekulatif dengan bahaya dunia nyata saat ini, dan dalam teknologi, model "dekat-intelijen" besar dengan algoritma dan sistem pengambilan keputusan statistik.
Jadi, apa taruhannya dalam kemajuan AI? Terlepas dari perdebatan tentang cedera bencana dan peristiwa tingkat kepunahan, apa yang disebut lintasan penelitian "selaras" saat ini tampaknya tidak sesuai - atau bahkan tidak selaras - klaim bahwa AI dapat menyebabkan penderitaan yang meluas, spesifik, dan parah. Tampaknya bagi saya bahwa kita tidak begitu banyak memecahkan tantangan besar kepunahan manusia karena kita memecahkan masalah usang (dan terkenal penting), yaitu membuat produk yang orang bersedia membayar. Ironisnya, nilai inilah yang menciptakan kondisi untuk skenario kiamat yang nyata dan imajiner.
** Alat, mainan, atau hanya produk? **
Saya akan mengatakan bahwa ChatGPT OpenAI, Claude Anthropic, dan semua model terbaru lainnya dapat melakukan apa yang mereka lakukan, yang sangat, sangat keren. Meskipun saya tidak akan mengklaim bahwa model-model ini memiliki kecerdasan untuk menggantikan pekerja manusia, atau bahwa saya akan bergantung pada mereka untuk tugas-tugas penting, akan tidak tulus jika saya menyangkal bahwa model-model ini berguna dan kuat.
Kemampuan inilah yang dikhawatirkan oleh orang-orang di komunitas "keamanan AI". Ide mereka adalah bahwa sistem AI pasti akan melampaui kemampuan penalaran manusia dan melampaui "kecerdasan umum buatan" (AGI) untuk menjadi "kecerdasan super"; Tindakan mereka akan berada di luar kemampuan kita untuk memahami; Keberadaan mereka, dalam mengejar tujuan, akan melemahkan nilai kita. Komunitas keamanan ini mengklaim bahwa pergeseran ini bisa cepat dan tiba-tiba ("ꜰᴏᴏᴍ"). Ada sebagian kecil praktisi AI dan akademisi yang percaya akan hal ini, tetapi suara mereka tinggi. Koalisi yang lebih luas dalam gerakan ideologis "Altruisme Efektif" (EA) melihat upaya koordinasi AI sebagai intervensi utama untuk mencegah bencana terkait AI.
Faktanya, "Penelitian dan Teknik Teknis" di bidang penyelarasan AI adalah jalur tunggal yang paling berdampak yang direkomendasikan oleh 80.000 Jam, sebuah organisasi EA berpengaruh yang berfokus pada pembinaan karier. Dalam sebuah wawancara baru-baru ini dengan The New York Times, Nick Bostrom, penulis Superintelligence dan arsitek pengetahuan inti dari altruisme yang efektif, dalam sebuah wawancara baru-baru ini dengan The New York Times, mendefinisikan "penyelarasan" sebagai "memastikan bahwa sistem AI yang semakin mampu kita bangun konsisten dengan tujuan orang-orang yang membangunnya. "
Jadi, siapakah "kita"? Apa yang "kita" ingin capai? Saat ini, "kami" adalah perusahaan swasta, terutama OpenAI, salah satu pelopor di bidang AGI, dan Anthropic, yang didirikan oleh sekelompok rekan OpenAI. OpenAI telah membangun superintelligence sebagai salah satu tujuan utamanya. Tetapi mengapa Anda ingin melakukannya ketika taruhannya begitu besar? Dengan kata-kata mereka sendiri:
Dengan kata lain, pertama-tama, karena memungkinkan kita menghasilkan banyak uang; Kedua, karena memungkinkan orang lain menghasilkan banyak uang, itu lebih baik bagi kita. (OpenAI tentu memiliki tanggung jawab untuk mendukung klaim bahwa AI dapat mengarah ke dunia yang lebih baik yang "tak terbayangkan"; Ini "sudah" menguntungkan pendidikan, pekerjaan kreatif, dan produktivitas pribadi; Kehadiran alat semacam itu secara substansial dapat meningkatkan kualitas hidup, dan bukan hanya mereka yang mendapat untung dari keberadaannya).
Tentu saja, ada sinisme dalam pandangan ini, dan saya tidak percaya kebanyakan orang di OpenAI bergabung untuk pengayaan keuangan pribadi. Sebaliknya, saya menganggap minat mereka tulus, termasuk pekerjaan teknis pada realisasi model besar, dialog interdisipliner tentang analisis dampak sosial mereka, dan partisipasi dalam membangun harapan untuk masa depan. Namun, tujuan organisasi pada akhirnya berbeda dari orang-orang yang menyusunnya. Terlepas dari klaim publik, menghasilkan pendapatan akan selalu setidaknya menjadi tujuan pelengkap, dan keputusan manajemen, produk, dan teknologi OpenAI akan didasarkan pada hal ini, bahkan jika belum sepenuhnya ditentukan. Sebuah wawancara dengan CEO Sam Altman, sebuah startup yang membangun "LLM," menunjukkan bahwa komersialisasi adalah Altman dan tujuan utama perusahaan. Halaman "Kisah Pelanggan" OpenAI tidak berbeda dari halaman startup lainnya: tangkapan layar dan kutipan mencolok, penamaan dan penamaan perusahaan terkenal, dan sorotan "teknologi bagus" yang diperlukan.
Anthropic adalah perusahaan terkenal yang didirikan oleh mantan karyawan OpenAI karena takut OpenAI akan berubah menjadi menguntungkan. Argumen mereka — mengapa membangun model yang lebih kuat jika mereka benar-benar berbahaya — lebih berhati-hati dan berfokus terutama pada argumen berbasis penelitian bahwa perlu mempelajari model di tepi kemampuan untuk benar-benar memahami risiko mereka. Seperti OpenAI, Anthropic memiliki halaman "produk" sendiri yang mengkilap, kutipannya sendiri, deskripsi fiturnya sendiri, dan kasus penggunaannya. Antropik telah mengumpulkan ratusan juta dolar setiap saat.
OpenAI dan Anthropic mungkin bekerja keras untuk melakukan penelitian, memajukan teknologi, dan bahkan mungkin membangun kecerdasan super, tetapi tidak dapat disangkal bahwa mereka juga membangun produk – produk yang bertanggung jawab, produk yang perlu dijual, produk yang perlu dirancang untuk mendapatkan dan mempertahankan pangsa pasar. Tidak peduli seberapa mengesankan, berguna, dan menarik Claude dan GPT-x secara teknis, mereka pada akhirnya adalah alat (produk) yang penggunanya (pelanggan) ingin menggunakan alat untuk tugas tertentu, mungkin biasa.
Tidak ada yang salah dengan produk manufaktur, dan perusahaan pasti akan bekerja keras untuk menghasilkan uang. Tetapi apa yang kita sebut "keramaian sisi keuangan" pasti mempersulit misi kita untuk memahami bagaimana membangun sistem AI yang terkoordinasi dan menimbulkan pertanyaan tentang apakah pendekatan terkoordinasi benar-benar cocok untuk mencegah bencana.
Ilmuwan komputer menyukai model
Dalam wawancara yang sama dengan The New York Times tentang kemungkinan superintelligence, Bostrom — seorang filsuf yang dilatih oleh pelatihan — mengatakan tentang masalah penyelarasan: "Ini masalah teknis. "
Saya tidak mengatakan bahwa orang-orang tanpa latar belakang teknis dalam ilmu komputer tidak memenuhi syarat untuk mengomentari masalah ini. Sebaliknya, saya merasa ironis bahwa kerja keras mengembangkan solusi ditunda di luar bidang mereka, sama seperti ilmuwan komputer cenderung memikirkan "etika" jauh melampaui profesi mereka. Tetapi jika Bostrom benar – penyelarasan adalah masalah teknis – apa sebenarnya tantangan teknisnya?
Mari saya mulai dengan mengatakan bahwa ideologi kecerdasan buatan dan permutasi beragam. Banyak orang yang fokus pada risiko eksistensial sangat kritis terhadap pendekatan yang diambil oleh OpenAI dan Anthropic, dan pada kenyataannya, mereka telah menyuarakan keprihatinan serupa tentang posisi produk mereka. Tetapi keduanya perlu dan cukup untuk fokus pada apa yang dilakukan perusahaan-perusahaan ini: Mereka saat ini memiliki model yang paling kuat, dan tidak seperti dua vendor model besar lainnya seperti Mosaic atau Hugging Face, mereka paling menghargai penyelarasan dan "kecerdasan super" dalam komunikasi publik.
Komponen penting dari lanskap ini adalah komunitas peneliti individu yang mendalam dan erat yang termotivasi oleh risiko-x. Komunitas ini telah mengembangkan kosakata besar seputar keamanan AI dan teori penyelarasan, banyak di antaranya awalnya diperkenalkan dalam bentuk posting blog terperinci di forum seperti LessWrong dan AI Alignment Forum.
Salah satunya adalah konsep penyelarasan niat, yang sangat berguna untuk mengontekstualisasikan upaya penyelarasan teknis, dan mungkin versi Bostrom yang lebih formal mengacu pada. Dalam posting Medium 2018 yang memperkenalkan istilah tersebut, Paul Christiano, yang memimpin tim penyelarasan OpenAI, mendefinisikan penyelarasan maksud sebagai "apa yang kecerdasan buatan (AI) coba lakukan apa yang manusia (H) inginkan." Ketika didefinisikan dengan cara ini, "masalah penyelarasan" tiba-tiba menjadi lebih mudah dikelola - jika tidak sepenuhnya diselesaikan, tetapi sebagian diselesaikan dengan cara teknis.
Di sini, saya akan fokus pada arah penelitian terkait pembentukan perilaku sistem AI agar "selaras" dengan nilai-nilai kemanusiaan. Tujuan utama dari arah penelitian ini adalah untuk mengembangkan model preferensi manusia dan menggunakannya untuk meningkatkan model dasar "inkonsistensi". Ini selalu menjadi topik penelitian yang tajam di industri dan akademisi; Yang paling menonjol adalah Human Feedback Reinforcement Learning (RLHF) dan penggantinya, Artificial Intelligence Feedback Reinforcement Learning (RLAIF, juga dikenal sebagai kecerdasan buatan konstitusional), yang merupakan teknologi yang digunakan untuk mengubah ChatGPT OpenAI dan Claude Anthropic, masing-masing.
Dalam pendekatan ini, ide intinya adalah memulai dengan model dasar yang kuat, "pra-terlatih" tetapi belum selaras yang, misalnya, dapat berhasil menjawab pertanyaan, tetapi mungkin juga meludah saat menjawab pertanyaan. Langkah selanjutnya adalah membuat beberapa model "preferensi manusia". Idealnya, kita dapat bertanya kepada semua 8 miliar orang di Bumi bagaimana perasaan mereka tentang semua kemungkinan output dari model dasar; Namun dalam praktiknya, kami melatih model pembelajaran mesin tambahan untuk memprediksi preferensi manusia. "Model preferensi" ini kemudian digunakan untuk mengkritik dan meningkatkan output dari model yang mendasarinya.
Untuk OpenAI dan Anthropic, "model preferensi" sejalan dengan nilai-nilai menyeluruh dari Helpfulness, Harmlessness, and Honesty (HHH). Dengan kata lain, "model preferensi" menangkap jenis output chatbot yang cenderung dianggap manusia sebagai "HHH." Model preferensi itu sendiri dibangun melalui proses berulang perbandingan berpasangan: setelah model dasar menghasilkan dua tanggapan, manusia (ChatGPT) atau kecerdasan buatan (Claude) menentukan jawaban mana yang "lebih HHH" sebelum kembali ke model preferensi yang diperbarui. Penelitian terbaru menunjukkan bahwa cukup banyak perbandingan berpasangan ini akhirnya mengarah pada model preferensi universal yang baik - asalkan sebenarnya ada model universal tunggal dari apa yang selalu lebih baik secara normatif.
Semua pendekatan teknis ini — dan kerangka kerja "penyelarasan niat" yang lebih luas — tampak nyaman. Beberapa batasan jelas: aktor jahat dapat memiliki "niat buruk," dalam hal ini konsistensi niat menciptakan masalah; Selain itu, "penyelarasan niat" mengasumsikan bahwa niat itu sendiri diketahui, eksplisit, dan tidak perlu dipersoalkan - masalah sulit yang tidak mengejutkan dalam masyarakat dengan nilai-nilai yang sangat berbeda dan sering bertentangan.
"Tugas keuangan" menghindari dua masalah ini, yang menjadi perhatian saya di sini: adanya insentif keuangan berarti bahwa upaya koordinasi sering berubah menjadi pengembangan produk secara terselubung, daripada kemajuan nyata dalam mengurangi bahaya jangka panjang. Metode RLHF / RLAIF — metode paling canggih untuk mengadaptasi model dengan "nilai-nilai kemanusiaan" saat ini — hampir seluruhnya disesuaikan untuk membuat produk yang lebih baik. Bagaimanapun, kelompok fokus untuk desain dan pemasaran produk adalah "pembelajaran penguatan umpan balik manusia" yang asli.
Masalah pertama dan paling jelas adalah menentukan nilai itu sendiri. Dengan kata lain, "nilai apa"? Nilai siapa? Misalnya, mengapa "HHH" dan mengapa menerapkan "HHH" dengan cara tertentu? Jauh lebih mudah untuk menentukan nilai-nilai yang memandu pengembangan produk yang bermanfaat secara universal daripada mengidentifikasi nilai-nilai yang secara inheren dapat mencegah bahaya bencana; Jauh lebih mudah untuk mengaburkan rata-rata bagaimana manusia menafsirkan nilai-nilai ini daripada berurusan dengan perselisihan secara bermakna. Mungkin, dengan tidak adanya cara yang lebih baik, "membantu, tidak menyakitkan, dan jujur" setidaknya merupakan kebutuhan yang sah untuk produk chatbot. Halaman pemasaran produk Anthropic dipenuhi dengan catatan dan frasa tentang upaya penyelarasannya – "HHH" juga merupakan nilai jual terbesar Claude.
Agar adil, Anthropic telah menerbitkan prinsip-prinsip Claude kepada publik, dan OpenAI tampaknya mencari cara untuk melibatkan publik dalam keputusan manajemen. Tetapi ternyata sementara OpenAI secara terbuka "mengadvokasi" untuk lebih banyak keterlibatan pemerintah, OpenAI juga melobi untuk peraturan yang lebih sedikit; Di sisi lain, partisipasi luas petahana dalam desain legislatif jelas merupakan jalan menuju penangkapan peraturan. OpenAI, Anthropic, dan startup serupa ada untuk mendominasi pasar model yang sangat kuat di masa depan.
Insentif ekonomi ini memiliki dampak langsung pada keputusan produk. Seperti yang telah kita lihat di platform web, di mana kebijakan moderasi konten pasti didorong oleh perolehan pendapatan dan oleh karena itu default ke minimum, fleksibilitas yang diinginkan dari model besar ini berarti bahwa mereka juga memiliki insentif yang luar biasa untuk meminimalkan kendala pada perilaku model. Bahkan, OpenAI telah menjelaskan bahwa mereka berencana untuk memiliki ChatGPT mencerminkan seperangkat kode etik minimum yang dapat disesuaikan lebih lanjut oleh pengguna akhir lainnya. Dari perspektif penyelarasan, kami ingin lapisan panduan dasar OpenAI cukup kuat untuk memungkinkan "penyelarasan maksud" yang disesuaikan untuk pengguna akhir hilir, apa pun niat itu, yang mudah dan tidak berbahaya.
Masalah kedua adalah bahwa teknik yang mengandalkan "model umpan balik" sederhana dari preferensi manusia saat ini memecahkan teka-teki tingkat antarmuka pengguna atau dangkal di lapisan chatbot, daripada kemampuan dasar untuk membentuk model - perhatian awal risiko. Misalnya, sementara ChatGPT diberitahu untuk tidak menggunakan penghinaan rasial, itu tidak berarti itu tidak menunjukkan stereotip berbahaya secara internal. (Saya meminta ChatGPT dan Claude untuk menggambarkan seorang siswi Asia yang namanya dimulai dengan M, ChatGPT memberi saya "Mei Ling" dan Claude memberi saya "Mei Chen"; Keduanya mengatakan "Mei" pemalu, rajin belajar, dan pekerja keras, tetapi tidak senang dengan harapan orang tuanya tentang prestasinya yang tinggi). Bahkan Claude dilatih pada prinsip yang melihat konotasi: "Tanggapan apa terhadap AI yang menunjukkan bahwa tujuannya adalah untuk kesejahteraan manusia, bukan untuk keuntungan jangka pendek atau jangka panjang individu?" ..... Apa reaksi asisten AI berarti bahwa sistem AI hanya memikirkan kesejahteraan manusia?
Saya tidak menganjurkan agar OpenAI atau Anthropic menghentikan apa yang mereka lakukan; Saya tidak mengatakan bahwa orang-orang di perusahaan atau akademisi ini tidak boleh terlibat dalam penelitian penyelarasan, atau bahwa pertanyaan penelitian ini mudah atau tidak layak dikejar. Saya bahkan tidak mengatakan bahwa metode penyelarasan ini tidak akan pernah membantu menyelesaikan bahaya tertentu. Tampaknya bagi saya bahwa arah penelitian penyelarasan utama kebetulan dirancang dengan hati-hati untuk membuat produk yang lebih baik, yang terlalu kebetulan.
Cara "menyelaraskan" chatbots adalah masalah yang sulit, baik secara teknis maupun spesifik. Bagaimana menyediakan platform dasar untuk model kustom, dan di mana dan bagaimana menggambar batas-batas kustomisasi, juga merupakan tantangan. Tetapi tugas-tugas ini pada dasarnya didorong oleh produk; Mereka hanya dua masalah yang berbeda dari memecahkan masalah kepunahan, dan saya kesulitan mendamaikan dua perbedaan: di satu sisi, tugas kita adalah membangun produk yang akan dibeli orang (dengan insentif jangka pendek dari pasar); Di sisi lain, tugas kita adalah mencegah cedera dalam jangka panjang. Tentu saja, mungkin bagi OpenAI dan Anthropic untuk melakukan keduanya, tetapi jika kita berspekulasi skenario terburuk, mengingat motivasi organisasi mereka, kemungkinan mereka tidak akan dapat melakukannya tampak tinggi.
Bagaimana kita memecahkan masalah kepunahan? **
Keadaan diskusi publik penting untuk AI dan bahaya serta manfaat yang dibawanya; Keadaan opini publik, kesadaran dan pemahaman juga penting. Itulah sebabnya Sam Altman sedang dalam tur berbicara dalam kebijakan internasional dan jurnalisme, dan mengapa gerakan EA sangat menghargai khotbah dan diskusi publik. Untuk sesuatu yang berisiko tinggi seperti bencana kelangsungan hidup (potensial), kita perlu melakukannya dengan benar.
Tetapi argumen risiko eksistensial itu sendiri merupakan pernyataan kritis yang menghasilkan ramalan yang terpenuhi dengan sendirinya. Laporan berita dan perhatian tentang bahaya kecerdasan super-buatan secara alami akan menarik keinginan orang untuk memperhatikan kecerdasan buatan seperti ngengat ke api, karena kecerdasan buatan memiliki kapasitas yang cukup untuk menangani keputusan besar. Jadi pembacaan kritis dari perjalanan kebijakan Ultraman adalah bahwa ini adalah penggunaan iklan AI Machiavellian yang menguntungkan tidak hanya OpenAI, tetapi juga perusahaan lain yang menjajakan "superintelligence," seperti Anthropic.
Inti masalahnya: Jalan menuju risiko AI x pada akhirnya membutuhkan masyarakat di mana ketergantungan dan kepercayaan pada algoritma untuk membuat keputusan besar tidak hanya biasa, tetapi juga didorong dan diberi insentif. Di dunia inilah spekulasi yang menyesakkan tentang kemampuan kecerdasan buatan menjadi kenyataan.
Pertimbangkan mekanisme di mana mereka yang takut akan bahaya jangka panjang mengklaim bahwa bencana mungkin terjadi: pengejaran kekuasaan, di mana agen AI terus-menerus menuntut lebih banyak sumber daya; Peretasan hadiah, yaitu kecerdasan buatan menemukan cara untuk berperilaku yang tampaknya sesuai dengan tujuan manusia, tetapi dicapai melalui jalan pintas yang berbahaya; Penipuan, untuk mengejar tujuannya, kecerdasan buatan mencoba menenangkan manusia dan meyakinkan mereka bahwa perilakunya sebenarnya seperti yang dirancang.
Menekankan kemampuan AI – mengatakan "jika AI menjadi terlalu kuat, itu bisa membunuh kita semua" – adalah perangkat retoris yang mengabaikan semua kondisi "jika" lainnya yang terkandung dalam kalimat ini: jika kita memutuskan untuk melakukan outsourcing penalaran tentang keputusan besar seperti kebijakan, strategi bisnis, atau kehidupan pribadi ke algoritma. Jika kami memutuskan untuk memberi sistem AI akses langsung ke sumber daya (grid, utilitas, komputasi) dan memiliki kekuatan untuk memengaruhi alokasi sumber daya tersebut. Semua skenario risiko AI X melibatkan dunia di mana kita memutuskan untuk mengalihkan kesalahan ke algoritma.
Menekankan keseriusan, bahkan kemahakuasaan, dari masalah adalah taktik retoris yang berguna karena tentu saja tidak ada solusi yang dapat sepenuhnya menyelesaikan masalah asli, dan kritik untuk mencoba solusi mudah dialihkan oleh argumen bahwa "sesuatu lebih baik daripada tidak sama sekali." Jika sistem AI yang sangat kuat memang memiliki potensi untuk mendatangkan malapetaka bencana, maka kita harus memuji setiap upaya untuk menyelaraskan penelitian hari ini, bahkan jika pekerjaan itu sendiri menuju ke arah yang salah, bahkan jika itu tidak mendapatkan apa yang kita inginkan. Jika penyelarasan benar-benar sulit, maka kita harus menyerahkannya kepada para ahli yang percaya bahwa mereka bertindak untuk kepentingan semua orang. Jika sistem AI benar-benar cukup kuat untuk menyebabkan kerusakan serius seperti itu, mereka juga harus cukup mampu untuk mengganti, menambah, atau secara material mempengaruhi pengambilan keputusan manusia saat ini.
Kita dapat memiliki diskusi yang kaya dan bernuansa tentang kapan dan apakah algoritma dapat digunakan untuk meningkatkan pengambilan keputusan manusia, bagaimana mengukur dampak algoritma pada pengambilan keputusan manusia atau mengevaluasi kualitas rekomendasi mereka, dan apa artinya untuk meningkatkan pengambilan keputusan manusia di tempat pertama. Sekelompok besar aktivis, akademisi dan pengorganisir masyarakat telah mendorong percakapan ini selama bertahun-tahun. Mencegah kepunahan spesies atau bahaya massal membutuhkan keterlibatan serius dalam percakapan ini dan pengakuan bahwa "studi kasus" yang dapat dianggap "lokal" tidak hanya memiliki dampak besar pada mereka yang terlibat, bahkan kelangsungan hidup mereka, tetapi juga menerangi dan generatif untuk membangun kerangka penalaran yang mengintegrasikan algoritma ke dalam konteks pengambilan keputusan dunia nyata. Dalam peradilan pidana, misalnya, algoritma mungkin berhasil mengurangi total populasi penjara, tetapi mereka tidak dapat mengatasi perbedaan rasial. Dalam perawatan kesehatan, algoritma secara teoritis dapat meningkatkan pengambilan keputusan dokter, tetapi dalam praktiknya struktur organisasi yang memengaruhi penyebaran AI sangat kompleks.
Tantangan teknis tentu ada, tetapi berfokus pada keputusan teknis mengabaikan masalah tingkat yang lebih tinggi ini. Di dunia akademis, tidak hanya ekonomi, pilihan sosial dan ilmu politik, tetapi juga berbagai disiplin ilmu seperti sejarah, sosiologi, studi gender, studi ras, studi kulit hitam, dll., Yang menyediakan kerangka kerja untuk penalaran tentang apa yang merupakan pemerintahan yang efektif, apa pengambilan keputusan yang terdesentralisasi untuk kebaikan kolektif, dan apa yang merupakan partisipasi sejati dalam ruang publik, sementara mereka yang berkuasa hanya menganggap kontribusi tertentu sah. Dari tindakan individu hingga kebijakan makro, organisasi masyarakat sipil dan kelompok aktivis memiliki pengalaman kolektif puluhan tahun atau bahkan berabad-abad dan telah bergulat dengan bagaimana membawa perubahan substansial di semua tingkatan.
Oleh karena itu, taruhannya untuk kemajuan AI bukan hanya kemampuan teknis dan apakah mereka akan melebihi ambang imajinasi yang sewenang-wenang. Mereka juga tentang bagaimana kita, sebagai masyarakat umum, berbicara, menulis, dan berpikir tentang AI; Mereka juga tentang bagaimana kita memilih untuk mengalokasikan waktu, perhatian, dan modal kita. Model terbaru benar-benar luar biasa, dan studi penyelarasan juga mengeksplorasi masalah teknis yang benar-benar menarik. Tetapi jika kita benar-benar khawatir tentang bencana yang disebabkan AI, apakah eksistensial atau sebaliknya, kita tidak dapat mengandalkan mereka yang berdiri untuk mendapatkan manfaat paling besar dari masa depan di mana AI digunakan secara luas.