Olimpiade Matematika AI ada di sini, dengan hadiah 5 juta dolar AS, mencari model besar yang dapat memenangkan medali emas IMO

Sumber artikel: qubits

Sumber gambar: Dihasilkan oleh Unbounded AI

Olimpiade Matematika Internasional IMO yang khusus disiapkan untuk AI ada di sini -

Itu kekalahan $ 10 juta!

Kompetisi mengklaim sebagai "atas nama Tes Turing baru", bagaimana cara membandingkan?

PK head-to-head dengan jenius matematika terpintar umat manusia dan memenangkan medali emas dengan standar yang sama.

Jangan meremehkan acara ini, bahkan master matematika Tao Zhexuan ada di sini, dan merekomendasikannya di situs web resmi:

Kompetisi ini memberikan tolok ukur untuk mengidentifikasi strategi pemecahan masalah AI, yang persis seperti yang kita butuhkan saat ini.

Begitu berita itu keluar, netizen cukup heboh.

Seperti yang dikatakan presiden IMO: Model mana yang dapat bersaing dengan gelombang anak muda paling cerdas di dunia?

Yang disebut "di bawah hadiah, pasti ada pria pemberani", AI dengan jalannya sendiri benar-benar mengasyikkan.

AI Berpartisipasi dalam IMO dengan Maksimum $5 Juta

Singkatan dari kompetisi ini adalah AI-MO.

Tujuan awalnya adalah untuk mempromosikan kemampuan penalaran matematis dari model bahasa besar dan mendorong pengembangan model AI baru yang dapat menandingi tingkat tertinggi matematika manusia (kompetisi IMO).

Mengapa memilih IMO sebagai patokan?

Topik IMO umumnya dibagi menjadi empat kategori: aljabar, geometri, teori bilangan dan kombinatorika, yang tidak memerlukan pengetahuan matematika tingkat lanjut, tetapi mengharuskan peserta untuk memiliki cara berpikir dan literasi matematika yang benar.

Statistik menunjukkan bahwa peraih medali emasnya 50 kali lebih mungkin memenangkan Fields Medal daripada rata-rata lulusan Cambridge PhD.

Selain itu, setengah dari pemenang Fields Medal telah berkompetisi dalam kompetisi IMO.

Berdasarkan kompetisi ini, kompetisi AI-MO yang didedikasikan untuk AI ini akan dibuka pada awal 2024.

Panitia penyelenggara mensyaratkan bahwa model AI yang berpartisipasi harus memproses pertanyaan dalam format yang sama dengan kontestan manusia, dan harus menghasilkan jawaban akhir yang dapat dibaca manusia, yang kemudian akan dinilai oleh panel ahli menggunakan standar IMO.

Hasilnya akan diumumkan pada Kongres IMO ke-65 di Bath, Inggris, pada bulan Juli tahun depan.

Pada akhirnya, AI yang mencapai level emas akan menerima hadiah utama sebesar $5 juta.

Model AI yang tersisa yang "mencapai tonggak penting" akan berbagi penghargaan kemajuan yang tersisa, dengan jumlah total $ 5 juta.

Perlu disebutkan bahwa agar memenuhi syarat untuk penghargaan, peserta harus mematuhi perjanjian berbagi publik AI-MO, yaitu, model pemenang harus open source.

Adapun aturan spesifiknya, panitia penyelenggara masih mempertimbangkan, dan pejabat tersebut saat ini sedang merekrut anggota dewan penasihat (terutama ahli matematika, AI dan pembelajaran mesin) dan direktur untuk memimpin kompetisi, yang semuanya dibayar dan dapat sepenuhnya jarak jauh, dan tidak diketahui petinggi mana yang akan bergabung.

Namun, perlu dicatat bahwa AI-MO bukanlah kompetisi resmi yang diprakarsai oleh IMO.

Sponsor sebenarnya adalah XTX Markets, lembaga keuangan non-bank yang berbasis di London yang terlibat dalam perdagangan kuantitatif pembelajaran mesin.

Jika tidak ada yang lain, XTX Markets berfokus pada pahlawan.

Itu juga telah menyiapkan beasiswa dengan Universitas Oxford tahun lalu untuk mendorong siswa perempuan untuk belajar matematika.

Adapun kompetisinya sendiri, beberapa netizen juga memulai gelombang spekulasi: Model AI mana yang paling menjanjikan?

GPT-4 dengan plug-in Wolfram adalah yang pertama dibawa keluar, tetapi juga yang pertama dituangkan air dingin.

Namun, OpenAI di belakangnya masih disukai (meskipun perusahaan teknologi besar bukan target audiens untuk kompetisi).

Beberapa netizen pesimis langsung menegaskan:

Itu keren, tapi tidak ada yang bisa melakukannya dalam lima tahun.

Pada saat yang sama, juga dikemukakan bahwa:

Tidak sulit untuk melatih model seperti itu, tetapi sulit untuk memperoleh dan memproses data, setelah semua, masalah ini tidak hanya melibatkan teks, tetapi juga banyak gambar dan simbol dengan makna yang kompleks.

Semuanya akan terungkap pada 2024.

Perlu disebutkan bahwa AI-MO bukanlah AI pertama yang menantang IMO.

Pada tahun 2019, beberapa peneliti dari universitas dan institusi seperti OpenAI, Microsoft, Stanford University dan Google telah meluncurkan kompetisi yang disebut IMO Grand Challenge.

Tidak ada yang berhasil dalam tantangan sebelumnya

IMO Grand Challenge juga merupakan kompetisi yang diadakan untuk menemukan AI yang dapat memenangkan medali emas IMO.

Mari kita lihat 5 aturan untuk AI dalam game matematika ini:

Tentang formatnya. Untuk memastikan ketelitian dan verifikasi proses pembuktian, baik masalah maupun pembuktian perlu dilakukan secara formal (dapat diverifikasi mesin).

Dengan kata lain, masalah IMO akan diubah menjadi ekspresi berdasarkan bahasa pemrograman Lean dan input ke AI melalui pembuktian teorema Lean, dan AI juga perlu menulis bukti dalam bahasa pemrograman Lean.

Tentang Skor. Setiap pertanyaan bukti AI akan dinilai benar atau salah dalam waktu 10 menit, karena ini juga merupakan waktu bagi wasit IMO untuk mencetak gol. Tidak seperti manusia, tidak ada yang namanya "skor parsial" untuk AI.

Tentang Sumber Daya. Seperti manusia, AI perlu menyelesaikan 3 masalah dalam 4,5 jam sehari (total 2 hari), dan tidak ada batasan untuk sumber daya komputasi.

Tentang reproduktifitas. AI harus open source, dan model harus tersedia untuk umum dan dapat direproduksi pada akhir hari pertama IMO. Mengharuskan AI tidak dapat terhubung ke Internet.

Tentang Tantangan itu sendiri. Tantangan terbesar adalah membuat AI memenangkan emas 🏅 seperti manusia.

Kompetisi ini diprakarsai oleh 7 ilmuwan riset dan matematikawan AI:

Daniel Selsam dari OpenAI, Leonardo de Moura dari Microsoft, Kevin Buzzard dari Imperial College, Reid Barton dari University of Pittsburgh, Percy Liang dari Stanford University, Sarah Loos dari Google AI, dan Freek Wiedijk dari Radboud University.

Sekarang, empat tahun kemudian, telah mendapat perhatian dari beberapa kontestan.

Namun, meskipun banyak peneliti AI dan matematika telah mencoba menantang bidang ini, atau tujuan kecil di lapangan, mereka masih jauh dari tujuan akhir untuk memenangkan kejuaraan IMO.

Bahkan ada saran bahwa harus ada "mode sederhana" untuk game ini:

Sebagai contoh, peneliti Xi Wang telah mencoba menggunakan beberapa pemecah SMT yang ada untuk melakukan pertanyaan nyata IMO, tetapi hasilnya biasa-biasa saja.

Pada saat itu, AI yang ada mampu membuktikan beberapa masalah IMO yang kurang sulit, seperti teorema Napoleon, yang menyatakan bahwa jika sisi segitiga apa pun digunakan sebagai sisi untuk membuat segitiga biasa ke luar, garis pusatnya harus membentuk segitiga beraturan.

Namun, ketika datang untuk membuktikan beberapa masalah nyata lainnya, seperti masalah geometri IMO 2019, pemecah yang ada tidak dapat melakukannya, atau itu adalah lembur setengah jam.

Misalnya, peneliti OpenAI (yang masih di Microsoft pada saat itu) Dan Selsam dan Jesse Michael Han juga belajar sebentar tentang "AI untuk memecahkan masalah geometri IMO" dan merangkum sebuah blog.

Blog ini menjelaskan bagaimana mereka datang dengan pemecah geometri dan langkah-langkah untuk mendesainnya, termasuk:

Representasi geometris, pemecahan kendala, pemilihan algoritma, arsitektur solver, tantangan dan solusi.

Representasi geometris, misalnya, mewakili masalah geometris dalam format yang dapat dipahami dan diproses komputer, dan sebaliknya, termasuk penggunaan pemecah geometris untuk secara otomatis mengubah bahasa pemrograman menjadi grafik yang mudah dibaca manusia:

Selain itu, ini juga memperkenalkan bagaimana memilih algoritma solusi yang sesuai sesuai dengan jenis masalah geometri IMO yang berbeda, dll.

Namun meski begitu, posting blog tidak memberikan solusi spesifik, hanya menyatakan di akhir bahwa "pemecah memiliki potensi untuk mencapai tujuan memenangkan emas IMO".

Selain itu, masalah geometri yang ditargetkan oleh para penantang di atas hanya menempati seperempat dari jenis masalah IMO (bersama dengan aljabar, kombinatorika, dan teori bilangan) ...

Meskipun telah diluncurkan selama 4 tahun, masih belum ada AI nyata "IMO serba bisa", tetapi sebagai pencetus ide ini, IMO Grand Challenge masih membuat banyak gelombang di industri.

Alex Gerko mengakui bahwa IMO Grand Challenge juga merupakan kesempatan baginya untuk mengadakan AI-MO:

Saatnya memberi "AI Challenge IMO" sedikit kegembiraan secara keseluruhan!

Tentu saja, hadiah uang dari AI-MO ini memang telah menarik perhatian penyelenggara IMO Grand Challenge dan banyak penantang:

Saya ingin tahu apakah benar-benar akan ada AI di industri yang dapat memecahkan masalah matematika yang sulit dan berhasil melampaui banyak manusia untuk memenangkan medali emas IMO yang didorong oleh uang 💰.

Dilihat dari kekuatan saat ini, menurut Anda perusahaan AI mana yang paling mungkin memimpin?

Link Referensi:
[1]
[2]
[3]