Pengarang: Sergi Castella and Sapé
Awalnya diterbitkan di Menuju AI.
Tren AI — Pembulatan 2023
Apa selanjutnya untuk Model Bahasa, Pembelajaran Penguatan, Visi Komputer, dan perusahaan AI terkemuka seperti OpenAI dan Google?
Gambar oleh Zeta Alpha.
Ramalan musim dingin AI ketiga di awal tahun 2022 — atau AI menabrak tembok — menua dengan cepat dan buruk dengan pengumuman DALL·E 2 pada April 2022, diikuti oleh lebih banyak aplikasi teks-ke-gambar yang sebagian besar digerakkan oleh Model Difusi, area yang sangat produktif untuk penelitian Computer Vision dan seterusnya. Tahun 2022 di AI ditentukan oleh tren kenaikan yang kuat.
Selain itu, Model Bahasa yang besar terbukti menjadi area yang lebih subur dengan beberapa makalah yang secara signifikan memperluas kemampuannya: Retrieval Augmentation, Chain-of-Thought prompting, Mathematical Reasoning, Bootstrapping Reasoning. Penelitian Model Bahasa masih jauh dari selesai. Ini sedang berjalan!
Blockbuster tahun ini tentunya adalah ChatGPT OpenAI, sekali lagi mendefinisikan ulang apa yang dapat diharapkan dari LLM dan memperkuat posisi OpenAI sebagai pemimpin dunia dalam LLM sebagai layanan. Seperti yang akan kita lihat, ini mungkin memiliki efek riak hingga tahun 2023 di seluruh ruang teknologi, karena Microsoft — memiliki kemitraan yang kuat dengan OpenAI — kemungkinan akan menggunakannya untuk mengubah produk utama mereka, termasuk Bing dan Office.
Sekarang mari kita lihat beberapa area utama dalam AI: di mana mereka saat ini dan di mana kami mengharapkan mereka berkembang pada tahun 2023. Mari selami!
🗺️ Komunitas
Twitter telah lama menjadi ruang online terbesar tempat orang-orang riset AI berbagi dan mendiskusikan pekerjaan mereka secara publik. Tetapi akuisisi perusahaan yang terkenal oleh Elon Musk telah membuatnya goyah. Meningkatnya ketidakstabilan, perubahan kebijakan yang tidak dapat diprediksi, dan sikap politik yang memecah belah Musk telah menghasilkan protes untuk pindah ke tempat lain seperti Mastodon. Untuk saat ini, sebagian besar tindakan masih ada di situs bluebird, dan eksodus semalam penuh atas dasar politik tetap tidak mungkin, tetapi kami tidak dapat sepenuhnya mengesampingkan kemungkinan semacam kehancuran perusahaan dalam tahun depan.
Sumber: Google Tren
Medan pertempuran lain untuk komunitas Deep Learning adalah kerangka kerja. Adopsi PyTorch telah berada di atas TensorFlow selama beberapa tahun sekarang dan merupakan framework yang paling banyak disukai dan digunakan untuk Autograd dan Neural Networks. Pada tahun 2023, PyTorch v2.0 akan dirilis, dengan kompiler dan percepatan sebagai fitur utamanya. Bahkan Google tidak bertaruh untuk kembalinya TensorFlow, dan ekosistem JAX/FLAX — sudah menjadi favorit di Google Brain dan banyak peneliti lainnya — masih belum cukup matang untuk menjadi arus utama.
Akhirnya, kesenjangan industri dan akademisi terus tumbuh karena (1) teknologi besar memiliki lebih banyak sumber daya komputasi yang tersedia dan (2) sebagian besar penelitian blockbuster saat ini bergantung pada kolaborasi erat dari lusinan insinyur kelas dunia, yang tidak tersedia untuk mahasiswa PhD rata-rata. Ini berarti bahwa penelitian akademik bergeser ke arah pemeriksaan, pemahaman, dan perluasan model yang ada dengan lebih baik, dan menyusun tolok ukur baru dan kemajuan teoretis.
Model Bahasa
Jika LLM sudah menjadi karakter utama dalam lanskap AI setahun yang lalu, situasinya sekarang bahkan lebih mendekati monolog. Pelajaran pahit Sutton terus menua seperti anggur berkualitas. Dengan ChatGPT, LLM menjadi arus utama — bahkan teman non-teknologi non-AI saya bertanya tentangnya — dan kami berharap tahun 2023 menjadi tahun di mana teknologi ini benar-benar menjangkau massa. Microsoft – sudah mempertimbangkan untuk memperluas kepemilikannya hingga 49% dari OpenAI – dan Google tidak ingin ketinggalan, jadi ini akan menjadi benturan raksasa.
Model AI Konstitusional dari AI Antropik: https://www.anthropic.com/constitutional.pdf Skala. Model hampir tidak berkembang dalam hal parameter dalam beberapa tahun terakhir — bertentangan dengan banyak wacana AI publik! LLM padat terbaik yang tersedia saat ini masih dalam kisaran parameter 200B karena kurang dioptimalkan dan masih banyak yang dapat ditemukan dan ditingkatkan dalam rezim tersebut. Namun, kami memperkirakan hal itu akan berubah tahun ini dengan (1) Google memanfaatkan keluarga model FLAN mereka secara publik dan (2) OpenAI dan pesaing yang merambah ke hitungan parameter skala triliun dengan GPT-4 yang sangat dinantikan jika semua tantangan pengoptimalan diatasi . Ini mungkin tidak mendukung sebagian besar LLM sebagai Layanan karena biaya, tetapi akan menjadi teknologi unggulan berikutnya yang menjadi berita utama. Optimasi. Era pelatihan data teks statis telah berakhir. LLM saat ini bukan hanya Model Bahasa Besar, pengoptimalannya mencakup data / teks yang dikuratori, interaktif, dan berkelanjutan serta bahasa formal seperti kode. Kami mengharapkan pengembangan dalam cara LLM dioptimalkan yang memanfaatkan lingkungan RL yang lebih kompleks (mis. LLM sebagai agen), LLM dilatih dalam lingkaran lingkungan formal untuk mempelajari manipulasi simbol yang lebih baik (mis. Minerva v2), LLM untuk menghasilkan lebih banyak data yang semakin baik untuk melatih dirinya sendiri aktif, dan metode untuk menyaring lebih banyak kinerja pada model yang berjalan murah pada perangkat keras sederhana, menyebabkan setiap FLOP diperhitungkan dalam ekonomi LLM sebagai Layanan. Kemajuan dalam Model Bahasa akan terus mengalir ke bidang AI lainnya seperti Computer Vision, Information Retrieval, dan Reinforcement Learning (seperti yang telah terjadi pada tahun 2022). Kode + LLM. GitHub Copilot telah ada selama lebih dari setahun, dan perlahan mengubah cara orang menulis kode. Google berbagi di awal tahun 2022 bahwa 3% dari kodenya telah ditulis oleh LLM, dan kami berharap LLM penyelesaian kode menjadi jauh lebih baik, perlahan mengubah cara orang menulis kode.
Sumber: Twitter
🤖 Pembelajaran Penguatan dan Robotika
Sumber: “Menggunakan bahasa alami dan abstraksi program untuk menanamkan bias induktif manusia dalam mesin”
Dapat dikatakan, RL belum berkembang secara substansial dari perspektif fundamental pada tahun lalu. Sebaliknya, kemajuan didasari oleh penerapan agen yang semakin kompleks yang menggabungkan Visi Komputer, Teks, Model Bahasa, Kurasi Data… seperti CICERO, Video PreTraining (VPT), MineDojo, atau GATO. Sebagian besar didorong oleh kesuksesan dengan peningkatan Imitation Learning atau RL offline, hanya dengan percikan loop hadiah-lingkungan-agen RL online yang bagus. Kami mengharapkan pengembangan lebih banyak agen kompleks multimodal yang mengambil tindakan di bawah informasi yang tidak lengkap, memanfaatkan komponen modular berdasarkan jaringan saraf yang besar dan data prapelatihan yang besar.
Pada tahun 2023 kami berharap simbiosis antara LLM dan RL akan tumbuh lebih jauh lagi: melatih LLM dalam pengaturan RL, dan menggunakan LLM sebagai bagian dari agen RL (misalnya sebagai perencana kebijakan, prioritas yang kuat).
Terakhir, Zero-few shot dan efisiensi ekstrem akan menjadi kunci untuk kemajuan robot yang berinteraksi di dunia nyata, dan kami mengharapkan tren dalam modularisasi ML (kemampuan untuk menyambungkan modul pra-pelatihan), kemampuan beberapa bidikan, dan representasi kausal belajar untuk membantu dalam hal itu pada tahun 2023. Tapi kami akan terkejut jika ada terobosan besar-besaran di luar angkasa sebelum efisiensi sampel ekstrim diselesaikan secara in silico untuk RL tradisional.
🕶️ Visi Komputer
Sumber: https://www.deepmind.com/blog/tackling-multiple-tasks-with-a-single-visual-language-model
Model Difusi dan teks-ke-gambar adalah bintang pertunjukan saat datang ke CV 2022. Persepsi kami tentang apa yang dapat dicapai dengan menghasilkan gambar sangat berbeda dari yang kami pikirkan setahun yang lalu. Namun, pemahaman gambar masih jauh dari terpecahkan. Apa kunci yang akan membuat kita lebih dekat?
Pembelajaran Representasi Kausal (sering dikaitkan dengan pembelajaran representasi Object-centric) adalah bidang minat yang berkembang yang mempelajari pembelajaran hubungan sebab akibat antara elemen di luar korelasi statistiknya. Penghalang utama untuk kemajuan adalah kurangnya pembandingan standar yang kuat, dan kami berharap 2023 akan membawa perubahan dalam budaya pembandingan CV, mengalihkan fokus ke Generalisasi di Luar Domain, Kekokohan, dan efisiensi, dan jauh dari klasifikasi gambar dalam domain , pelacakan, segmentasi… Lebih banyak model multimodal yang menggabungkan teks, audio, dan tindakan dengan visi seperti yang telah kita lihat dengan Video Pretraining Transformer MineDojo. Model Difusi telah mengambil alih AI teks-ke-gambar generatif, dan digunakan untuk aplikasi lain seperti docking molekul dan desain obat. Video generatif dan adegan 3D adalah dan akan menjadi langkah alami berikutnya untuk aplikasi ini, tetapi kami memperkirakan pembuatan video panjang yang koheren akan memakan waktu lebih lama. Pemodelan data frekuensi tinggi (token/gambar) lebih sulit daripada mengumpulkan data frekuensi rendah skala besar (misalnya struktur naratif skala novel). Tidak ada cukup data statis untuk menyelesaikan masalah ini dengan kekerasan, sehingga diperlukan teknik pengoptimalan yang lebih baik untuk model besar.
🔎 Pengambilan Informasi
Sumber: eval.ai dan benchmark BEIR.
Akhirnya, topik yang dekat dengan hati kita. Masalah terbesar Neural IR dalam beberapa tahun terakhir adalah menerjemahkan kesuksesan dalam tolok ukur akademik — di mana BM25 secara rutin dikalahkan — ke dalam pengaturan dunia nyata dan adopsi yang meluas. Kunci agar ini terjadi:
Tidak perlu anotasi relevansi manusia. Ini telah menjadi salah satu aspek di mana IR paling maju pada tahun 2022, dengan proposal seperti InPars (menggunakan LM untuk menghasilkan anotasi), LaPraDor (Pembelajaran Kontrastif Tanpa Pengawasan), dan lainnya. Kenyamanan. Model saat ini mungkin bekerja dengan baik pada tolok ukur, tetapi tidak hanya bekerja. Kami mengharapkan kemajuan dalam kenyamanan di seluruh siklus pengembangan model neural IR yang akan meningkatkan adopsi. AI percakapan. Retrieval Augmented Language Model dan model canggih seperti ChatGPT baru-baru ini menghidupkan kembali minat pada ruang angkasa, karena sekarang banyak yang melihat kelayakan nyata. Sementara evaluasi standar tetap menantang, kami berharap minat terhadap ruang akan tumbuh.
Selain penelitian, 2023 bisa menjadi tahun gangguan dalam ruang pencarian web konsumen, dan hanya perubahan paradigma dari apa yang orang harapkan dari mesin pencari. Kolaborasi Microsoft dengan OpenAI dan keberhasilan ChatGPT yang luar biasa baru-baru ini membuat banyak orang berspekulasi tentang kemungkinan perubahan 180° untuk Bing dengan penerapan jawaban pertanyaan berskala web yang benar-benar kompleks yang ditenagai oleh model bahasa yang baru saja berfungsi. Google sekarang melihat bisnis utamanya tertantang dan ini mungkin tahun gangguan di mana Google perlu meningkatkan permainannya.
Sebagai penutup, kami ingin menyoroti beberapa topik penutup yang kurang terkait dengan penelitian yang masih menjadi kunci bagaimana AI akan berkembang dalam 12 bulan ke depan:
Di bagian depan perangkat keras, monopoli Nvidia pada chip untuk AI tetap tidak tersentuh dan hanya keajaiban yang dapat mengubahnya dalam jangka pendek. Desas-desus tentang akuisisi HuggingFace oleh Google dan integrasi yang erat dengan GCP dan TPU mereka untuk hosting dapat meningkatkan penggunaan perangkat keras TPU, tetapi itu masih terdengar seperti tembakan panjang. Undang-Undang Kecerdasan Buatan Eropa — upaya pengaturan yang paling ambisius dan komprehensif yang belum terlihat — terus berkembang dan perkiraan saat ini menunjukkan bahwa undang-undang tersebut dapat mulai berlaku paling cepat akhir tahun 2023. Kami berharap ekonomi besar lainnya akan mencatat dan mengikuti jejak sebagaimana adanya terjadi dengan GDPR, untuk memastikan hak individu dilindungi terkait penggunaan AI. Bagaimana pelambatan teknologi besar saat ini akan memengaruhi penelitian AI — terutama dalam pendanaan industri jangka pendek. Meskipun kami berharap kemajuan kuat yang telah kami lihat dalam 12 bulan terakhir akan diterjemahkan ke dalam optimisme keseluruhan di ruang angkasa, pelambatan tidak dapat dikesampingkan.
Bagaimana denganmu? Menurut Anda, apa yang akan menjadi kemajuan dan kejutan terbesar di dunia AI pada tahun 2023? Ikuti kami di Twitter @zetavector atau beri tahu kami di komentar. Sampai yang berikutnya!
Tren AI — Round-up 2023 awalnya diterbitkan di Towards AI on Medium, di mana orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
