Author(s): Massimiliano Costacurta
Awalnya diterbitkan di Menuju AI.
“Hei, apakah kamu mendengar? mereka mengatakan Google dan OpenAI tidak memiliki keunggulan kompetitif di LLM.”
“Ya, tentu… siapa yang mengatakannya?”
“Google.”
“Tunggu sebentar…”
Foto oleh Kai Wenzel di Unsplash
Satu minggu yang lalu SemiAnalysis merilis kejutan nyata ketika mereka mempublikasikan dokumen yang bocor dari Google berjudul “Kami Tidak Memiliki Keunggulan Kompetitif, Dan OpenAI Juga Tidak.” Meskipun kami tidak dapat memastikan apakah dokumen tersebut sah, dokumen tersebut memunculkan beberapa poin yang menggugah pemikiran tentang perjuangan nyata di dunia model bahasa besar (LLM). Ini bukan Google vs. OpenAI; ini lebih seperti LLM sumber terbuka yang mengambil rekan sumber tertutup mereka.
Dokumen yang bocor ini mengisyaratkan bahwa Google dan OpenAI mungkin kehilangan keunggulan terhadap komunitas LLM sumber terbuka yang terus berkembang. Alasannya? Ini cukup sederhana: proyek sumber terbuka bergerak secepat kilat. Lebih cepat daripada yang dapat ditandingi oleh perusahaan besar atau perusahaan yang didukung perusahaan, terutama karena proyek sumber terbuka tidak menghadapi banyak risiko reputasi. Rupanya ditulis oleh seorang peneliti Google, dokumen tersebut menekankan bahwa meskipun Google dan OpenAI telah bekerja keras untuk membuat model bahasa yang paling kuat, komunitas open-source mengejar dengan kecepatan yang mencengangkan. Model open-source lebih cepat, lebih mudah beradaptasi, dan lebih portabel. Mereka berhasil mencapai hasil yang luar biasa dengan sumber daya yang jauh lebih sedikit, sementara Google bergulat dengan anggaran yang lebih besar dan model yang lebih kompleks.
Terlebih lagi, memiliki banyak peneliti yang bekerja sama di tempat terbuka mempersulit perusahaan seperti Google dan OpenAI untuk tetap menjadi yang terdepan dalam hal teknologi. Laporan tersebut mengatakan bahwa mempertahankan keunggulan kompetitif dalam teknologi semakin sulit sekarang karena penelitian LLM mutakhir dapat dijangkau. Institusi penelitian di seluruh dunia sedang membangun pekerjaan satu sama lain, menjelajahi ruang solusi dengan cara yang jauh melampaui apa yang dapat dilakukan oleh satu perusahaan mana pun. Ternyata, bisa melatih model besar dari awal pada perangkat keras yang mahal bukanlah pengubah permainan seperti dulu, yang berarti hampir semua orang dengan ide keren dapat membuat LLM dan membagikannya.
Baiklah, kami telah melihat proyek sumber terbuka mencoba mengalahkan rekan korporat mereka sebelumnya, tetapi mari kita gali lebih dalam untuk melihat apakah ini benar-benar ancaman di dunia AI.
Pasang surut dalam dunia kolaborasi terbuka
Perangkat lunak sumber terbuka selalu mengalami pasang surut. Beberapa proyek seperti BIND, WordPress, dan Firefox telah melakukannya dengan sangat baik, menunjukkan bahwa mereka dapat bertahan melawan produk perusahaan ternama. Di sisi lain, proyek seperti OpenOffice, GIMP dan OpenSolaris menghadapi kesulitan dan dengan cepat kehilangan arah. Terlepas dari itu, perangkat lunak sumber terbuka masih populer, dengan banyak situs web yang menggunakan server web Apache, server BIND, dan database MySQL.
Sekarang, masalahnya adalah menjaga agar proyek sumber terbuka tetap didanai dan dipelihara bisa jadi rumit. Dibutuhkan perencanaan yang solid, sumber daya yang tepat, dan koneksi nyata dengan pengguna. Jika sebuah proyek memiliki basis pengguna yang berdedikasi dan pengembang yang bersemangat, kemungkinan besar proyek tersebut akan tetap berada di puncak permainannya dan terus menjadi lebih baik. Kembali pada tahun 2018, OpenAI menghadapi beberapa rintangan ini dan memutuskan sudah waktunya untuk perubahan. Mereka mulai mencari modal dan akhirnya menjadi perusahaan laba tertutup. Itu berarti mereka bisa mendapatkan investasi dan menawarkan pengembalian kepada investor yang dibatasi hingga 100x investasi awal mereka.
OpenAI mengatakan mereka perlu melakukan perubahan ini untuk mendanai penelitian, mendukung perusahaan besar, dan menjaga keamanan. Jadi, Anda dapat berargumen bahwa mereka melakukan apa yang harus mereka lakukan untuk menghindari jebakan open-source yang biasa. Tapi itu tidak gratis, karena, sementara OpenAI telah membuat kemajuan yang mengesankan dalam pengembangan AI, kerahasiaannya yang meningkat, kurangnya transparansi, dan opsi penyesuaian yang terbatas telah mengasingkan komunitas yang dulu ingin dilayaninya.
Di sisi lain, Google benar-benar menyukai perangkat lunak sumber terbuka, dan mereka terlibat dalam beberapa proyek sumber terbuka. Lihat saja Android, sistem operasi seluler mereka. Itu dibangun di atas kernel Linux dan telah menjadi pengubah permainan dalam membuat perangkat lunak sumber terbuka populer di dunia ponsel cerdas. Saat ini, sebagian besar smartphone berjalan di Android. Proyek sumber terbuka keren lainnya dari Google adalah Kubernetes, yang telah menjadi pilihan utama untuk orkestrasi kontainer. Ini membantu pengembang mengotomatiskan hal-hal seperti penyebaran, penskalaan, dan mengelola aplikasi dalam wadah. Last but not least, jangan lupakan Chromium. Chrome Google dibangun di atas proyek Chromium sumber terbuka, dan telah menjadi sangat populer sejak diluncurkan.
Dengan menjadi bagian dari proyek sumber terbuka seperti ini, Google menunjukkan bahwa mereka benar-benar menyukai transparansi, keterbukaan, dan bekerja sama untuk menciptakan solusi perangkat lunak yang inovatif dan fleksibel. Mereka berdedikasi untuk menjadikan dunia teknologi lebih inklusif, beragam, dan dapat diakses oleh semua orang. Untuk alasan ini, saya tidak akan terlalu kaget jika Google memutuskan untuk menjadikan model bahasa besar berikutnya sebagai proyek sumber terbuka. Ini bisa menjadi langkah yang cerdas karena mereka memiliki semua otot merek, pemasaran, dan pengembang di belakangnya, memberikan OpenAI persaingan yang serius. Tentu saja, dengan asumsi kualitas model akan setara, yang sejauh ini belum terjadi. Yang lebih penting lagi adalah orang lain mungkin merebut tempat itu terlebih dahulu. Seperti yang akan kita lihat selanjutnya, ada daftar panjang pemula yang mengantri.
Perjalanan terpandu melalui ledakan LLM sumber terbuka
Salah satu aspek paling keren dari dokumen SemiAnalysis adalah garis waktu baru-baru ini yang menyoroti tonggak penting dalam komunitas sumber terbuka, khususnya di bidang model bahasa besar (LLM). Semuanya dimulai dengan apa yang mungkin dianggap sebagai “ledakan besar” dari kemajuan LLM sumber terbuka baru-baru ini — rilis LLaMA oleh Meta pada 24 Februari 2023 . LLaMA adalah LLM dengan ukuran dari parameter 7B hingga 65B, mengklaim membutuhkan daya komputasi yang lebih sedikit, membuatnya ideal untuk menguji pendekatan baru. Sebenarnya, itu tidak dirilis sebagai model open-source, tetapi satu minggu setelah rilis, bobot model LLaMA bocor ke publik, dan semua orang mendapat kesempatan untuk bermain-main dengannya. Saat itulah segalanya mulai menjadi bola salju.
Berikut adalah ringkasan singkat dari pencapaian yang dijelaskan dalam dokumen:
Implementasi Raspberry Pi Artem Andreenko dari LLaMA (12 Maret 2023) Rilis Alpaca Stanford (13 Maret 2023) Kuantisasi LLaMA 4-bit Georgi Gerganov, membiarkannya berjalan di CPU MacBook tanpa GPU (18 Maret 2023) Model 13B Vicuna rilis (19 Maret 2023) dilatih hanya dengan $300. Cerebras melatih arsitektur GPT-3 sumber terbuka yang mengungguli klon GPT-3 yang ada. LLaMA-Adapter (28 Maret 2023) mencetak rekor baru pada ScienceQA multimodal dengan hanya 1,2 juta parameter yang dapat dipelajari menggunakan teknik Parameter Efficient Fine Tuning (PEFT). Koala UC Berkeley (3 April 2023) merilis model dialog yang dilatih sepenuhnya dengan data gratis, seharga $100 dan skor preferensi pengguna lebih dari 50% dibandingkan dengan ChatGPT. Rilis Open Assistant (15 April 2023) menawarkan open stack lengkap untuk menjalankan model RLHF (reinforcement learning from human feedback) dengan peringkat preferensi manusia 48,3%.
Dan daftarnya terus berlanjut…
Ya, kamu benar tentang itu. Semua ini terjadi hanya dalam waktu dua bulan, membuktikan betapa semaraknya scene open-source. Namun, sebagian besar model sumber terbuka ini mungkin hanya diketahui oleh orang dalam dan belum mencapai arus utama (saya harus mengakui bahwa saya juga mempelajari sebagian besar dari mereka melalui dokumen yang bocor). Namun beberapa hari yang lalu, pada tanggal 5 Mei, sebuah game-changer yang mungkin tiba: MosaicML merilis MPT-7B, menetapkan standar tinggi untuk pesaing open-source (dan mungkin bahkan OpenAI). Terlebih lagi, ini dilisensikan untuk penggunaan komersial, tidak seperti LLaMA. Seri MPT juga mendukung input super panjang dengan panjang konteks hingga 84k selama inferensi.
MosaicML menempatkan seri MPT melalui pengujian ketat pada berbagai tolok ukur, menunjukkan bahwa seri ini dapat menyamai standar kualitas tinggi LLaMA-7B. Model MPT-7B dasar adalah transformator gaya dekoder dengan parameter 6,7B, dilatih pada token teks dan kode 1T. MosaicML juga merilis tiga versi yang telah disempurnakan: MPT-7B-StoryWriter-65k+ untuk durasi konteks yang sangat panjang dalam fiksi; MPT-7B-Instruksikan untuk mengikuti instruksi bentuk pendek; dan MPT-7B-Chat, model mirip chatbot untuk pembuatan dialog.
MPT-7B dilatih pada platform MosaicML hanya dalam 9,5 hari menggunakan 440 GPU, tanpa campur tangan manusia. Keistimewaan dari perbaikan ini jelas dalam angka. Misalnya, MosaicML mengklaim bahwa model MPT-7B memberikan kinerja kompetitif dengan hanya 7 miliar parameter, yang 28 kali lebih kecil dari GPT-3 OpenAI dengan 175 miliar parameternya. Pengurangan ukuran ini berarti penghematan biaya yang besar karena lebih sedikit sumber daya yang dibutuhkan untuk pelatihan dan penerapan. Selain itu, model MPT-7B yang lebih kecil lebih portabel, sehingga lebih mudah digabungkan ke dalam berbagai aplikasi dan platform.
Jadi, pertanyaan jutaan dolarnya adalah: dapatkah MPT-7B menyamai tingkat kualitas yang kami harapkan dari ChatGPT? Kita lihat saja nanti. Tapi satu hal yang pasti — dunia open-source LLM penuh dengan kegembiraan dan inovasi, dan tidak lama lagi kita akan mengetahuinya.
Jadi, apakah kita memiliki pemenang yang jelas?
Tidak, sebenarnya kami tidak. Saya tidak berpikir bahwa semua ketakutan yang diungkapkan dalam artikel itu beralasan. Banyak kekhawatiran yang diangkat dalam artikel tersebut mungkin tidak beralasan. Namun, ini juga bukan berita bagus untuk Google, karena OpenAI sejauh ini masih menjadi pemimpin tak terbantahkan di pasar LLM. OpenAI membuat langkah cerdas dan berani pada November 2022 dengan meluncurkan ChatGPT untuk penggunaan publik, benar-benar gratis dan mungkin belum sepenuhnya aman. Langkah ini mendapatkan daya tarik yang besar, menjadikan OpenAI sebagai perusahaan tercepat yang menjangkau satu juta pengguna hanya dalam lima hari, dan mencapai 100 juta pada akhir Januari 2023.
Selain angka yang mengesankan, ada poin penting yang harus dibuat di sini: OpenAI mengumpulkan data pengguna dalam jumlah besar (dan maksud saya BESAR). Sementara dokumen yang bocor mengklaim bahwa algoritme yang lebih cepat dan lebih murah memberikan keunggulan kompetitif, itu hanya sebagian dari ceritanya. Di ranah AI, yang paling penting bagi pengguna adalah kualitas informasi yang ditawarkan model. Untuk membuat inferensi yang lebih baik, diperlukan lebih banyak data dan umpan balik, dan itulah yang dikumpulkan oleh OpenAI.
Selain itu, perlu dicatat bahwa OpenAI mendapat dukungan Microsoft, memberi mereka akses ke cloud data pengguna yang sangat besar. Saat AI Anda dapat membuat presentasi PowerPoint yang memukau, spreadsheet Excel yang komprehensif, atau profil LinkedIn yang sempurna hanya dengan mendeskripsikannya dalam kata-kata, algoritme yang digunakan untuk mencapainya menjadi tidak relevan. Tetapi ketika Anda mengajukan pertanyaan dan menerima jawaban yang salah, mengetahui bahwa algoritme dilatih hanya dengan anggaran $300 tidaklah menyenangkan.
Diterbitkan melalui Menuju AI
