Pengarang: Rijul Singh Malik
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
Sebuah blog menyoroti makalah penting di bidang NLP
Blog ini akan membahas 5 makalah dalam pemrosesan bahasa alami yang harus dibaca oleh setiap penggemar pembelajaran mesin. Sudah lama sejak saya mulai membaca koran, tetapi saya masih sering melakukannya. Saya pikir ini adalah kesempatan yang baik untuk memperkenalkan penggemar ML/NLP ke beberapa makalah inti di lapangan.
1. Lahirnya Vektor Kata: Peters et al.
Banyak yang telah dikatakan tentang word2vec dan aplikasinya pada Pemrosesan Bahasa Alami. Namun, hanya sedikit orang yang tahu bahwa word2vec bukanlah upaya pertama untuk membuat vektor kata. Faktanya, ini hanyalah salah satu dari banyak generasi model vektor kata. Dalam artikel ini, saya akan menjelaskan secara singkat sejarah vektor kata dan memberikan tautan ke materi sumbernya, sehingga Anda dapat menjelajahinya dan memahami evolusi model vektor kata.
Vektor Kata: Lahirnya Dimensi Baru dalam Pemrosesan Bahasa (Peters et al.) Dalam makalah ini, Peters et al. mengusulkan pendekatan baru untuk mewakili kata-kata dengan menggunakan ruang 300 dimensi. Metode ini dapat digunakan dalam berbagai aplikasi NLP seperti tugas analogi kata, kesamaan kata, dan kesamaan kata. Makalah ini menjelaskan bagaimana mereka dapat digunakan dalam praktik dan bagaimana mereka dapat diterapkan pada aplikasi NLP yang berbeda.
2. Munculnya Jaringan Saraf Berulang untuk Pemahaman Bahasa: Louis-Sanchez et al.
Kami menyelidiki penggunaan jaringan saraf berulang (RNNs) untuk klasifikasi kalimat, parsing, dan generasi. RNN sangat cocok untuk mempelajari dependensi jangka panjang, yang sangat penting untuk tugas pemrosesan bahasa alami, tetapi mereka baru-baru ini terbukti rentan terhadap bencana lupa. Kami mengusulkan berbagai pendekatan untuk mengatasi masalah ini yang menghasilkan peningkatan substansial dalam akurasi. Kami juga menunjukkan bahwa RNN dapat mencapai kinerja kompetitif pada tugas pemodelan bahasa, bahkan untuk urutan input yang panjang.
Kemajuan terbaru dalam jaringan saraf telah dibuat dalam konteks Natural Language Processing (NLP), di mana jaringan saraf berulang (RNN) biasanya digunakan untuk mewakili struktur kalimat input. Makalah ini mensurvei sejumlah tugas NLP berbasis RNN seminal, termasuk klasifikasi sentimen yang tidak diawasi, kompresi kalimat, dan pembuatan parafrase. Makalah ini juga membahas sejumlah tantangan terkait RNN dan menyoroti pekerjaan terbaru di bidang entailment temporal dan kontekstual dan prediksi terstruktur.
Jaringan saraf berulang baru-baru ini menjadi fokus dari beberapa arah baru dalam Natural Language Processing (NLP). Makalah ini mengeksplorasi keuntungan dan keterbatasan arsitektur jaringan saraf berulang untuk pemahaman bahasa. Penulis membandingkan arsitektur jaringan saraf berulang dengan arsitektur memori jangka pendek (LSTM), antara lain. Mereka juga membahas keuntungan dari jaringan saraf berulang untuk NLP.
3. Menguasai Game of Go dengan Deep Neural Networks dan Tree Search: Silver et al.
Deep Learning merevolusi banyak bidang Pembelajaran Mesin dan Kecerdasan Buatan. Dalam tulisan ini, penulis menggambarkan pendekatan baru untuk masalah bermain Go menggunakan Deep Neural Networks. Go dianggap sebagai salah satu permainan tersulit bagi agen buatan untuk dimainkan, karena banyaknya posisi dewan yang potensial, kesulitan mengevaluasi posisi dewan, dan kebutuhan untuk mempertimbangkan langkah mana yang harus diambil selanjutnya. Pendekatan penulis adalah membuat jaringan saraf yang dapat mencari ruang dari kemungkinan posisi papan, dan kemudian menggunakan jaringan saraf kedua untuk mengevaluasi posisi dan memilih langkah yang akan diambil. Pendekatan ini memungkinkan program untuk mengeksplorasi lebih banyak gerakan daripada jika harus mengevaluasi semua posisi itu sendiri. Penulis melatih program mereka menggunakan kombinasi pembelajaran terawasi dan permainan mandiri.
Di halaman ini, kami meninjau kemajuan terbaru dalam mengalahkan pemain manusia terbaik dari game Go dengan komputer. Kami pertama-tama menyajikan ikhtisar game, signifikansi historisnya, dan beberapa tonggak penting dalam sejarah AI. Kami kemudian membahas arsitektur jaringan saraf AlphaGo, metodologi pelatihannya, dan implementasi perangkat kerasnya. Kami juga memeriksa detail fungsi pencarian pohon yang digunakan di AlphaGo. Terakhir, kami membahas keterbatasan AlphaGo dan prospek masa depan AI.
4. Terjemahan Mesin Neural oleh Jointly Learning to Align and Translate: Mikolov et al.
Makalah ini memperkenalkan ide terjemahan mesin saraf. Ini menunjukkan bahwa jaringan saraf mampu menerjemahkan dari satu bahasa ke bahasa lain (Inggris ke Prancis dan sebaliknya) tanpa memerlukan data bilingual. Idenya adalah pertama-tama menyelaraskan kalimat input dalam kedua bahasa menggunakan jaringan saraf, dan kemudian memasukkan kalimat yang disejajarkan ke jaringan saraf yang menerjemahkan dari satu bahasa ke bahasa lain.
Baru-baru ini, sistem terjemahan mesin (MT) telah mencapai kinerja canggih pada banyak pasangan bahasa, dengan bantuan korpora paralel besar dan jaringan saraf konvolusi yang kuat. Namun, pelatihan sistem ini mahal, seringkali membutuhkan waktu CPU berminggu-minggu. Salah satu cara untuk mempercepat pelatihan sambil mempertahankan akurasi adalah belajar bersama untuk menyelaraskan dan menerjemahkan, yang mengurangi jumlah contoh pelatihan yang diperlukan untuk mempelajari komponen penyelarasan dan terjemahan. Namun, pendekatan yang ada untuk bersama-sama mempelajari keselarasan dan terjemahan tidak memiliki cara berprinsip untuk memasukkan keselarasan ke dalam arsitektur jaringan, yang mencegah mereka menangkap struktur penyelarasan. Dalam makalah ini, kami mengusulkan untuk bersama-sama belajar menyelaraskan dan menerjemahkan dengan meminimalkan jarak statistik antara keselarasan dan terjemahan secara bersamaan, dan kerugian untuk ketidaksejajaran. Kami mengusulkan kerugian baru untuk ketidaksejajaran yang mudah dilatih dan memberikan hasil mutakhir pada beberapa pasangan bahasa.
5. Jaringan Syaraf Dalam untuk Klasifikasi Gambar: Deng et al.
Pembelajaran mendalam adalah kata kunci yang dilontarkan di hampir setiap bisnis dan situs web. Tapi apa artinya sebenarnya? Apa hubungannya dengan situs web yang ditingkatkan atau pengalaman yang lebih baik bagi pengunjung Anda? Kebanyakan orang tidak menyadari betapa situs web mereka memengaruhi kehidupan mereka di luar situs web, tetapi pengalaman pengguna (UX) yang luar biasa sering kali dapat menghasilkan konversi. Deep learning adalah keluarga algoritma pembelajaran yang bertujuan untuk meniru struktur otak. Posting ini menyoroti lima makalah paling penting dalam Deep Learning for Natural Language Processing (NLP).
Pembelajaran mendalam telah menjadi topik hangat di komunitas NLP tahun ini. Pembelajaran mendalam adalah gaya jaringan saraf tertentu yang dikatakan dapat mempelajari fungsi tingkat tinggi dari data mentah. Dalam makalah ini, penulis melatih berbagai jaringan saraf (termasuk jaringan saraf berulang) pada kumpulan data besar gambar dari ImageNet. Mereka melatih berbagai jaringan dan membandingkan kinerjanya pada set validasi setelah pelatihan. Mereka menemukan bahwa jaringan saraf dalam yang dilatih pada jumlah data yang relatif kecil berkinerja lebih baik daripada berbagai jaringan saraf lainnya seperti jaringan saraf berulang, jaringan memori jangka pendek, dan jaringan saraf convolutional. Penulis juga menemukan bahwa jaringan saraf dalam bekerja lebih baik daripada jaringan saraf dangkal. Penulis menyarankan bahwa jaringan dalam bekerja dengan baik karena mereka mampu mengidentifikasi konsep visual dan bahwa kemampuan ini sangat penting untuk klasifikasi gambar.
Kesimpulan:
Makalah ini akan membantu Anda memahami dasar-dasar NLP.
5 Makalah Penting di NLP yang Harus Dibaca Semua Orang awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
