Pengarang: Joy Lukad
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
Sumber gambar: Numenta
Dalam postingan ini-
Menurut teori kecerdasan seribu otak, saya mengusulkan arsitektur konvolusi baru.
Saya juga menyajikan bukti lembut mengapa konvolusi dapat digunakan sebagai dasar untuk kolom mini kortikal. Hal ini menimbulkan pertanyaan apakah keberhasilan arsitektur jaringan saraf convolutional berfungsi sebagai bukti empiris yang lemah untuk teori 1000 otak.
pengantar
Alih-alih mencoba menjelaskan Teori Seribu Otak di sini, saya akan merekomendasikan beberapa sumber daya ini di mana orang-orang yang jauh lebih cerdas daripada saya telah melakukannya, jauh lebih baik daripada yang saya bisa.
Teori Kecerdasan Seribu Otak mengusulkan bahwa alih-alih mempelajari satu model objek (atau konsep), otak membangun banyak model dari setiap objek. Setiap model dibuat menggunakan input yang berbeda, baik dari bagian sensor yang sedikit berbeda (seperti jari yang berbeda di tangan Anda) atau dari sensor yang berbeda sama sekali (mata vs. kulit). Model memilih bersama untuk mencapai konsensus tentang apa yang mereka rasakan, dan suara konsensus adalah apa yang kita rasakan. Seolah-olah otak Anda sebenarnya adalah ribuan otak yang bekerja secara bersamaan.
Inspirasi
Saya sedang menonton episode Machine Learning Street Talk di mana Jeff Hawkins menjelaskan teori seribu otaknya. Saya pikir teorinya brilian dan keren, dan ketika dia mengatakan bahwa tidak ada implementasi dari algoritma kolom kortikal, saya tahu saya harus mencobanya.
Saya datang dengan arsitektur setelah bertanya-tanya bagaimana saya bisa membuat, dengan cara tertentu, implementasi algoritma yang disederhanakan namun dioptimalkan.
Ini hanyalah upaya sederhana untuk memodelkan otak manusia oleh seorang anak berusia 21 tahun. Saya tidak memiliki banyak pengetahuan tentang ilmu saraf sehingga semua kritik terhadap arsitektur dihargai. Saya sangat percaya begitulah kemajuan ilmu pengetahuan dan bagi saya, tidak akan ada kehormatan yang lebih besar daripada jika seseorang di luar sana dapat menggunakan pekerjaan saya sebagai batu loncatan.
Desain arsitektur
Arsitektur ini terdiri dari banyak bagian, itulah sebabnya saya akan mencoba menguraikannya satu per satu.
Memasukkan
Model ini merupakan model konvolusi dan inputnya berupa citra RGB.
Menurut teori seribu otak, setiap kolom kortikal hanya menerima masukan dari sebagian kecil retina kita. Jeff membandingkan masukan ini dengan melihat dunia melalui sedotan. Selain itu, ada tumpang tindih yang signifikan dalam input yang diterima oleh setiap kolom.
Inilah mengapa saya mengusulkan menggunakan fungsi yang membagi gambar menjadi tambalan yang tumpang tindih. Ini berbeda dari operasi penambalan yang digunakan oleh transformator Vision. Mari kita juga mendefinisikan hyperparameter Overlap_ratio, yang menunjukkan seberapa banyak satu patch yang tumpang tindih dengan yang lain.
Pemodelan kolom mini kortikal
Semua kolom kecil kortikal di dalam kolom menerima input yang sama. Masing-masing mini-kolom kortikal ini memberikan suara untuk membuat konsensus setelah menghitung output individu. Output ini adalah output kolom kortikal.
Bukti lembut mengapa kita dapat menggunakan konvolusi sebagai dasar untuk kolom mini kortikal
Saya ingin membuktikan terlebih dahulu bahwa setiap filter dalam lapisan konvolusi kira-kira setara dengan kolom mini dengan hanya satu neuron. Ini mungkin terdengar lucu tetapi ini hanyalah dasar yang kami bangun.
Saya menemukan ini paling mudah untuk divisualisasikan dengan kernel (1,1) meskipun ini harus diekstrapolasi ke ukuran kernel yang lebih besar. Untuk mempermudah, saya hanya akan menampilkan operasi pada input (1,1), yang ditunjukkan oleh kotak hijau.
Operasi kernel dapat dibagi menjadi 2 fungsi.
Pada input 2D (tanpa dimensi saluran), hanya satu dari operasi ini yang dapat dilihat, yaitu operasi WX + B. Operasi ini memodelkan perilaku neuron. Input tetap sama persis untuk semua filter. Setiap filter hanya mengeluarkan satu fitur. Dengan demikian, kita dapat dengan aman berasumsi bahwa operasi pertama kernel adalah kolom kecil kortikal dengan hanya 1 neuron.
2. Untuk memvisualisasikan fungsi kedua dari sebuah kernel, mari kita gunakan output dari langkah sebelumnya. Filter akan menjumlahkan nilai di setiap saluran. Fungsi ini berfungsi sebagai mekanisme pemungutan suara karena setiap saluran mewakili output dari kolom mini kortikal.
Mekanisme pemungutan suara antara minicolumns kortikal
Demikian pula, proses pemungutan suara antara kolom kortikal juga dapat diimplementasikan menggunakan filter 1×1 tunggal.
Mekanisme pemungutan suara antara kolom kortikal.
Lapisan konvolusi kortikal baru yang diusulkan
Nah, masalah mencolok dengan korelasi ini adalah bahwa kolom-kolom mini ini hanya memiliki satu neuron. Karena mini-kolom kortikal yang sebenarnya memiliki antara 80–100 neuron, kita dapat memperbaiki arsitektur ini dan memanggil lapisan baru — lapisan konvolusi kortikal.
Ini adalah visualisasi dari lapisan convolutional kortikal dengan 3 minicolumn dan N neuron per minicolumn.
Untuk memodelkan 50–100 kolom mini dalam kolom kortikal, yang perlu kita lakukan hanyalah menambah jumlah filter agar sesuai dengan itu.
Kita juga dapat dengan mudah mencocokkan 100.000 neuron dalam kolom kortikal yang diusulkan oleh teori seribu otak dengan meningkatkan jumlah filter dan jumlah neuron di setiap kolom mini.
Lapisan Neokorteks Baru
Menggunakan lapisan konvolusi kortikal, kita dapat memodelkan kolom kortikal.
Jika kita mengatur kolom kortikal ini secara paralel, kita dapat membuat ekuivalen kasar dari lapisan neokorteks. Lapisan ini divisualisasikan di bagian berikutnya.
Arsitektur Baru
Menyatukan semuanya,
Kami mengambil gambar dan mengubahnya menjadi tambalan. Tambalan ini harus saling tumpang tindih. Setiap patch dimasukkan ke dalam kolom kortikal sehingga semua patch dimasukkan ke dalam lapisan neokorteks. Di dalam kolom, ada lapisan konvolusi kortikal yang memodelkan 50-100 kolom mini. Sebuah minicolumn dimodelkan menggunakan filter. Keluaran dari lapisan neokorteks masuk ke mekanisme pemungutan suara untuk menghasilkan keluaran akhir, yang ditunjukkan dengan kotak merah. Outputnya juga dapat diubah lagi menjadi patch dan dikirim ke lapisan neokorteks kedua. Dengan demikian, ini membuat lapisan neokorteks dapat ditumpuk sehingga memberikan kedalaman jaringan.
Komponen tambahan
3 lapisan neokorteks pertama di otak kita (v1, v2, v4) semuanya menerima input langsung dari retina. Jadi untuk memodelkannya, dalam arsitektur ini, kita dapat mengambil patch dari gambar input, dan menggabungkannya dengan patch yang dihasilkan oleh output dari lapisan neokorteks sebelumnya. Ini bisa menjadi koneksi residual di mana kami menggabungkan tambalan gambar input ke tambalan output lapisan neokorteks sebelumnya di atas dimensi saluran. Karena konvolusi berfungsi sebagai fondasi kami, penelitian ConvNets selama bertahun-tahun dapat dimanfaatkan untuk meningkatkan arsitektur dengan cepat. Sebagai contoh, kita dapat memodelkan koneksi residual di dalam lapisan konvolusi kortikal atau bahkan lapisan neokorteks. Selain itu, kita dapat mendiskusikan ide-ide seperti ConvBlocks, yang menggabungkan beberapa lapisan convolutional dengan lapisan max-pooling. Bahkan lapisan normalisasi cukup sederhana untuk add-in. Ada sejumlah besar penelitian mapan yang dapat kita gunakan untuk meningkatkan kinerja model ini. Ada juga kemungkinan menggabungkan lapisan neokorteks secara berulang dan menghasilkan keluaran pada setiap langkah waktu.
Kesimpulan
Di sini, saya mengusulkan arsitektur konvolusi baru yang, menurut pendapat saya, memodelkan otak kita dengan lebih baik menurut teori seribu otak daripada jaringan konvolusi tradisional. Ini memodelkan beberapa aspek utama dari teori kolom kortikal tetapi karena ini hanya iterasi pertama, ada banyak komponen untuk ditambahkan. Saya ingin sekali memodelkan sel grid dan kerangka referensi di masa depan. Juga kolom mini di sini, hanya memiliki satu jenis neuron, yaitu neuron titik. Memodelkan banyak neuron berbeda yang ada di otak kita juga merupakan ruang lingkup pekerjaan di masa depan.
Sungguh keren berapa banyak penjelasan yang bisa saya temukan di internet tentang seribu teori otak dan ilmu saraf. Terima kasih semuanya!
Pertanyaan
Bisakah CNN berfungsi sebagai bukti empiris yang lemah untuk teori seribu otak? Apakah menurut Anda desain untuk konvolusi kortikal meningkat pada kernel konvolusi menurut ilmu saraf dan teori 1000 otak?
Modeling the Thousand Brains Theory of Intelligence awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
