Author(s): Arslan Shahid
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda membuat produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
Apa yang dapat diajarkan oleh buku Nassim Nicholas Taleb tentang probabilitas & keacakan kepada para profesional data
Gambar dari Pexel
Nassim Taleb adalah mantan pedagang derivatif keuangan dan peneliti probabilitas, bukunya ‘The Black Swan: The Impact of the Highly Improbable’ menyoroti bagaimana peristiwa yang sangat tidak mungkin berdampak pada kehidupan kita sehari-hari dan pasar keuangan. Tidak mengherankan, ini memiliki banyak pelajaran bagi para profesional data karena keuangan kuantitatif dan ilmu data melibatkan model statistik dan teori probabilitas.
Apa itu angsa hitam?
Black Swan adalah metafora untuk peristiwa yang sangat tidak mungkin namun sangat berdampak. Menurut Nassim, model kami sepertinya tidak pernah mempersiapkan diri dengan baik untuk acara semacam itu, terlepas dari sihir yang kami gunakan dalam mengembangkannya. Wabah Covid-19 mungkin adalah contoh terbaru dari peristiwa tak terduga yang belum pernah dilihat oleh siapa pun dan berdampak buruk pada kehidupan sehari-hari. Bagi pasar keuangan, krisis keuangan tahun 2008 merupakan angsa hitam yang menyebabkan kebangkrutan Lehman Brothers dan resesi global.
Angsa hitam tidak harus merusak. Penemuan minyak di laut utara Norwegia bisa dianggap sebagai angsa hitam. Seperti ceritanya, tidak ada yang percaya akan ada cadangan minyak yang sangat besar ketika Norwegia menegaskan hak atas Laut Utara. Angsa hitam ‘positif’ lainnya adalah penemuan laser, ketika dikembangkan tidak memiliki tujuan nyata tetapi seiring waktu aplikasi ditemukan seperti menyembuhkan penglihatan. Dalam kedua kasus ini, hasil kebetulan tidak terduga (sangat tidak mungkin) namun sangat berdampak.
Triplet Keburaman
Nassim menyatakan tiga kesalahan yang dibuat manusia ketika mengevaluasi peristiwa sejarah:
Ilusi pemahaman: Kami pikir kami tahu apa yang menyebabkan apa, tetapi semua penjelasan kami bisa jadi fiktif. Memberikan ilusi bahwa kita dapat memprediksi dan menjelaskan kejadian padahal kenyataannya, bisa jadi tidak dapat diprediksi. Distorsi retrospektif: Kami datang dengan penjelasan, solusi, dan tindakan pencegahan setelah fakta. Memberikan ilusi bahwa Black Swan yang negatif bisa saja dikurangi. Overvaluation informasi faktual: Kami tidak menyadari apa yang tampak ‘faktual’ bisa menjadi distorsi atau tidak lengkap.
Apa artinya ini bagi profesional data?
Beberapa hal tidak dapat diprediksi atau dijelaskan. Jika dapat dijelaskan, penjelasan biasanya muncul setelah masalah, bukan sebelumnya, memperingatkan kita bahwa itu adalah peristiwa tak terduga yang tidak terekam dalam data dan oleh karena itu model kita buta. Poin terakhir berkaitan dengan kesimpulan yang diambil dari model, apa yang kami yakini sebagai representasi faktual dari hubungan dalam kumpulan data kami bisa menjadi perkiraan bias yang diambil dari sampel ‘tidak lengkap’.
Kekeliruan Narasi
Sebagai manusia, kita cenderung membangun cerita dan narasi ketika kita mengamati peristiwa acak. Pikiran kita rentan untuk membuat kesimpulan tanpa bukti yang tepat.
Pertimbangkan skenario berikut, Anda seorang analis data yang bekerja untuk makelar apartemen bertingkat tinggi. Anda ditugaskan untuk memastikan pertanyaan berikut, berapa banyak ruang yang harus mereka alokasikan untuk parkir di proyek pembangunan baru mereka?
Berikut adalah grafik yang menggambarkan hubungan antara sewa & tempat parkir:
Gambar oleh Penulis.
Sebagai seorang profesional data, Anda melihat bagan di atas, kesimpulan apa yang Anda buat? Jika mereka memiliki 1000 m² untuk keseluruhan proyek, berapa banyak yang harus mereka alokasikan untuk parkir? Sangat mudah untuk membangun narasi bahwa parkir adalah kenyamanan besar bagi penyewa. Oleh karena itu, mengalokasikan ruang yang besar akan memungkinkan makelar untuk membebankan lebih banyak uang sewa! Tampaknya masuk akal?
Garis penalaran yang disebutkan di atas belum tentu salah, tetapi memiliki masalah jatuh pada kekeliruan naratif. Yang benar adalah bahwa dengan hanya melihat data yang diberikan kepada kami sejauh ini kami tidak dapat memastikan hubungan sebab akibat. Ada ratusan penjelasan lain yang dapat kita susun untuk menjelaskan apa yang kita amati. Misalnya, Anda dapat berargumen bahwa makelar terlibat dalam proyek konstruksi besar dan kecil, proyek konstruksi besar menghasilkan sewa yang lebih tinggi dan juga memiliki lebih banyak ruang untuk parkir. Oleh karena itu tidak ada dampak ruang parkir pada sewa.
Manakah cara yang benar untuk menginterpretasikan data? Itu membutuhkan penambahan kontrol dan mungkin mengumpulkan lebih banyak bukti.
Hubungan yang berbeda dapat diamati jika kami mengumpulkan sampel dengan lebih banyak tempat parkir. Gambar oleh Penulis
Saya tahu apa yang Anda pikirkan, ini tidak masuk akal! Tentu saja, hal-hal tidak akan pernah sempurna bukan berarti kita tidak boleh menjawab, bukan?
Tidak, bukan itu poin utamanya. Poin utamanya adalah bersikap skeptis! Kita sebagai manusia membuat cerita untuk menjelaskan apa yang kita amati; sebagai profesional data, kita harus menahan keinginan kita untuk membangun narasi (tanpa bukti nyata). Kita tidak boleh mencoba membuat kesimpulan di luar apa yang kita amati atau berhati-hati terhadap risikonya jika kita melakukannya. Kita harus selalu waspada terhadap pemalsuan narasi kita. Mendongeng mungkin bagus untuk dijual, tetapi juga melanggengkan delusi diri!
Menikmati cerita ini? Perlu bantuan pengkodean? Harap pertimbangkan untuk menjadi pelindung! (Program mitra menengah tidak tersedia di negara saya, Patreon adalah satu-satunya cara untuk memonetisasi tulisan saya)
Arslan Shahid membuat Blog | Patreon
Kekeliruan Ludis
Nassim berasal nama untuk kekeliruan ini. Dia menunjukkan bahwa para ahli akademik telah membangun model yang tidak sesuai dengan kenyataan, namun kami tetap menggunakannya. Dia menunjukkan secara khusus bagaimana teori portofolio modern dan penggunaan distribusi gaussian yang tidak tepat telah membuat analis keuangan modern meremehkan risiko peristiwa angsa hitam.
Contoh distribusi berekor gemuk (merah) jika dibandingkan dengan gaussian (biru). Distribusi berekor gemuk memperkirakan kemungkinan lebih tinggi dari hasil buruk yang ekstrim. Gambar oleh Penulis.
Peristiwa yang tidak mungkin mungkin lebih mungkin terjadi daripada yang kita pikirkan!
Nassim menguraikan bahwa distribusi pengembalian di pasar saham bukanlah gaussian dan malah mengikuti distribusi berekor gemuk yang membuat peristiwa ekstrem lebih mungkin terjadi daripada model gaussian yang membuat kita percaya, yang pada gilirannya menyebabkan pedagang opsi untuk memanfaatkan atau mengekspos portofolio mereka secara berlebihan. risiko penurunan.
Sebagai profesional data, kita semua telah terbiasa dengan sekumpulan metode dan distribusi yang membuat hidup kita lebih mudah. Sebagian besar model linier mengikuti kesalahan untuk didistribusikan secara normal (Gaussian), namun, alam atau apa pun yang kita pilih untuk dimodelkan tidak wajib menjadi gaussian. Kekeliruan ludis melampaui sekadar distribusi; konstruk matematis apa pun yang kita gunakan dapat membuat kita mengalami kekeliruan.
Hal yang perlu diperhatikan adalah seberapa banyak kita mampu mengandalkan penyederhanaan ini. Proliferasi alat dan teknik data telah membuat kita lebih rentan untuk menerima jawaban yang salah sebagai kebenaran! Hanya karena metode yang terkenal mengestimasi atau memprediksi sesuatu tidak menjadikannya benar. Itu hanya benar jika data dan asumsi model memungkinkannya.
Ramalan bukanlah fakta!
Gambar oleh Penulis
Yang ini jelas ketika ditunjukkan, tetapi kami menganggap perkiraan lebih serius sekarang daripada sebelumnya. Dalam kebanyakan kasus mereka tidak berbahaya, membuat ramalan penjualan yang salah untuk bisnis Anda tidak akan menjadi bencana besar dalam banyak kasus. Namun, telah terjadi peningkatan bisnis AI yang mencoba mengganggu industri tradisional, seperti Opendoor, yang mencoba mengganggu pasar perumahan. Seluruh model bisnis mereka bergantung pada kemampuan algoritme mereka untuk memperkirakan harga rumah dan memberi pelanggan prediksi yang akurat tentang nilai rumah mereka.
Beberapa hal sangat mudah diramalkan, tetapi kebanyakan hal tentang ilmu sosial, seperti ekonomi, tidak. Apalagi jika ada perilaku manusia yang terlibat. Ekonom terkenal salah, namun kami terus mengandalkan prediksi mereka.
Semakin banyak bisnis mengandalkan prediksi dan prakiraan untuk menghasilkan uang. Nassim menyoroti bahwa dunia sedang kacau. Oleh karena itu, perubahan kecil pada input kami dapat menyebabkan perubahan besar pada output. Apa pun sihir yang digunakan, kekacauan, menurut definisi, tidak dapat diprediksi. Prakiraan dan prediksi kehilangan kekuatannya semakin Anda memperluasnya sepanjang waktu.
Kuncinya adalah ini, semakin Anda mengandalkan prediksi, semakin tinggi kemungkinan kegagalan sistem karena jika satu model menghasilkan prediksi yang salah, itu dapat menyebabkan sistem lain tidak berfungsi. Semakin kita mengandalkan model, semakin banyak risiko yang kita masukkan ke dalam sistem.
Terima kasih telah membaca! Jika Anda menikmati apa yang saya tulis, ikuti dan juga berlangganan untuk mendapatkan email setiap kali saya menerbitkan!
Berikut adalah beberapa posting saya yang mungkin Anda sukai:
Awas Angsa Hitam awalnya diterbitkan di Towards AI on Medium, di mana orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
