Author(s): Fernando Guzman
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda membuat produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
Regresi linier adalah model paling sederhana dalam pembelajaran mesin yang dalam versi aslinya menggambarkan hubungan antara 2 variabel. Masih penting untuk memahami dasar konsep regresi linier, karena ini adalah garis dasar untuk memahami banyak model pembelajaran mesin dan jaringan saraf lainnya.
Sebelum kita menyelami alur kerja regresi linier, mari kita uraikan komponen atau fungsi utama dari model ini dan pengurangannya, yang tercantum di bawah ini:
Mean Square Error Prediction Gradient Descend
MEAN SQUARE ERROR (MSE)
Di sini kita akan membuat pengurangan untuk MSE yang akan digunakan dalam model ini sebagai metrik untuk mengukur kesalahan rata-rata model secara keseluruhan. Nah, mari kita lihat ilustrasi di bawah ini:
Komponen model Regresi Linear
Di sini kita memiliki yi yang merupakan jawabannya, y_hat yang merupakan prediksi dan terakhir ada Ei yang merupakan kesalahan sehubungan dengan model atau juga dikenal sebagai epsilon.
Dari ilustrasi di atas kita dapat menyimpulkan bahwa kesalahan ditentukan oleh perbedaan antara jawaban yi dan prediksi y_hat, dan ini dapat dinyatakan sebagai berikut:
Rumus Kesalahan Dasar
Seperti yang mungkin Anda perhatikan, perbedaan ini tidak selalu positif karena register atau titik-titik dalam ilustrasi kadang-kadang akan berada di bawah fungsi model. Untuk mengatasi ini, kami sederhanakan ekspresi:
Rumus Kesalahan Kuadrat
Setelah kami mendapatkannya, kami memiliki ekspresi untuk menentukan kesalahan satu titik dalam kumpulan data, dan kami dapat memperluas ini untuk menyatakan kesalahan untuk seluruh kumpulan data sebagai ekspresi berikut, yang sama:
Rumus Kesalahan Kuadrat Rata-Rata
Rumus di atas adalah MSE itu sendiri, tetapi juga dapat dinyatakan dalam bentuk matriks yang ditunjukkan pada deduksi di bawah ini:
Bentuk matriks Kesalahan Kuadrat Minimum
Ingatlah berbagai bentuk ekspresi MSE ini karena kami akan menggunakan salah satu dari notasi ini untuk penjelasan lebih lanjut.
RAMALAN
Prediksi kami adalah fungsi yang membangun model pada dasarnya, yang dalam hal ini adalah regresi linier. Dan dalam model ini kita mendefinisikan fungsi model sebagai produk dari parameter vektor dengan dataset:
Rumus prediksi untuk satu register
Di sini n mewakili jumlah total register dalam dataset kami dan D adalah ukuran total fitur dataset atau disebut juga ukuran dimensi. Seperti yang Anda lihat, parameter kami akan menjadi vektor dengan ukuran dimensi dataset kami dan kami tahu bahwa dataset kami biasanya akan menjadi matriks, sehingga ungkapan ini dapat disederhanakan sebagai berikut:
Formula Prediksi Regresi Linear
Kedua ekspresi dalam ilustrasi di atas benar-benar sama.
KETURUNAN GRADIEN
Untuk mengoptimalkan parameter, kami menggunakan penurunan gradien, dan untuk model khusus ini kami juga dapat menggunakan metode langsung yang akan kami jelaskan nanti, untuk saat ini mari fokus pada penurunan gradien.
Turunan gradien menggunakan gradien kesalahan aktual kita yang menjadi turunannya, dan turunan ini dinyatakan di bawah bersama dengan beberapa operasi yang perlu kita lakukan untuk mendapatkan gradien:
Gradien Kesalahan Kuadrat Terkecil
Di sini, Anda dapat melihat bahwa hasil akhir kami adalah gradien dari error terhadap w yang mewakili parameter.
Sekarang kita memiliki gradien, mari kita lihat penurunan gradien yang dinyatakan di bawah ini:
Rumus Penurunan Gradien
Rumus di atas adalah penurunan gradien asli di mana eta adalah kecepatan pembelajaran dan gradien kesalahan adalah apa yang baru saja kita kurangi sebelumnya. Kemudian jika kita mengganti gradien kesalahan dengan ekspresinya, kita mendapatkan yang berikut:
Penurunan Gradien untuk Regresi Linear
METODE LANGSUNG
Alternatif untuk penurunan gradien dalam model regresi linier adalah metode langsung yang hanya terdiri dari persamaan gradien ekspresi kesalahan menjadi 0. Ilustrasi di bawah ini menunjukkan pengurangan untuk metode ini:
Metode Langsung untuk optimasi parameter
IMPLEMENTASI REGRESI LINEAR
Sekarang setelah kita mengetahui metode kunci untuk regresi linier, mari kita jelaskan alur kerjanya dengan ilustrasi di bawah ini:
Implementasi Regresi Linier
Seperti yang Anda lihat, kami mulai mengatur parameter secara acak dan kami memasukkannya ke model regresi linier bersama dengan datanya, lalu kami mengukur kesalahannya, dan berdasarkan ini kami mengoptimalkan parameter menggunakan penurunan gradien. Kami terus melakukan proses ini hingga kesalahan stabil seminimal mungkin, lalu kami keluar dari loop ini dengan model terlatih kami dengan parameter yang disesuaikan. Lihat bahwa parameter bertindak sebagai tensor untuk model.
Dalam hal menggunakan metode langsung alih-alih penurunan gradien, penyesuaian parameter hanya akan terjadi sekali, yang berarti bahwa kita tidak memerlukan loop untuk penurunan gradien.
PERTIMBANGAN
Satu hal yang perlu Anda ingat adalah bahwa model regresi linier hanyalah prediksi dan penurunan gradien dan fungsi kesalahan adalah mekanisme untuk mengimplementasikan model secara penuh dan ini juga digunakan dalam model lain, tetapi model itu sendiri adalah rumus yang mendefinisikan prediksi. Hal kedua yang perlu dipertimbangkan adalah bahwa dalam penjelasan ini kami menggunakan Kesalahan Kuadrat Rata-Rata sebagai metrik untuk mengevaluasi kesalahan model, tetapi jika Anda ingin melakukan penelitian lebih lanjut tentangnya, Anda akan menemukan bahwa Kemungkinan Maksimum berakhir. sama untuk mengevaluasi kesalahan.
Semoga ini bisa membantu Anda.
Pengurangan Matematika Regresi Linear awalnya diterbitkan di Menuju AI di Media, di mana orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
