Pengarang: Reza Yazdanfar
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
Data Time Series Forecasting (TSF) sangat penting di semua industri, mulai dari Energi hingga Perawatan Kesehatan. Para peneliti telah mencapai beberapa kemajuan signifikan melalui pengembangan model TFS. Dengan mempertimbangkan secara menyeluruh pola dan hubungannya untuk deret waktu, analisis berdasarkan dependensi panjang dalam kumpulan data adalah suatu keharusan. Artikel ini adalah tentang mendesain model baru berdasarkan model lain untuk bekerja pada dependensi panjang dan menghasilkan representasi tingkat segmen. Model ini berdiri di atas STEP, singkatan dari STGNN (Spatial-Temporal Graph Neural Networks) + Enhanced + Pre-training model.
MELANGKAH:
Pertama-tama, Jangan Bingung:
Data grafik spasial-temporal = deret waktu multivarian
Di sini, data (arus lalu lintas) yang digunakan adalah data time series yang direkam di jalan oleh sensor.
Apakah Anda melihat dua pola pada Gambar 1 di atas??
Jawaban: ada dua pola yang berulang: 1. harian 2. periodisitas mingguan
Pertama, STGNNs adalah singkatan dari “Spatial-Temporal Graph Neural Networks” bagi yang tidak tahu/tahu sedikit. (tidak sulit, hanya perlu googling; disebutkan bagi mereka yang tidak ingin kehilangan waktu atau terganggu)
STGGNN = Jaringan Sequential + Graph Neural Networks (GNNs)
Kami menggunakan GNN untuk menangani hubungan antara deret waktu dan model Sekuensial untuk menginstruksikan pola deret waktu. Dengan kombinasi kedua istilah ini, kita dapat menangkap hasil yang luar biasa. Omong-omong, tidak ada makan siang gratis — seperti yang dikatakan para peneliti. Ini berarti model yang kuat menuntut arsitektur yang rumit; akibatnya (dalam banyak kasus), biaya komputasi meningkat (linier atau kuadratik) dengan panjang input. Juga, jangan lupa ukuran deret waktu kami, yang biasanya cukup besar. STGNN, seperti model lainnya, dapat memprediksi jendela kecil untuk membuat perkiraan. Kemampuan untuk mengandalkan jendela kecil ini membuat model tidak dapat diandalkan.
Masalah: 1. STGNN tidak dapat menangkap dependensi lama.
2. Grafik ketergantungan tidak ada.
Solusi: LANGKAH (STGNN Ditingkatkan oleh Pra-pelatihan deret waktu yang dapat diskalakan)
· versi STGNN yang dimodifikasi
Ilustrasi:
Dua inisiatif:
1. mengusulkan TSFormer, blok berbasis transformator dengan struktur autoencoder (encoder-decoder) sebagai model tanpa pengawasan. TSFormer ini mampu menangkap dependensi yang panjang.
2. Mengusulkan pelajar arsitektur graf untuk mempelajari graf ketergantungan.
Setelah mengusulkan keduanya, kita hanya perlu mengelasnya untuk model sambungan, itu adalah solusi terakhir. Itu dia!! Kedengarannya mudah?! Mari kita buat mereka sesederhana mungkin.
Mari kita lihat arsitektur yang diusulkan:
Seperti yang Anda lihat dari gambar 2, model mencakup dua fase:
fase 1) pra-pelatihan
Gambar 3
Skema ini adalah model penyandian otomatis bertopeng yang dilatih untuk data deret waktu yang mengandalkan blok Transformer (TSFormer). Model ini mampu menangkap ketergantungan panjang dan menghasilkan representasi tingkat segmen yang mencakup beberapa informasi berharga.
fase 2) peramalan
Gambar 4
Pada fase ini, model pra-pelatihan dari fase sebelumnya (yang menangkap dependensi panjang) digunakan untuk memodifikasi STGNN hilir. Selain itu, pelajar grafik diskrit dan jarang dirancang untuk berjaga-jaga jika grafik yang ditentukan sebelumnya hilang.
Itu saja yang saya lakukan secara umum. Jadi, mari selami lebih dalam detail dari dua fase ini:
1. Fase Pra-Pelatihan
Upaya ini, maksud saya menggunakan model pra-terlatih, adalah karena peningkatan minat (dan, tentu saja, hasil) dalam menerapkannya dalam proyek NLP. Meskipun model pra-terlatih diadopsi secara luas di NLP (yang merupakan data sekuensial), ada beberapa perbedaan dengan deret waktu. Deskripsi lengkapnya dapat Anda baca di artikel saya sebelumnya: “Bagaimana Mendesain Model Pra-Pelatihan (TSFormer) Untuk Time Series?”
2. Fase Peramalan
Input di sini dibagi menjadi P patch yang tidak tumpang tindih dengan panjang L. TSFormer kami menghasilkan indikasi untuk setiap input (Si) dari fase peramalan. Salah satu fitur STGNN adalah mereka mengambil yang terbaru. Oleh karena itu, berdasarkan indikasi yang dihasilkan oleh TSFormer, kami akan memodifikasi STGNN.
LANGKAH Dari NOL | Proses
Struktur pembelajaran dalam grafik
Masalah) sebagian besar grafik bergantung pada grafik yang telah ditentukan sebelumnya yang tidak tersedia atau tidak cukup baik dalam banyak kasus—juga, mencampur cara belajar (mencari hubungan antara node (misalnya i dan j) dari deret waktu dan lead STGNN untuk kompleksitas yang besar.
Solusi) TSFormer yang telah dilatih sebelumnya
Interpretation) Mengusulkan grafik sparse diskrit. Bagaimana? 1. regularisasi grafik agar sesuai dengan informasi yang diawasi. 2. grafik KNN untuk mengendalikan sparsity. Formulasinya dirangkum di bawah ini:
Jaringan saraf grafik spasial-temporal hilir
masalah) input STGNN biasa: patch terakhir + grafik ketergantungan
solusi) LANGKAH (yang menambahkan representasi tambalan input ke input)
interpretasi) Seperti yang telah kita bahas di artikel saya sebelumnya, “Bagaimana Merancang Model Pra-pelatihan (TSFormer) Untuk Time Series?”, TSFormer menangkap dependensi panjang; akibatnya, itu membuat H kaya dalam aspek informasi. Selain itu, WaveNet dipilih sebagai backend kami, yang membantu menangkap rangkaian waktu multivarian dengan benar. Tapi bagaimana caranya?? Ini memadukan konvolusi grafik dengan konvolusi melebar. Akibatnya, prakiraan kami didukung oleh keluaran tersembunyi WaveNet, representasi tersembunyi. Bagaimana?? Dengan menggunakan MLP.
Q) Jika Anda melihat arsitektur fase Forecasting, Anda akan melihat dua aliran ke dalam Blok NN Grafik Spasial-Temporal. Jadi, bagaimana kita bisa mengelolanya?
A) dengan menggunakan Persamaan7:
Pada akhirnya, perkiraan dibuat oleh MLP:
Output dari STGNN hilir:
Begitulah akhir dari modifikasi STGNN ini. Semoga Anda menikmati. Sisanya adalah hasil pada dataset dunia nyata.
Hasil:
data:
Model ini dilatih pada tiga set data kecepatan lalu lintas di tiga wilayah di AS:
METR-LA PEMS-BAY PEMS04
Tabel 1. Statistik kumpulan data
Metrik:
MAE (Mean Absolute Error) RMSE (Root Mean Absolute Error) MAPE (Mean Absolute Percentage Error)
Tamat
Sumbernya adalah ini.
Anda dapat menghubungi saya di Twitter di sini atau LinkedIn di sini. Terakhir, jika menurut Anda artikel ini menarik dan bermanfaat, Anda dapat mengikuti saya di media untuk menjangkau lebih banyak artikel dari saya.
Bagaimana Membuat STGNNsMampu Peramalan Data Deret Waktu Multivariat Jangka Panjang? awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
