Pengarang: Stu Bailey
Saat saya berbicara dengan ilmuwan data, terutama mereka yang bekerja di perusahaan Global 1000, banyak yang mengungkapkan keprihatinan tentang situasi mereka. Dalam beberapa hal, mereka adalah korban dari kesuksesan mereka sendiri: Ilmuwan data memproduksi model yang memberikan kontribusi besar bagi bisnis, dan dengan demikian semakin banyak model yang digunakan dalam aplikasi produksi. Namun sebagai hasilnya, para ilmuwan data menghadapi beberapa tantangan. Dalam percakapan saya, masalah berikut paling sering muncul:
-Organisasi mereka tidak memiliki visibilitas terhadap kontribusi bisnis yang dibuat oleh model yang mereka hasilkan -Mereka menghabiskan lebih banyak waktu untuk menangani masalah operasional untuk model mereka dalam produksi
Penyebab kedua masalah sangat konsisten di sebagian besar organisasi, dan dengan demikian, memberikan solusi langsung. Ini adalah kabar baik bagi ilmuwan data dan organisasi tempat mereka bekerja – asalkan organisasi bertindak, dan melakukannya dengan urgensi.
“Kamu Model Rusak – Mari Bertemu!”
Setelah dikembangkan dan diterapkan ke dalam produksi, model AI bisa sangat sensitif terhadap sejumlah kondisi yang dapat membahayakan efektivitasnya, mengurangi nilainya, dan meningkatkan risiko terkaitnya. Beberapa item ini, seperti penyimpangan data, berhubungan langsung dengan pekerjaan ilmuwan data dan membutuhkan keahlian mereka untuk mengatasinya. Tetapi ada banyak item lain yang dapat memengaruhi model dalam produksi yang tidak ada hubungannya dengan ilmu data. Misalnya, masalah dengan pipa data produksi dapat menyebabkan keluaran model menyimpang dari batas yang diterima, atau bahkan menghasilkan kesimpulan yang salah. Masalah dengan infrastruktur TI produksi tempat model dijalankan dapat menyebabkan masalah kinerja. Dalam banyak kasus, mungkin tidak ada peran yang berarti bagi ilmuwan data dalam mengatasi masalah tersebut. Tapi itu tidak menghindarkan mereka untuk terlibat.
Di banyak organisasi, respons terhadap masalah dengan aplikasi berbasis AI adalah mengadakan pertemuan dengan perwakilan dari tim data, tim IT, tim DevOps, tim kepatuhan – serta ilmu data – dengan harapan dapat mengidentifikasi dan mengatasi akar penyebab. Pertemuan-pertemuan ini sering memunculkan kisah orang-orang buta yang mencoba menggambarkan seekor gajah: Masing-masing dapat menggambarkan bagian dari gajah yang mereka pegang, tetapi tidak ada yang dapat menggambarkan keseluruhan binatang itu. Akibatnya, banyak waktu yang terbuang – dan nilai hilang – ketika kelompok mencoba untuk mengumpulkan gambaran lengkap dari masalah dan menentukan perbaikan.
Saya belum pernah bertemu dengan ilmuwan data yang tidak berkomitmen untuk memastikan bahwa model mereka beroperasi secara efektif dan dalam ambang batasnya. Apa yang tidak mereka hargai adalah dipanggil ke dalam situasi di mana masalah pada akhirnya tidak ada hubungannya dengan model. Mereka umumnya baik-baik saja untuk berperan dalam memantau model mereka yang telah mencapai produksi, tetapi mereka tidak ingin menghabiskan waktu mereka untuk mengejar masalah yang tidak memiliki peran untuk mereka perbaiki.
“Model Saya Memberikan Kontribusi Besar – Percayalah”
Organisasi telah menuangkan jutaan ke dalam inisiatif AI untuk mengejar keuntungan besar, dan untuk organisasi yang paling matang, investasi mereka menghasilkan keuntungan yang signifikan. Tetapi banyak organisasi berjuang untuk mengukur nilai yang disumbangkan oleh inisiatif mereka. Ini semakin penting karena anggaran semakin ketat dan ada lebih banyak proyek AI yang bersaing untuk mendapatkan dana. Hal ini berdampak langsung pada ilmuwan data, yang ingin kontribusi mereka diakui dan imbalan yang sesuai mengalir ke mereka dan proyek mereka. Tentu saja, kurangnya visibilitas terhadap kontribusi model AI bukan hanya masalah bagi ilmuwan data: Ketidakmampuan untuk menilai kontribusi bisnis secara akurat membahayakan semua inisiatif AI perusahaan.
ModelOps untuk Menyelamatkan
ModelOps adalah kemampuan inti yang memungkinkan organisasi untuk mengatur dan menskalakan inisiatif AI mereka. Kemampuan ModelOps yang efektif memungkinkan organisasi untuk menstandarisasi dan mengotomatisasi proses operasional untuk semua model dalam produksi, tetapi tanpa membatasi ilmuwan data atau tim lain untuk menggunakan alat dan infrastruktur yang paling tepat untuk setiap kasus penggunaan. Ini juga memberikan perusahaan – eksekutif senior, staf TI, tim data, tim kepatuhan, tim bisnis, dan tentu saja ilmuwan data – dengan metrik bisnis yang menunjukkan kontribusi, biaya, dan ROI dari setiap model produksi.
Kemampuan ModelOps perusahaan yang paling efektif dibangun di sekitar platform yang independen dari alat ilmu data, sistem data, atau infrastruktur eksekusi apa pun, tetapi lebih terintegrasi dengan alat dan sistem apa pun yang digunakan di seluruh perusahaan, termasuk sistem perusahaan untuk keamanan dan manajemen akses, tiket , manajemen risiko, kepatuhan, dll. Platform ModelOps memelihara database yang selalu hijau dari semua model dalam produksi, terlepas dari asal atau lingkungan eksekusi, bersama dengan semua artefak termasuk algoritme, data pelatihan, persetujuan, dan sejenisnya. Ini termasuk pemantau aktif yang terus-menerus memeriksa keseluruhan statistik, etika, kinerja, keamanan, bisnis dan kepatuhan KPI, dan mengarahkan masalah ke mereka yang bertanggung jawab dan melacak resolusi – menghilangkan kebutuhan untuk “perjalanan berburu” untuk menemukan akar penyebab masalah dan membebaskan ilmuwan data, dan semua orang, untuk memfokuskan waktu mereka pada tanggung jawab inti mereka. Platform ModelOps yang matang juga terintegrasi dengan sistem bisnis untuk memungkinkan pembuatan metrik bisnis model dan ROI secara otomatis.
Bagi organisasi yang mengalami frustrasi dengan tuntutan pengelolaan model dalam produksi dan ingin lebih meningkatkan inisiatif AI mereka – dan mempertahankan ilmuwan data terbaik – ada jawabannya: Terapkan ModelOps hari ini.
Bio: Stu ikut mendirikan ModelOp dan menjabat sebagai Chief Enterprise AI Architect. Latar belakang Stu sebagai teknolog dan wirausahawan, yang menyediakan infrastruktur intensif data penting untuk perusahaan terbesar di dunia, memberinya perspektif unik tentang cara membantu perusahaan besar yang terdiversifikasi menjadi AI dan Berbasis Model.
Sebagai pemimpin teknis untuk National Center for Data Mining dari 1994-2000, Stu memainkan peran kunci dalam pengembangan komputasi kinerja tinggi dan platform pembelajaran mesin terdistribusi, termasuk pengembangan Predictive Model Markup Language (PMML). Pada tahun 2000 ia mendirikan kategori yang mendefinisikan dan pemimpin pasar Infoblox menjabat sebagai Chief Technology Officer dan Chief Scientist sementara perusahaan tumbuh untuk melayani 12.000 perusahaan, termasuk sebagian besar Global 2000. Infoblox mengotomatiskan sistem operasional penting yang diperlukan untuk perusahaan besar untuk secara efektif menyebarkan dan mengoperasikan Inisiatif Internet dan Cloud. Mengikuti IPO Infoblox yang sukses dan kemudian diakuisisi oleh Vista Partners pada tahun 2016, Stu ikut mendirikan ModelOp untuk mengatasi tantangan yang sekarang terlihat dengan mengatur dan mengoperasionalkan inisiatif AI dan Model-Driven dalam skala besar.
Stu memegang gelar Bachelor of Science di bidang teknik komputer dari University of Illinois di Chicago dan merupakan penemu bernama di lebih dari tiga puluh paten yang berkaitan dengan sistem data terdistribusi dan operasi model.
