Likrea

Pada machine learning, pelacakan percobaan menyimpan semua metadata percobaan dalam satu lokasi (database atau repositori). Model hyperparameter, pengukuran performa, log jalankan, artefak model, artefak data, dan lain-lain semuanya termasuk dalam ini.

Terdapat banyak pendekatan untuk mengimplementasikan pelacakan percobaan. Spreadsheet adalah salah satu opsi (tidak ada yang menggunakannya lagi!), atau Anda dapat menggunakan GitHub untuk melacak tes.

Pelacakan percobaan machine learning selalu menjadi langkah penting dalam pengembangan ML, tetapi dulu merupakan prosedur yang membutuhkan tenaga kerja, lambat, dan rentan terhadap kesalahan.

Pasar solusi manajemen dan pelacakan percobaan yang kontemporer untuk machine learning telah berkembang dan meningkat dalam beberapa tahun terakhir. Sekarang, terdapat berbagai macam pilihan. Anda pasti akan menemukan alat yang sesuai, baik mencari solusi open-source atau enterprise, kerangka pelacakan percobaan mandiri, atau platform end-to-end.

Menggunakan perpustakaan atau kerangka kerja open-source seperti MLFlow atau membeli platform alat enterprise dengan fitur ini seperti Weights & Biases, Comet, dll., adalah cara termudah untuk melakukan pelacakan percobaan. Posting ini mencantumkan beberapa alat pelacakan percobaan yang sangat berguna bagi data scientist.

MLFlow

Platform open-source MLflow mengelola siklus hidup machine learning, termasuk percobaan, reproduktibilitas, penyebaran, dan registri model sentral. Ini mengelola dan mendistribusikan model dari beberapa perpustakaan machine learning ke berbagai platform untuk servis model dan inferensi (MLflow Model Registry). Saat ini, MLflow mendukung Penyusunan ulang kode ML dalam bentuk yang dapat digunakan kembali dan dapat direproduksi sehingga dapat dibagikan dengan data scientist lain atau ditransfer ke produksi, serta Pelacakan percobaan untuk mencatat dan membandingkan parameter dan hasil (Pelacakan MLflow) (Proyek MLflow). Selain itu, ini menyediakan penyimpanan model sentral untuk mengelola secara kolaboratif seluruh siklus hidup Model MLflow, termasuk versi model, transisi tahap, dan penjelasan.

Weights & Biases

Platform MLOps untuk menghasilkan model yang lebih baik dengan lebih cepat dengan pelacakan percobaan, versi dataset, dan manajemen model disebut Weights & Biases. Weights & Biases dapat diinstal pada infrastruktur pribadi Anda atau tersedia di cloud.

Comet

Platform machine-learning Comet berhubungan dengan infrastruktur dan alat yang ada untuk mengelola, memvisualisasikan, dan mengoptimalkan model. Cukup tambahkan dua baris kode ke skrip atau notebook Anda untuk secara otomatis mulai melacak kode, hyperparameter, dan metrik.

Comet adalah Platform untuk Siklus Hidup Experimen ML. Ini dapat digunakan untuk membandingkan kode, hyperparameter, metrik, ramalan, ketergantungan, dan metrik sistem untuk menganalisis perbedaan dalam performa model. Model Anda dapat didaftarkan di registri model untuk diserahkan dengan mudah ke teknik, dan Anda dapat mengawasi penggunaannya dengan jejak audit lengkap dari jalankan pelatihan hingga penyebaran.

Arize AI

Arize AI adalah platform pemantauan machine learning yang membantu tim ML memberikan dan menjaga AI yang lebih sukses dalam produksi. Platform pemantauan model otomatis Arize memungkinkan tim ML untuk mendeteksi masalah saat terjadi, memecahkan masalah mengapa hal itu terjadi, dan mengelola performa model. Dengan memungkinkan tim untuk memantau embedding data tidak terstruktur untuk model computer vision dan pemrosesan bahasa alami, Arize juga membantu tim mengidentifikasi secara proaktif data apa yang harus diberi label berikutnya dan memecahkan masalah di produksi. Pengguna dapat mendaftar untuk akun gratis di Arize.com.

Neptune AI

Metadata pembangunan model ML dapat dikelola dan dicatat menggunakan platform Neptune. Ini dapat digunakan untuk mencatat Chart, Hyperparameter Model, Versi Model, Versi Data, dan lain-lain.

Anda tidak perlu mengatur Neptune karena di-hosting di cloud, dan Anda dapat mengakses percobaan Anda kapan saja dan di mana saja. Anda dan tim Anda dapat bekerja sama untuk mengorganisir semua percobaan Anda dalam satu lokasi. Setiap investigasi dapat dibagikan dan dikerjakan oleh rekan tim Anda.

Anda harus menginstal “neptune-client” sebelum Anda dapat menggunakan Neptune. Selain itu, Anda harus menyusun sebuah proyek. Anda akan menggunakan API Python untuk Neptune dalam proyek ini.

Sacred

Sacred adalah alat gratis untuk bereksperimen dengan machine learning. Untuk mulai menggunakan Sacred, Anda harus merancang eksperimen terlebih dahulu. Jika Anda menggunakan Jupyter Notebooks untuk melakukan eksperimen tersebut, Anda harus melewatkan “interactive=True”. Metadata konstruksi model ML dapat dikelola dan dicatat menggunakan alat ini.

Omniboard

Omniboard adalah antarmuka pengguna berbasis web Sacred. Program ini menjalin hubungan dengan database MongoDB Sacred. Pengukuran dan log yang dikumpulkan untuk setiap percobaan kemudian ditampilkan. Anda harus memilih observer untuk melihat semua data yang dikumpulkan oleh Sacred. Observer default disebut “MongoObserver”. Database MongoDB dihubungkan, dan koleksi yang berisi semua data ini dibuat.

TensorBoard

Pengguna biasanya mulai menggunakan TensorBoard karena merupakan alat grafis untuk TensorFlow. TensorBoard menyediakan alat untuk memvisualisasikan dan memperbaiki model machine learning. Grafik model dapat diperiksa, embedding dapat diproyeksikan ke ruang berdimensi lebih rendah, metrik percobaan seperti loss dan akurasi dapat dilacak, dan banyak lagi.

Dengan TensorBoard.dev, Anda dapat mengunggah dan mendistribusikan hasil percobaan machine-learning Anda kepada semua orang (fitur kolaborasi hilang di TensorBoard). TensorBoard adalah open-source dan di-host secara lokal, sedangkan TensorBoard.dev adalah layanan gratis di server yang dikelola.

Guild AI

Guild AI, sistem untuk melacak percobaan machine learning, didistribusikan di bawah lisensi open-source Apache 2.0. Fitur-fiturnya memungkinkan analisis, visualisasi, operasi diffing, otomatisasi pipeline, penyesuaian hyperparameter AutoML, penjadwalan, pemrosesan paralel, dan pelatihan jarak jauh.

Guild AI juga dilengkapi beberapa alat terintegrasi untuk membandingkan percobaan, seperti:

Polyaxon

Polyaxon adalah platform untuk aplikasi machine learning dan deep learning yang dapat diukur dan dapat diulang. Tujuan utama para perancangnya adalah mengurangi biaya sambil meningkatkan output dan produktivitas. Manajemen Model, orchestrasi jalankan, kepatuhan peraturan, pelacakan percobaan, dan optimisasi percobaan hanya beberapa dari banyak fitur yang dimiliki.

Dengan Polyaxon, Anda dapat mengontrol versi kode dan data dan secara otomatis mencatat metrik model yang signifikan, hyperparameter, visualisasi, artefak, dan sumber daya. Untuk menampilkan metadata yang dicatat nanti, Anda dapat menggunakan Polyaxon UI atau menggabungkannya dengan papan lain, seperti TensorBoard.

ClearML

ClearML adalah platform open-source dengan sejumlah alat untuk menyederhanakan proses machine-learning Anda, dan didukung oleh tim Allegro AI. Paket ini mencakup penyebaran, manajemen data, orchestrasi, manajemen pipeline ML, dan pemrosesan data. Semua fitur ini hadir dalam lima modul ClearML:

Dengan ClearML, Anda dapat mengintegrasikan pelatihan model, optimisasi hyperparameter, opsi penyimpanan, alat plotting, dan kerangka kerja serta perpustakaan lainnya.

Valohai

Semua diotomatisasi menggunakan platform MLOps Valohai, mulai dari penyebaran model hingga ekstraksi data. Valohai “menyediakan orkestrasi mesin tanpa konfigurasi dan pelacakan percobaan seperti MLFlow,” menurut para pencipta alat ini. Meskipun tidak memiliki pelacakan percobaan sebagai tujuannya utama, platform ini menawarkan beberapa kemampuan, termasuk kontrol versi, perbandingan percobaan, garis keturunan model, dan jejak jejak.

Valohai kompatibel dengan berbagai perangkat lunak dan alat serta bahasa atau kerangka kerja apa pun. Ini dapat diatur dengan penyedia cloud apa pun atau di lokasi. Program ini memiliki banyak fitur untuk mempermudah pengguna dan juga dikembangkan dengan kerja tim dalam pikiran.

Pachyderm

Pachyderm, platform sains data maksud terbuka, memungkinkan pengguna mengontrol seluruh siklus machine learning. Opsi untuk skalabilitas, konstruksi percobaan, pelacakan, dan asal data.

Tersedia tiga versi program:

Kubeflow

Kubeflow adalah nama toolkit machine learning untuk Kubernetes. Tujuannya adalah menggunakan kemampuan Kubernetes untuk menyederhanakan skalabilitas model machine learning. Meskipun platform ini memiliki beberapa alat pelacakan, tujuan utama proyek ini berbeda. Ini terdiri dari beberapa komponen, seperti:

Verta.ai

Platform Verta adalah untuk MLOps bisnis. Program ini dibuat untuk memudahkan pengelolaan seluruh siklus hidup machine-learning. Fitur utamanya dapat dirangkum dalam empat kata: lacak, kolaborasi, deployment, dan monitor. Fungsionalitas ini semua termasuk dalam produk inti Verta, Manajemen Eksperimen, Penyebaran Model, Registri Model, dan Pemantauan Model.

Dengan komponen Manajemen Eksperimen, Anda dapat memantau dan memvisualisasikan eksperimen machine learning, mencatat berbagai jenis metadata, menjelajahi dan membandingkan eksperimen, memastikan reproduktibilitas model, berkolaborasi dalam proyek ML, dan mencapai banyak hal lainnya.

Verta mendukung beberapa framework ML terkenal, termasuk TensorFlow, PyTorch, XGBoost, ONNX, dan lain-lain. Versi open-source, SaaS, dan perusahaan dari layanan ini semua tersedia.

Fiddler AI

Fiddler adalah perintis dalam Enterprise Model Performance Management. Monitor, jelaskan, analisis, dan tingkatkan model ML Anda dengan Fiddler.

Lingkungan yang terpadu menyediakan bahasa yang umum, kontrol terpusat, dan wawasan yang actionable untuk mengoperasikan ML/AI dengan kepercayaan. Ini mengatasi tantangan unik dalam membangun sistem MLOps internal yang stabil dan aman secara berskala.

SageMaker Studio

SageMaker Studio adalah salah satu komponen platform AWS. Ini memungkinkan data scientist dan pengembang untuk membangun, melatih, dan menggunakan model machine learning (ML) terbaik. Ini adalah lingkungan pengembangan lengkap pertama untuk machine learning (IDE). Terdiri dari empat bagian: siapkan, bangun, latih dan atur, implementasikan, dan kelola. Fungsi pelacakan percobaan ditangani oleh bagian ketiga latih & atur. Pengguna dapat mengotomatisasi penalaan hyperparameter, debug jalankan pelatihan, mencatat, membandingkan percobaan, dan mengorganisir.

DVC Studio

Paket alat DVC yang didukung oleh iterative.ai mencakup DVC Studio. DVC studio – antarmuka visual untuk proyek ML – dibuat untuk membantu pengguna melacak tes, memvisualisasikannya, dan berkolaborasi dengan tim. Awalnya, DVC ditujukan sebagai sistem kontrol versi open-source untuk machine learning. Komponen ini masih digunakan untuk memungkinkan data scientist membagikan dan menduplikasi model ML mereka.

Jangan lupa bergabung dengan halaman Reddit kami [link] dan saluran discord [link], di mana kami membagikan berita penelitian AI terbaru, proyek AI menarik, dan lain-lain.

Leave a Reply

Your email address will not be published. Required fields are marked *