Biaya jaringan saraf: mengapa sangat mahal untuk melatihnya pada model pembelajaran mendalam?

O belajar mendalam ("pembelajaran mendalam" dalam terjemahan gratis) telah memecahkan banyak tantangan terkait inteligência buatan (IA). Melalui teknologi inilah jaringan saraf dilatih. Dan biaya jaringan saraf, pada gilirannya, telah semakin tinggi.

Di antara tantangan baru yang muncul dengan kenaikan biaya ini adalah pertumbuhan jejak karbon (ukuran yang menghitung emisi karbon setara yang dipancarkan ke atmosfer) perusahaan dan komersialisasi penelitian terkait AI.

Dalam konteks ini, ada juga permintaan akan kemampuan inteligência buatan hadir di perangkat canggih tanpa harus bergantung pada server dan cloud. Ini, pada gilirannya, menyiratkan bahwa biaya jaringan saraf lebih menguntungkan. Dalam praktiknya, ini bukan yang terjadi.

Biaya jaringan saraf

Kabar baiknya adalah peneliti AI membuat kemajuan dalam menemukan cara untuk mengurangi biaya menjalankan model pembelajaran mendalam. Berita buruknya adalah itu mengurangi biaya jaringan saraf — dan pelatihan mereka — tetap a tidak diketahui.

Baru-baru ini, peneliti dari MIT dan University of Toronto menerbitkan a kertas pada tantangan "pemangkasan" jaringan saraf. Dalam studi tersebut, kelompok tersebut menunjukkan mengapa metode yang paling canggih tidak dapat mengurangi biaya pelatihan jaringan saraf tanpa memberikan dampak yang besar pada kinerja teknologi.

Apa yang dapat Anda lakukan adalah "memangkas" jaringan saraf setelah membangun model pembelajaran mendalam yang besar dan canggih. Ini disebut "pemangkasan pasca pelatihan“. Cara kerjanya seperti ini: setelah jaringan saraf model pembelajaran mendalam menjalani seluruh proses pelatihan, sebagian besar parameter yang dikonfigurasi dipotong (yang dapat mengurangi ukuran model hingga 10% dari ukuran aslinya). Ini dimungkinkan setelah menentukan "bobot" yang dimiliki setiap parameter untuk nilai akhir jaringan saraf.

Banyak perusahaan teknologi menggunakan metode mengompresi model AI ini agar sesuai (dan berfungsi dengan baik) di smartphone, laptop, dan perangkat rumah pintar. Ada area di mana Anda bahkan dapat menerapkan pembelajaran mendalam, melalui jaringan syaraf kompak, di perangkat yang ditenagai oleh energi matahari.

Jaringan saraf 'Pemangkasan'

Saat kita berbicara tentang biaya jaringan saraf AI dan betapa mahalnya untuk melatihnya, mungkin Anda, pembaca yang budiman, telah memperhatikan lubang dalam logika "pemangkasan" jaringan ini setelah proses pelatihannya. 

Agar “pemangkasan” ini dimungkinkan, the jaringan saraf perlu dilatih. Dan ini hanya mungkin melalui serangkaian parameter yang sangat besar, hadir dalam model pembelajaran mendalam yang sama besarnya. Di sinilah letak biaya tinggi yang kami jelajahi dalam hal ini.

Pertanyaannya adalah: apakah ada cara untuk membangun jaringan saraf kompak tanpa harus memiliki versi yang lebih besar (dan lebih mahal)? Peneliti MIT Jonathan Frankle dan Michael Carbin menerbitkan sebuah studi pada tahun 2018 yang menunjukkan kemungkinan jalan menuju hal ini. Mereka menyebut penelitian itu “Hipotesis tiket lotre".

Dalam studi tersebut, para peneliti menunjukkan bahwa dalam banyak model pembelajaran mendalam ada yang kecil subset dari jaringan saraf yang dapat dilatih. Dalam praktiknya, ini akan berfungsi sebagai semacam jalan pintas dalam proses pembuatan jaringan saraf ini, melatihnya dalam rangkaian parameter yang ekstensif dan kemudian "memangkas" mereka. Menemukan "subnetwork" ini, sebagaimana para peneliti menyebutnya, dapat secara signifikan mengurangi waktu dan biaya pelatihan jaringan saraf dalam model pembelajaran mendalam.

Tetapi studi oleh para peneliti MIT mengalami serangkaian kendala ketika harus menunjukkan bahwa tesis ini 100% efektif. Pengujian telah menunjukkan bahwa tantangan dalam hal ini adalah untuk mengidentifikasi himpunan bagian mana dalam model pembelajaran mendalam yang memiliki potensi untuk dioptimalkan secara signifikan.

Potensi penelitian ini

Mengurangi biaya jaringan saraf dan pelatihannya masih belum diketahui, tetapi dengan jalur yang memungkinkan untuk dieksplorasi oleh para peneliti. Artinya, masih ada ruang untuk kemajuan ilmiah di bidang ini, yang dapat berdampak besar pada masa depan penelitian AI dan penerapannya.

Di satu sisi, biaya untuk melatih jaringan saraf dalam model deep learning terus meningkat. Di sisi lain, bidang penelitian di perusahaan teknologi bernilai miliaran dolar menjadi semakin penting dan bernilai. Selain itu, perusahaan-perusahaan tersebut telah mendukung laboratorium dari lembaga eksternal untuk melakukan penelitian di ceruk ini.

Menemukan cara yang efektif untuk "memangkas" jaringan saraf sebelum melatihnya dapat menciptakan peluang baru bagi kelompok yang lebih besar dari peneliti dan laboratorium AI yang tidak memiliki akses ke sumber daya komputasi tingkat lanjut. Sampai saat itu, kami tetap dalam harapan. Dan mengikuti dengan seksama terungkapnya penelitian-penelitian tersebut.

Sumber: Jaringan Berikutnya; Cornell University

Apa pendapat Anda tentang "simpul" ini terkait dengan biaya jaringan saraf AI? Beri tahu kami di sini di komentar!