Mengapa model AI menghabiskan begitu banyak energi?

Baru-baru ini, Google memecat seorang peneliti etika AI (Kecerdasan Buatan) terkemuka setelah dia menyatakan rasa frustrasinya kepada perusahaan karena memaksanya menghapus artikel penelitian dari hasil mesin pencari Google. Artikel tersebut menyoroti risiko penggunaan kecerdasan buatan pemrosesan bahasa, tepatnya jenis yang digunakan di Google Penelusuran dan produk analisis teks lainnya.

Diantara risiko yang disebutkan adalah yang paling besar "jejak karbon" saat mengembangkan teknologi AI jenis ini. Berdasarkan beberapa perkiraan, pelatihan model AI menghasilkan emisi karbon sebanyak yang diperlukan untuk membuat dan menggerakkan lima mobil sepanjang masa pakainya.

Dengan semakin banyaknya penggunaan AI dalam lingkungan teknologi, kita perlu bertanya pada diri sendiri: mengapa model AI begitu haus daya? Apa bedanya dengan komputasi pusat data tradisional?

Pelatihan AI saat ini tidak efisien

Pekerjaan pemrosesan data tradisional dilakukan di pusat data (lebih dikenal sebagai Pusat Data) termasuk Streaming video, email, dan media sosial. AI lebih intensif secara komputasi karena perlu membaca banyak data hingga ia belajar memahaminya, yaitu dilatih.

Pelatihan ini tidak efisien dibandingkan dengan cara orang belajar sebenarnya. AI modern menggunakan jaringan saraf tiruan, yaitu perhitungan matematis yang mensimulasikan perilaku neuron di otak manusia. Kekuatan koneksi setiap neuron ke tetangganya merupakan parameter jaringan yang disebut bobot. Dengan cara ini, untuk belajar memahami bahasa tersebut, jaringan memulai dengan bobot acak dan menyesuaikannya hingga keluarannya sesuai dengan jawaban yang benar.

Gambar tersebut mencontohkan pengoperasian jaringan saraf tiruan sederhana. Jaringan menerima dua masukan: gambar anjing dan kucing yang akan menjadi masukan ("memasukkan"). Model mengetahui sebelumnya bahwa respons yang diharapkan adalah gambar yang dipilih adalah gambar anjing. Oleh karena itu, setiap panah yang meninggalkan masukan mempunyai bobot probabilitas yang berbeda, yang kemudian digunakan dalam kombinasi dengan masukan untuk memberi makan salah satu neuron di lapisan pertama ("tersembunyi"). Setiap neuron kemudian memiliki fungsi biaya matematis tertentu yang dihitung pada neuron keluaran ("keluaran"). Neuron dengan probabilitas tertinggi akan menjadi keluaran yang dipilih.

Cara umum untuk melatih jaringan bahasa, misalnya, adalah dengan memberinya banyak teks dari situs-situs seperti Wikipedia dan outlet berita dengan beberapa kata tersembunyi dan meminta Anda menebak kata-kata tersebut.

Contohnya adalah “kucingku cantik”, dengan kata “cantik” disembunyikan. Awalnya, model akan salah menebak setiap kata, tetapi setelah beberapa putaran penyetelan, bobot koneksi mulai berubah dan mengambil pola dalam data. Dengan cara ini, jaringan pada akhirnya menjadi akurat. Ini adalah praktik teknik yang elegan coba-coba.

Untuk mendapatkan gambaran tentang ukuran kumpulan data (kumpulan data pelatihan) yang digunakan oleh AI, model terbaru yang dikembangkan oleh Google dan disebut Representasi Encoder Dua Arah dari Transformers (BERTI, “Representasi Encoder Dua Arah dari Transformers”, sebuah penghargaan untuk karakter eponymous acara tersebut The Muppets) menggunakan 3,3 miliar kata dari buku berbahasa Inggris dan artikel Wikipedia.

Selanjutnya selama pelatihan, BERT membaca dataset ini tidak hanya sekali, melainkan 40 kali. Sayangnya, menjalankan beberapa putaran pelatihan merupakan langkah penting dalam proses pembelajaran AI karena, seperti kata pepatah, “latihan mengarah pada kesempurnaan“. Dalam kasus AI, semakin banyak putaran yang dijalankan, semakin akurat AI tersebut.

Namun, jika kita membandingkan metode ini dengan bentuk pembelajaran yang digunakan manusia, seorang anak yang sedang belajar berbicara dapat mendengar 45 juta kata pada usia lima tahun, 3 ribu kali lebih sedikit dibandingkan BERT dengan metodologi pelatihannya.

Mencari struktur saraf yang tepat

Justru karena proses pelatihan terjadi dalam beberapa putaran selama pengembangan AI ini, maka model bahasa menjadi terlalu mahal untuk membangun. Hal ini terjadi justru karena peneliti ingin mencari struktur terbaik untuk jaringan, yaitu berapa banyak neuron, berapa banyak koneksi antar neuron, kecepatan perubahan parameter selama pembelajaran, dan sebagainya.

Semakin banyak jumlah kombinasi berbeda yang dicoba selama pelatihan AI, semakin besar peluang untuk mencapai tingkat akurasi yang tinggi. Ini adalah proses yang sangat berbeda dengan proses yang terjadi pada otak manusia, misalnya, karena pikiran kita tidak perlu menemukan struktur optimal untuk memahami dunia di sekitar kita, karena evolusi selama berabad-abad telah memberi kita struktur yang sudah ada sebelumnya.

Ketika perusahaan dan akademisi bersaing di bidang AI, ada tekanan untuk meningkatkan “canggih” – sebuah istilah yang mengacu pada tingkat pengetahuan tertinggi di bidang tertentu yang diperoleh hingga saat ini. Bahkan mencapai peningkatan akurasi sebesar 1% pada tugas-tugas sulit seperti penerjemahan mesin dianggap sebagai pencapaian yang signifikan dan menghasilkan publisitas yang baik dan produk yang lebih baik. Namun, untuk memperoleh perbaikan kecil ini, peneliti perlu melatih model tersebut ribuan kali, setiap kali dengan struktur berbeda, hingga ditemukan model terbaik.

peneliti dari Universitas Massachusetts Amherst memperkirakan biaya energi untuk mengembangkan model AI untuk pemrosesan bahasa dengan mengukur konsumsi energi perangkat keras umum digunakan selama pelatihan. Mereka menemukan bahwa pelatihan BERT, misalnya, memiliki biaya energi yang sama dengan biaya energi yang dikeluarkan penumpang yang melakukan perjalanan pulang pergi antara New York dan San Francisco.

Namun, saat melakukan penelusuran menggunakan struktur yang berbeda – yaitu, melatih algoritme beberapa kali dengan kumpulan yang sama kumpulan data, namun dengan jumlah neuron, koneksi, dan parameter lainnya yang sedikit berbeda – biayanya setara dengan 315 penumpang, atau keseluruhan 747 jet!

AI yang Lebih Besar dan Lebih Panas

Masalah besar lainnya dengan model AI saat ini adalah ukurannya jauh lebih besar dari yang seharusnya dan, yang lebih buruk lagi, model tersebut terus berkembang setiap tahunnya. Model bahasa baru yang mirip dengan BERT disebut GPT-2, memiliki 1,5 miliar bobot atau parameter di jaringannya. Di sisi lain, GPT-3, yang memiliki tingkat presisi tinggi, memiliki 175 miliar peso!

Wajar jika jaringan yang lebih besar menghasilkan akurasi yang lebih baik. Analogi yang baik untuk memahami mengapa seluruh struktur model AI tidak digunakan secara aktif untuk memprediksi hasil adalah apa yang terjadi di otak manusia itu sendiri, karena tidak semua bagian otak digunakan untuk memahami sebuah teks, misalnya. Perbedaannya adalah otak biologis jauh lebih hemat energi dibandingkan komputer.

Penting untuk mempertimbangkan model AI yang dilatih perangkat keras terspesialisasi, seperti pada unit pemrosesan grafis besar, yang mengonsumsi lebih banyak daya dibandingkan CPU tradisional. Dengan kartu grafis yang semakin bertenaga dan bertenaga jika dibandingkan dengan prosesor yang biasa digunakan di komputer, masuk akal jika algoritme mahal tersebut dijalankan pada komponen yang sesuai untuk mendukung semua penghitungan, pemrosesan, dan pengeluaran energi.

Jika Anda memiliki PC atau laptop gaming, mungkin PC atau laptop tersebut dilengkapi dengan kartu grafis NVIDIA (dalam banyak kasus) dengan teknologi RTX. Dan bukan hanya peneliti dan ahli komputer saja yang bisa memanfaatkan kekuatan pemrosesan kartu grafis tersebut untuk melatih model AI mereka, namun game yang menggunakan teknologi DLSS juga memanfaatkan kapasitas komputasi dari komponen tersebut.

Meski begitu, masalah konsumsi daya yang tinggi masih tetap ada karena PC atau laptop dengan kartu grafis jenis ini menghasilkan lebih banyak panas dibandingkan mesin biasa saat menggunakan kartu grafis untuk menjalankan model AI.

Semua ini berarti bahwa pengembangan model AI yang canggih memerlukan biaya energi yang besar dan, akibatnya, menghasilkan dampak lingkungan yang tinggi ketika menghasilkan energi ini. Kecuali kita beralih ke 100% sumber energi terbarukan, kemajuan AI dapat bertentangan dengan tujuan mengurangi emisi gas rumah kaca dan memperlambat perubahan iklim.

Selain itu, biaya pengembangan model AI juga menjadi sangat tinggi sehingga hanya segelintir laboratorium yang mampu membiayainya. Hal ini pada akhirnya menghasilkan monopoli bagi mereka yang memiliki pengetahuan tentang kecanggihan AI dan juga definisi tentang bagaimana model ini akan dikembangkan mulai sekarang.

Membangun model AI yang dapat melakukan lebih banyak hal dengan lebih sedikit

Namun, apa arti peningkatan eksponensial dalam biaya energi model AI bagi masa depan penelitian di bidang ini? Meskipun bukti menunjukkan bahwa model cenderung menjadi lebih besar dan lebih mahal secara komputasi, masih mungkin untuk membayangkan perspektif yang lebih optimis untuk skenario ini.

Biaya pelatihan model AI dapat berkurang seiring ditemukannya metode pelatihan yang lebih efisien. Begitu pula meski menggunakan energi dari Pusat Data meledak dalam beberapa tahun terakhir, hal ini tidak terjadi karena peningkatan efisiensi pusat penyimpanan data raksasa ini, terutama dalam hal peningkatan perangkat keras dan praktik pendinginan yang lebih efisien.

Ada juga trade-off antara biaya pelatihan model AI dan biaya penggunaannya, sehingga menghabiskan lebih banyak energi pada waktu pelatihan untuk membuat model yang lebih kecil sebenarnya dapat membuat model tersebut lebih murah. Bagaimanapun, suatu model akan digunakan berkali-kali selama masa pakainya, sehingga menghasilkan penghematan energi yang besar.

Selain meningkatkan efisiensi dan tingkat akurasinya, tantangan terbesar dalam penelitian model AI saat ini adalah menemukan cara untuk membuatnya lebih kecil, berbagi bobot, atau menggunakan bobot yang sama di berbagai bagian jaringan. Jenis pendekatan terhadap struktur jaringan saraf disebut jaringan pengubah bentuk, karena sekumpulan kecil bobot dapat dikonfigurasi ulang menjadi jaringan yang lebih besar dalam bentuk atau struktur apa pun.

Berpikir seperti ini, komunitas AI harus berinvestasi lebih banyak dalam mengembangkan skema pelatihan hemat energi. Jika tidak, kita menghadapi risiko AI akan didominasi oleh sekelompok perusahaan atau pusat penelitian terpilih yang akan menentukan masa depan AI, termasuk jenis model apa yang akan dikembangkan, jenis data apa yang akan digunakan, dan bagaimana pelatihan akan dilakukan. keluar. Pada akhirnya, kita akan memiliki kecerdasan yang lebih bersifat “bisnis” daripada “buatan”.

Sumber: ARS Techina