Pembelajaran mendalam (Deep Learning) adalah bagian dari pembelajaran mesin yang memanfaatkan jaringan saraf tiruan (JST) atau Artificial Neural Networks (ANN) dengan banyak lapisan untuk mengekstrak fitur tingkat tinggi dari data masukan. Istilah "dalam" mengacu pada penggunaan beberapa lapisan ini, yang memungkinkan jaringan mempelajari representasi data masukan yang semakin abstrak dan komposit. Pembelajaran mendalam telah diterapkan di berbagai bidang, termasuk visi komputer, pengenalan suara, pemrosesan bahasa alami, dan bioinformatika, antara lain untuk mencapai hasil yang sebanding atau melampaui kinerja ahli manusia.
Arsitektur pembelajaran mendalam, seperti jaringan saraf dalam, jaringan kepercayaan mendalam, jaringan saraf berulang, jaringan saraf konvolusional, dan transformator, telah dikembangkan untuk menangani tugas dan tipe data tertentu. Model-model ini terinspirasi oleh pemrosesan informasi dan titik-titik komunikasi terdistribusi dalam sistem biologis, meskipun sifat statis dan simboliknya berbeda dibandingkan dengan otak biologis dinamis dan analog.
Algoritme pembelajaran mendalam menggunakan pendekatan hierarki untuk pembelajaran representasi, di mana setiap level mengubah data masukan menjadi representasi yang lebih abstrak. Misalnya, dalam pengenalan gambar, lapisan bawah dapat mengidentifikasi tepi, sedangkan lapisan atas dapat mengenali konsep seperti angka, huruf, atau wajah. Sistem pembelajaran mendalam dapat mempelajari fitur mana yang ditempatkan secara optimal pada level tertentu, meskipun penyetelan manual tetap diperlukan untuk mendapatkan performa optimal.
Kedalaman sistem pembelajaran mendalam mengacu pada jumlah lapisan yang digunakan untuk mengubah data. Sistem pembelajaran mendalam memiliki kedalaman jalur penugasan kredit (CAP) yang substansial, yang menggambarkan rantai transformasi dari input ke output dan dapat meniru fungsi apa pun. Kedalaman CAP adalah jumlah lapisan tersembunyi ditambah satu untuk jaringan saraf feedforward dan berpotensi tidak terbatas untuk jaringan saraf berulang. Tidak ada batasan yang disepakati secara universal yang memisahkan pembelajaran dangkal dan pembelajaran mendalam, namun sebagian besar peneliti setuju bahwa pembelajaran mendalam melibatkan kedalaman CAP yang lebih tinggi dari 2.
Model pembelajaran mendalam dapat dibangun menggunakan metode serakah lapis demi lapis dan membantu menguraikan abstraksi dan mengidentifikasi fitur mana yang meningkatkan kinerja. Metode pembelajaran mendalam memungkinkan penghapusan rekayasa fitur untuk tugas pembelajaran yang diawasi dengan menerjemahkan data ke dalam representasi perantara yang ringkas dan menghilangkan redundansi dalam representasi.
Algoritme pembelajaran mendalam juga dapat diterapkan pada tugas pembelajaran tanpa pengawasan, yang merupakan manfaat penting karena data yang tidak berlabel lebih banyak jumlahnya daripada data yang diberi label. Contoh struktur mendalam yang dapat dilatih tanpa pengawasan mencakup jaringan kepercayaan yang mendalam.
Pendekatan Universal dan Interpretasi Probabilistik
Jaringan saraf dalam berada di garis depan kecerdasan buatan modern, mendorong inovasi di berbagai bidang. Untuk memahami fungsinya, kita mempelajari dua konsep dasar: teorema pendekatan universal dan interpretasi probabilistik.
Teorema pendekatan universal, yang berakar pada karya perintis peneliti seperti George Cybenko dan Kurt Hornik, menegaskan kemampuan luar biasa dari jaringan saraf feedforward untuk memperkirakan fungsi berkelanjutan. Awalnya ditetapkan untuk jaringan dengan satu lapisan tersembunyi, teorema ini telah berkembang untuk mencakup arsitektur multi-lapisan, bahkan dengan fungsi aktivasi tidak terbatas seperti unit linier yang diperbaiki (ReLU). Penelitian terbaru telah memperluas teorema ini ke jaringan saraf dalam, mengungkapkan bahwa jaringan dengan lebar terbatas tetapi semakin dalam dapat mendekati fungsi apa pun yang dapat diintegrasikan Lebesgue, dalam kondisi tertentu.
Di sisi lain, interpretasi probabilistik jaringan saraf dalam berasal dari domain pembelajaran mesin. Di sini, konsep seperti inferensi, pelatihan, dan pengujian memainkan peran penting. Nonlinier aktivasi dalam jaringan saraf dianggap sebagai fungsi distribusi kumulatif, yang memfasilitasi kerangka probabilistik untuk memahami perilakunya. Interpretasi ini mengarah pada pengembangan teknik regularisasi seperti dropout, meningkatkan kemampuan generalisasi jaringan saraf.
Sebuah Perjalanan Melalui Evolusi Pembelajaran Mendalam (Deep Learning)
Saat kita memulai perjalanan melalui sejarah kecerdasan buatan, kita akan menemukan evolusi pembelajaran mendalam yang menarik, sebuah landasan teknologi modern. Di dalam sejarahnya, terdapat momen-momen penting dan inovasi terobosan yang telah membentuk lanskap AI seperti yang kita kenal sekarang.
Narasi ini terungkap dengan perbedaan antara feedforward neural networks (FNN) dan recurrent neural networks (RNN). Sementara FNN tidak memiliki siklus dalam struktur konektivitasnya, RNN memilikinya, sehingga membuka jalan bagi arsitektur adaptif. Pada tahun 1920-an, Wilhelm Lenz dan Ernst Ising meletakkan fondasi dengan model Ising, sebuah pendahulu dari RNN yang tidak dapat belajar. Maju cepat ke tahun 1972, Shun'ichi Amari merevolusi arsitektur ini, mendorongnya ke ranah pembelajaran, seperti yang dipopulerkan oleh John Hopfield pada tahun 1982. RNN dengan cepat menjadi sangat diperlukan untuk pengenalan suara dan pemrosesan bahasa.
Karya penting Frank Rosenblatt pada tahun 1960-an memperkenalkan multilayer perceptron (MLP), sebuah pendahulu dari sistem deep learning saat ini. Bersamaan dengan itu, istilah "deep learning" muncul pada tahun 1986, menandai dimulainya era baru. Algoritma terobosan Alexey Ivakhnenko dan Lapa pada tahun 1967 meletakkan dasar untuk MLP yang diawasi, dalam, dan maju ke depan, menyiapkan panggung untuk kemajuan selanjutnya.
Di bidang jaringan saraf konvolusi (CNN), Neocognitron Kunihiko Fukushima pada tahun 1980 mengantarkan era baru untuk visi komputer. Pengenalan fungsi aktivasi rectified linear unit (ReLU) semakin mendorong CNN menjadi sorotan, dan menjadi landasan arsitektur deep learning.
Munculnya backpropagation pada tahun 1970 oleh Seppo Linnainmaa merevolusi pelatihan jaringan saraf, memungkinkan pembelajaran yang efisien melalui perambatan kesalahan. Hal ini membuka jalan bagi kemajuan seperti LSTM (memori jangka pendek yang panjang) oleh Sepp Hochreiter pada tahun 1997, yang mengatasi masalah gradien yang menghilang dan memungkinkan tugas pembelajaran mendalam dengan jalur penugasan yang panjang.
Pergantian milenium menjadi saksi kemunculan jaringan saraf tiruan, memperkenalkan konsep keingintahuan buatan dan meletakkan dasar bagi jaringan saraf tiruan generatif (GAN). Inovasi ini merevolusi pembuatan gambar, membuka jalan bagi aplikasi seperti deepfake.
Di bidang perangkat keras, kemajuan dalam GPU memainkan peran penting, mempercepat pelatihan model pembelajaran mendalam dengan urutan yang sangat besar. "Ledakan besar" deep learning di akhir tahun 2000-an menandai titik balik, mendorong deep learning menjadi arus utama.
Mulai dari melampaui kinerja manusia dalam kontes pengenalan gambar hingga mentransformasi industri seperti perawatan kesehatan dan keuangan, deep learning telah meninggalkan jejak yang tak terhapuskan dalam tatanan masyarakat modern. Saat kami merefleksikan perjalanannya, kami merayakan para visioner dan inovator yang pengejaran pengetahuannya yang tiada henti telah mendorong revolusi deep learning, yang membentuk masa depan kecerdasan buatan.
Pembelajaran Mendalam (Deep Learning): Arti dari Jaringan saraf (Neural networks)
Jaringan Syaraf Tiruan (JST) atau Artificial Neural Networks (ANN) adalah jenis sistem komputasi yang meniru struktur dan fungsi jaringan syaraf biologis dalam otak manusia. Sistem ini dirancang untuk mempelajari dan meningkatkan kinerjanya pada tugas-tugas dengan menganalisis contoh, tanpa perlu pemrograman khusus. JST terdiri dari neuron buatan yang terhubung dengan sinapsis, yang dapat mengirimkan sinyal antar neuron. Neuron dan sinapsis memiliki bobot yang dapat disesuaikan selama pembelajaran untuk memperkuat atau memperlemah sinyal yang dikirimkan. ANN disusun dalam beberapa lapisan, dengan setiap lapisan melakukan jenis transformasi yang berbeda pada data input.
Tujuan awal ANN adalah untuk meniru cara otak manusia memproses informasi, tetapi seiring berjalannya waktu, fokusnya telah bergeser ke kemampuan mental tertentu, yang mengarah pada pengembangan teknik seperti backpropagation. ANN telah diterapkan pada berbagai tugas, termasuk visi komputer, pengenalan suara, penerjemahan mesin, penyaringan jaringan sosial, bermain game, dan diagnosis medis.
Deep Neural Networks (DNN) adalah jenis ANN dengan banyak lapisan antara lapisan input dan output. DNN dapat memodelkan hubungan non-linear yang kompleks dan sangat efektif dalam mengenali pola dalam data. Mereka sering digunakan dalam aplikasi seperti pengenalan gambar, pengenalan suara, dan pemrosesan bahasa alami.
Terlepas dari kesuksesan mereka, ANN dan DNN dapat menghadapi tantangan seperti overfitting, di mana jaringan menjadi terlalu terspesialisasi pada data pelatihan dan berkinerja buruk pada data baru, dan waktu komputasi, di mana jaringan membutuhkan waktu terlalu lama untuk melatih atau membuat prediksi. Untuk mengatasi masalah ini, teknik seperti regularisasi, dropout, dan augmentasi data digunakan untuk mencegah overfitting, serta batching dan pemrosesan paralel digunakan untuk mempercepat komputasi.
Kemajuan Perangkat Keras untuk Pembelajaran Mendalam (Deep Learning)
Dalam beberapa tahun terakhir, perpaduan algoritma pembelajaran mesin dengan perangkat keras komputer telah merevolusi bidang pembelajaran mendalam. Kolaborasi ini telah mengarah pada pengembangan metode yang lebih efisien untuk melatih jaringan saraf dalam, yang ditandai dengan banyaknya lapisan unit tersembunyi non-linier dan lapisan keluaran yang luas. Unit pemrosesan grafis (GPU), yang dilengkapi dengan penyempurnaan khusus AI, telah muncul sebagai perangkat keras pilihan untuk melatih proyek AI cloud komersial berskala besar, melampaui unit pemrosesan pusat (CPU) tradisional. Analisis OpenAI menunjukkan peningkatan eksponensial dalam komputasi perangkat keras, yang menggarisbawahi pesatnya pertumbuhan deep learning.
Untuk lebih mempercepat algoritma pembelajaran mendalam, sirkuit elektronik khusus yang disebut prosesor pembelajaran mendalam telah diperkenalkan. Ini termasuk unit pemrosesan saraf (NPU) yang terintegrasi ke dalam ponsel Huawei dan unit pemrosesan tensor (TPU) yang diterapkan di Google Cloud Platform. Selain itu, Cerebras Systems meluncurkan CS-2, sistem khusus yang memanfaatkan Wafer Scale Engine (WSE-2) generasi kedua untuk menangani model pembelajaran mendalam berukuran besar secara efisien.
Menjelajahi cara-cara inovatif, para peneliti telah mengeksplorasi semikonduktor yang sangat tipis sebagai kandidat potensial untuk perangkat keras pembelajaran mendalam yang hemat energi. Eksperimen yang dilakukan pada tahun 2020 menunjukkan kelayakan penggunaan material saluran aktif area besar untuk perangkat logika-dalam-memori berdasarkan transistor efek medan gerbang mengambang (FGFET), yang menjanjikan operasi logika simultan dan penyimpanan data.
Dalam perkembangan inovatif pada tahun 2021, J. Feldmann dkk. mengusulkan akselerator perangkat keras fotonik terintegrasi yang dirancang untuk pemrosesan konvolusional paralel. Memanfaatkan fotonik terintegrasi, sistem ini menawarkan dua keunggulan berbeda: transfer data paralel besar-besaran melalui multiplexing pembagian panjang gelombang dan sisir frekuensi, serta kecepatan modulasi data yang sangat tinggi. Dengan kapasitas untuk mengeksekusi triliunan operasi yang terakumulasi berkali-kali per detik, fotonik terintegrasi menghadirkan solusi menarik untuk aplikasi AI yang intensif data.
Evolusi perangkat keras dalam pembelajaran mendalam menggarisbawahi upaya tanpa henti untuk mencapai efisiensi dan kecepatan, mendorong inovasi dan terobosan dalam kecerdasan buatan. Ketika para peneliti terus mendorong batas-batas kemajuan teknologi, masa depan memiliki potensi besar untuk optimalisasi lebih lanjut dan peningkatan sistem pembelajaran mendalam melalui inovasi perangkat keras.
Pengaplikasian Pembelajaran Mendalam (Deep Learning) di Berbagai Bidang
Dalam bidang penemuan ilmiah dan kemajuan teknologi, pembelajaran mendalam telah muncul sebagai kekuatan transformatif, merevolusi cara kita mendekati masalah kompleks di berbagai bidang. Dari penemuan obat-obatan hingga aplikasi militer, dari pencitraan medis hingga deteksi penipuan keuangan, algoritma pembelajaran mendalam telah diterapkan untuk mengatasi beberapa tantangan paling mendesak di zaman kita.
Penemuan obat dan toksikologi, misalnya, telah lama terganggu oleh tingginya tingkat kegagalan calon obat dalam proses persetujuan peraturan. Teknik pembelajaran mendalam menawarkan solusi yang menjanjikan dengan memprediksi target biomolekuler, efek di luar target, dan toksisitas obat-obatan potensial serta bahan kimia lingkungan. Alat seperti AtomNet telah berperan penting dalam perancangan obat yang rasional, mengidentifikasi kandidat biomolekul baru untuk penyakit seperti Ebola dan multiple sclerosis.
Dalam manajemen hubungan pelanggan, pembelajaran penguatan mendalam telah digunakan untuk menilai nilai tindakan pemasaran langsung, meningkatkan strategi untuk retensi dan keterlibatan pelanggan. Demikian pula, sistem rekomendasi memanfaatkan pembelajaran mendalam untuk mengekstrak fitur-fitur bermakna untuk rekomendasi konten yang dipersonalisasi, sehingga meningkatkan pengalaman pengguna di berbagai platform.
Di bidang bioinformatika, model pembelajaran mendalam telah digunakan untuk memprediksi anotasi ontologi gen, hubungan fungsi gen, dan bahkan hasil kesehatan berdasarkan data yang dapat dipakai dan catatan kesehatan elektronik. Aplikasi semacam itu tidak hanya memfasilitasi penelitian medis tetapi juga menjanjikan intervensi layanan kesehatan yang dipersonalisasi.
Selain layanan kesehatan, pembelajaran mendalam telah mencapai kemajuan signifikan di berbagai bidang seperti periklanan seluler, restorasi gambar, deteksi penipuan keuangan, dan ilmu material. Misalnya, dalam bidang ilmu material, sistem AI seperti GNoME telah merevolusi penemuan material baru, mempercepat inovasi, dan mengurangi ketergantungan pada eksperimen manual.
Selain itu, teknik pembelajaran mendalam telah dimanfaatkan untuk memecahkan masalah matematika yang kompleks, termasuk persamaan diferensial parsial dan rekonstruksi gambar. Aplikasi ini menunjukkan keserbagunaan dan efektivitas pembelajaran mendalam di berbagai disiplin ilmu.
Menghubungkan Perkembangan Otak dengan Model Komputasi
Inti dari teori perkembangan dan sistem pembelajaran mendalam terletak pada konsep pengorganisasian diri. Sama seperti otak bayi yang mengatur dirinya sendiri di bawah pengaruh berbagai faktor, model pembelajaran mendalam menggunakan filter berlapis hierarki untuk memproses informasi dan beradaptasi dengan lingkungannya.
- Menyelidiki Kemungkinan Neurobiologis:
Para peneliti telah mengeksplorasi kemungkinan neurobiologis model pembelajaran mendalam melalui berbagai pendekatan. Meskipun beberapa pihak berfokus pada penyempurnaan algoritme seperti propagasi mundur untuk meningkatkan realisme pemrosesan, pihak lain berpendapat bahwa metode pembelajaran tanpa pengawasan mungkin lebih mencerminkan proses biologis.
- Analogi dengan Fungsi Otak Manusia:
Meskipun perbandingan sistematis antara jaringan dalam dan organisasi otak manusia sedang berlangsung, beberapa analogi yang mencolok telah dicatat. Komputasi yang dilakukan oleh unit pembelajaran mendalam memiliki kemiripan dengan neuron sebenarnya, dan representasi yang dikembangkan oleh model ini selaras dengan yang diamati dalam sistem visual primata.
Aplikasi Komersial Pembelajaran Mendalam
- Lab AI Facebook:
Facebook menggunakan algoritme pembelajaran mendalam untuk secara otomatis menandai gambar yang diunggah dengan nama individu, menunjukkan penerapan praktis teknologi ini di platform media sosial.
- Pikiran Dalam Google:
DeepMind Technologies, anak perusahaan Google, telah mengembangkan sistem canggih yang mampu mempelajari tugas-tugas kompleks, seperti bermain video game Atari dan menguasai permainan kuno Go, yang menunjukkan keserbagunaan pembelajaran mendalam dalam memecahkan beragam tantangan.
- Kovarian.ai:
Covariant.ai berfokus pada pengintegrasian pembelajaran mendalam ke dalam operasi pabrik, menyoroti potensinya untuk meningkatkan efisiensi dan otomatisasi di lingkungan industri.
- Inovasi dalam Robotika:
Kolaborasi penelitian seperti Deep TAMER, kolaborasi antara Laboratorium Penelitian Angkatan Darat A.S. dan Universitas Texas di Austin, memanfaatkan pembelajaran mendalam yang memungkinkan robot mempelajari tugas-tugas baru melalui observasi dan interaksi manusia.
Kritik dan Komentar tentang Pembelajaran Mendalam
- Validasi Teori dan Empiris:
Kritikus berpendapat bahwa metode pembelajaran mendalam tidak memiliki landasan teori yang komprehensif, sehingga sangat bergantung pada validasi empiris daripada kerangka teori yang ketat.
- Keterbatasan dan Mewujudkan AI yang Kuat:
Pembelajaran mendalam, meskipun bermanfaat, dipandang sebagai batu loncatan untuk mencapai AI yang kuat. Ia masih kekurangan kemampuan untuk merepresentasikan hubungan sebab akibat, melakukan inferensi logis, dan mengintegrasikan pengetahuan abstrak yang penting untuk kecerdasan umum buatan yang sebenarnya.
- Tantangan dan Pertimbangan Etis:
Permasalahan seperti perilaku bermasalah dalam arsitektur pembelajaran mendalam, kerentanan terhadap ancaman dunia maya, dan kekhawatiran etika terkait pengumpulan data menggarisbawahi perlunya evaluasi kritis dan penerapan teknologi ini secara bertanggung jawab.
Disadur dari: en.wikipedia.org