diklatkerja | Memahami Pembelajaran Tanpa Pengawasan (Unsupervised Learning) dalam Jaringan Saraf Tiruan

Sumber: juliyantananda1607.medium.com/unsupervised-machine-learning-k-means-clustering-with-r

Pembelajaran tanpa pengawasan (unsupervised learning) adalah sebuah metode dalam pembelajaran mesin di mana algoritma belajar pola-pola secara ekslusif dari data yang tidak berlabel. Tujuannya adalah melalui peniruan (mimicry), yang merupakan mode pembelajaran penting pada manusia, mesin dipaksa untuk membangun representasi yang ringkas tentang dunianya dan kemudian menghasilkan konten imajinatif darinya.

Metode lain dalam spektrum pengawasan adalah Pembelajaran Penguatan (Reinforcement Learning) di mana mesin hanya diberikan skor kinerja numerik sebagai panduan, dan Pembelajaran Lemah atau Semi-Pengawasan di mana sebagian kecil data diberi label, dan Pembelajaran Kendali Sendiri (Self-Supervision).

Tugas vs. Metode dalam Jaringan Saraf Tiruan

Tugas jaringan saraf tiruan sering dikategorikan sebagai diskriminatif (pengenalan) atau generatif (imajinasi). Meskipun tidak selalu, tugas diskriminatif cenderung menggunakan metode pembelajaran terbimbing, sedangkan tugas generatif menggunakan pembelajaran tanpa pengawasan. Namun, pemisahan ini sangat kabur. Misalnya, pengenalan objek cenderung menggunakan pembelajaran terbimbing, tetapi pembelajaran tanpa pengawasan juga dapat mengelompokkan objek ke dalam kelompok. Selain itu, seiring kemajuan, beberapa tugas menggunakan kombinasi kedua metode, dan beberapa tugas beralih dari satu metode ke metode lainnya. Sebagai contoh, pengenalan gambar awalnya sangat bergantung pada pembelajaran terbimbing, tetapi kemudian menjadi hibrida dengan menggunakan pra-pelatihan tanpa pengawasan, dan akhirnya kembali ke metode terbimbing dengan munculnya dropout, ReLU, dan learning rate adaptif.

Proses Pelatihan

Selama fase pembelajaran, jaringan tanpa pengawasan berusaha meniru data yang diberikan dan menggunakan kesalahan dalam hasil tiru-tiruan untuk memperbaiki diri sendiri (yaitu, memperbaiki bobot dan biasnya). Terkadang kesalahan diekspresikan sebagai probabilitas rendah bahwa output yang salah terjadi, atau mungkin diekspresikan sebagai keadaan energi tinggi yang tidak stabil dalam jaringan.

Berbeda dengan metode terbimbing yang mendominasi penggunaan backpropagation, pembelajaran tanpa pengawasan juga menggunakan metode lain termasuk: Aturan Pembelajaran Hopfield, Aturan Pembelajaran Boltzmann, Contrastive Divergence, Wake Sleep, Inferensi Variasional, Maximum Likelihood, Maximum A Posteriori, Gibbs Sampling, dan backpropagating reconstruction errors atau hidden state reparameterizations.

Energ

Sebuah fungsi energi adalah ukuran makroskopik dari keadaan aktivasi jaringan. Dalam mesin Boltzmann, fungsi ini memainkan peran sebagai Fungsi Biaya. Analogi dengan fisika ini terinspirasi oleh analisis Ludwig Boltzmann tentang energi makroskopik gas dari probabilitas mikroskopik gerakan partikel $p\propto e^{-E/kT}$ , di mana k adalah konstanta Boltzmann dan T adalah suhu. Dalam jaringan RBM, relasinya adalah $p=e^{-E}/Z$ , di mana $p$ dan $E$ bervariasi di setiap pola aktivasi yang mungkin dan $\textstyle {Z=\sum _{\scriptscriptstyle {\text{All Patterns}}}e^{-E({\text{pattern}})}}$ . Untuk lebih jelas, $p(a)=e^{-E(a)}/Z$ , di mana $a$ adalah pola aktivasi semua neuron (terlihat dan tersembunyi). Oleh karena itu, beberapa jaringan saraf awal dinamakan Mesin Boltzmann. Paul Smolensky menyebut $-E\,$ sebagai Harmoni. Sebuah jaringan mencari energi rendah yang berarti Harmoni tinggi.

Jenis-Jenis Jaringan

Artikel ini menyajikan diagram koneksi berbagai jaringan tanpa pengawasan, di mana detail akan diberikan dalam bagian Perbandingan Jaringan. Lingkaran mewakili neuron dan tepi di antaranya adalah bobot koneksi. Seiring perubahan desain jaringan, fitur ditambahkan untuk memungkinkan kemampuan baru atau dihilangkan untuk mempercepat pembelajaran. Misalnya, neuron berubah antara deterministik (Hopfield) dan stokastik (Boltzmann) untuk memungkinkan output yang kuat, bobot dihilangkan dalam satu lapisan (RBM) untuk mempercepat pembelajaran, atau koneksi diizinkan menjadi asimetris (Helmholtz).

_{Contoh gambar.}

Dalam dunia pembelajaran mesin, pembelajaran tanpa pengawasan (unsupervised learning) memegang peran penting dalam mengekstraksi pola dan struktur tersembunyi dari data tanpa label. Artikel ini akan mengeksplorasi beberapa metode dan jaringan yang digunakan dalam pembelajaran tanpa pengawasan, serta memberikan gambaran tentang perkembangan historisnya.

Sejarah Singkat:

1969: Perceptrons oleh Minsky & Papert menunjukkan bahwa perceptron tanpa lapisan tersembunyi gagal pada masalah XOR.
1974: Model magnetik Ising diusulkan oleh WA Little untuk kognisi.
1980: Fukushima memperkenalkan neocognitron, yang kemudian disebut jaringan konvolusi, banyak digunakan dalam pembelajaran terbimbing.
1982: Varian Ising, Jaringan Hopfield, dijelaskan sebagai CAM (Content Addressable Memory) dan pengklasifikasi oleh John Hopfield.
1983: Varian Ising lain, Mesin Boltzmann dengan neuron probabilistik, diperkenalkan oleh Hinton & Sejnowski.
1986: Paul Smolensky menerbitkan Teori Harmoni, yang merupakan RBM dengan fungsi energi Boltzmann yang praktis sama.
1995: Schmidthuber memperkenalkan neuron LSTM untuk bahasa.
1995: Dayan & Hinton memperkenalkan Mesin Helmholtz.
2013: Kingma, Rezende, & co. memperkenalkan Variational Autoencoder sebagai jaringan probabilitas grafis Bayesian dengan neural network sebagai komponen.

Jenis-Jenis Jaringan:

Jaringan Hopfield: Terinspirasi dari feromagnetisme, neuron menyerupai domain besi dengan momen magnetik biner. Koneksi simetris memungkinkan formulasi energi global.
Mesin Boltzmann: Varian stokastik dari Jaringan Hopfield, di mana nilai state diambil dari pdf Bernoulli.
Sigmoid Belief Net: Menerapkan ide dari model grafis probabilistik ke neural network. Jaringannya adalah grafik asiklik berarah yang jarang terhubung dengan neuron stokastik biner.
Deep Belief Network: Hibrida dari RBM dan Sigmoid Belief Network, dengan dua lapisan teratas adalah RBM dan lapisan bawah membentuk sigmoid belief network.
Mesin Helmholtz: Kombinasi dua jaringan dalam satu - bobot maju untuk pengenalan dan bobot mundur untuk imajinasi. Inspirasi awal untuk Variational Auto Encoders.
Variational Autoencoder: Terinspirasi oleh Mesin Helmholtz, menggabungkan jaringan probabilitas dengan neural network. Encoder sebagai distribusi probabilitas dan decoder sebagai jaringan neural.

Metode Lainnya:

Pembelajaran Hebbian: Prinsip bahwa neuron yang memicu bersama akan terhubung, mendasari fungsi kognitif seperti pengenalan pola dan pembelajaran pengalaman.
Self-Organizing Map (SOM) dan Adaptive Resonance Theory (ART) adalah model neural network yang umum digunakan dalam algoritma pembelajaran tanpa pengawasan.
Metode probabilistik seperti analisis komponen utama dan kluster digunakan dalam pembelajaran tanpa pengawasan untuk menemukan kesamaan dan kelompok dalam data.
Metode momen digunakan untuk mempelajari parameter model variabel laten, seperti dalam pemodelan topik.

Dengan eksplorasi terus-menerus dalam metode pembelajaran tanpa pengawasan, kita dapat meningkatkan kemampuan kecerdasan buatan dalam mengekstraksi wawasan berharga dari data kompleks tanpa label, membuka pintu untuk penemuan dan inovasi baru di berbagai bidang.

Disadur dari: id.wikipedia.org