Jaringan ad hoc nirkabel, juga dikenal sebagai WANET atau MANET, mewakili pendekatan terdesentralisasi untuk komunikasi nirkabel, berbeda dari pengaturan infrastruktur tradisional. Tidak seperti jaringan yang bergantung pada router tetap atau titik akses, jaringan ad hoc dibentuk secara spontan oleh perangkat yang berpartisipasi itu sendiri. Setiap node dalam jaringan berperan dalam merutekan data untuk node lain, secara dinamis menentukan penerusan data berdasarkan konektivitas jaringan dan algoritma perutean yang digunakan.

Ciri khas dari jaringan semacam ini terletak pada kesederhanaan pengaturan dan administrasinya, yang memungkinkan perangkat untuk membuat koneksi dan bergabung dengan jaringan di mana saja. Dalam MANET, setiap perangkat bebas bergerak secara independen ke segala arah, sehingga sering terjadi perubahan pada sambungan jaringan. Akibatnya, setiap perangkat berfungsi sebagai router, meneruskan lalu lintas yang bahkan tidak terkait dengan penggunaannya sendiri.

Tantangan utama dalam MANET adalah memastikan bahwa setiap perangkat terus menjaga informasi yang diperlukan untuk perutean lalu lintas yang efektif. Seiring dengan meningkatnya skala jaringan, mempertahankan status perutean secara real-time menjadi semakin kompleks karena faktor-faktor seperti lalu lintas overhead, goodput node individu, dan bandwidth komunikasi yang terbatas.

Jaringan ini dapat beroperasi secara mandiri atau terhubung ke Internet yang lebih luas, sering kali menampilkan beberapa transceiver antar node, sehingga menghasilkan topologi yang dinamis dan otonom. Biasanya, MANET memiliki lingkungan jaringan yang dapat dirutekan yang dilapisi di atas jaringan lapisan tautan ad hoc.

Sejarah Singkat

Secara historis, konsep jaringan ad hoc nirkabel sudah ada sejak awal tahun 1970-an dengan proyek PRNET yang disponsori oleh DARPA. Namun, baru pada pertengahan tahun 1990-an dengan munculnya kartu radio 802.11 yang murah, upaya akademis dan penelitian yang signifikan dimulai. Karya perintis oleh Charles Perkins dan Chai Keong Toh di awal tahun 1990-an meletakkan dasar untuk protokol routing seperti DSDV dan ABR, yang pada akhirnya mengarah pada implementasi praktis jaringan seluler ad hoc.

Sejak saat itu, jaringan ad hoc nirkabel tetap menjadi area penelitian yang dinamis, terus berkembang untuk mengatasi tantangan mobilitas, skalabilitas, dan perutean yang efisien. Dengan kemajuan teknologi dan protokol yang terus berlanjut, jaringan ini menjanjikan untuk beragam aplikasi mulai dari operasi militer hingga konektivitas sipil di lingkungan yang terpencil atau yang berubah dengan cepat.

Aplikasi Jaringan Nirkabel Ad Hoc

Jaringan nirkabel ad hoc adalah jaringan desentralisasi yang tidak bergantung pada infrastruktur tetap seperti menara radio atau titik akses. Jaringan ini terbentuk secara dinamis ketika perangkat seperti ponsel pintar, tablet, atau kendaraan saling terhubung secara langsung tanpa perantara. Sifat ad hoc yang fleksibel dan mudah didirikan membuatnya cocok untuk berbagai aplikasi, antara lain:

1. Jaringan Kendaraan (VANETs) Kendaraan dapat berkomunikasi satu sama lain secara langsung menggunakan gelombang radio, membentuk jaringan sementara untuk berbagi informasi lalu lintas, mencegah kecelakaan, dan meningkatkan kecerdasan berkendara.
2. Jaringan Militer Taktis Pasukan militer memanfaatkan jaringan ad hoc untuk komunikasi lapangan yang cepat, aman, dan tanpa bergantung pada infrastruktur tetap yang rawan diserang. Jaringan ini memungkinkan penyebaran cepat, mobilitas tinggi, dan ketahanan terhadap gangguan.
3. Jaringan Pesawat Tanpa Awak (FANETs) Pesawat tanpa awak dapat berkomunikasi satu sama lain membentuk jaringan ad hoc di udara. Ini memungkinkan mereka berkoordinasi, berbagi data, dan melakukan misi pengintaian atau pengiriman barang secara efisien.
4. Jaringan Kapal Kapal-kapal angkatan laut dapat membentuk jaringan ad hoc sementara di laut untuk komunikasi cepat antar kapal dan berbagi data multimedia dengan kecepatan tinggi.
5. Jaringan Sensor Sensor nirkabel seperti pendeteksi suhu, kelembapan, atau kebisingan dapat membentuk jaringan ad hoc untuk mengumpulkan data secara luas dan real-time tanpa infrastruktur tetap.
6. Jaringan Robot Robot dapat berkoordinasi membentuk jaringan ad hoc untuk berbagi informasi lokal dan memutuskan cara terbaik melaksanakan tugas secara kolaboratif.
7. Tanggap Bencana Saat bencana merusak infrastruktur komunikasi, jaringan ad hoc memungkinkan petugas mengirim informasi dan berkoordinasi untuk upaya tanggap darurat dan penyelamatan.
8. Jaringan Rumah Sakit Perangkat medis seperti sensor pasien, kamera video, dan instrumen dapat saling terhubung melalui jaringan ad hoc untuk memantau pasien, mengumpulkan data, dan menyampaikan peringatan dengan cepat.

Dengan mobilitas tinggi, penyebaran cepat, dan skalabilitas yang baik, jaringan ad hoc menawarkan solusi komunikasi fleksibel untuk berbagai kebutuhan di lapangan tanpa bergantung pada infrastruktur tetap.

Tantangan dalam Jaringan Ad Hoc Nirkabel: Menavigasi Kompleksitas untuk Konektivitas yang Lancar

Jaringan ad hoc nirkabel, yang dikenal karena sifatnya yang terdesentralisasi dan bergerak, menawarkan sejumlah keuntungan di berbagai aplikasi seperti bantuan bencana, komunikasi militer, dan pemantauan lingkungan. Namun, di tengah manfaat yang menjanjikan tersebut, jaringan-jaringan ini menghadapi tantangan teknis dan implementasi yang signifikan, bersamaan dengan efek samping potensial seperti polusi spektrum radio.

Keuntungan bagi Pengguna:

• Sifat terdesentralisasi dan mobilitas memungkinkan aplikasi yang serbaguna di berbagai sektor.
• Ketahanan ditingkatkan karena perantaraan multi-hop informasi, mengurangi risiko titik-titik kegagalan tunggal.
• Fleksibilitas, skalabilitas, dan biaya administrasi yang lebih rendah berkontribusi pada daya tarik jaringan ad hoc dibandingkan dengan jaringan topologi tetap.

Kesulitan Implementasi:

• Variasi kinerja jaringan karena tidak adanya arsitektur tetap dan topologi dinamis.
• Dampak mobilitas perangkat pada kinerja jaringan, menyebabkan peningkatan pengiriman ulang data dan tantangan alokasi sumber daya.
• Memodelkan mobilitas manusia secara akurat tetap menjadi tantangan berkelanjutan karena berbagai faktor yang memengaruhinya.

Efek Samping:

• Penggunaan spektrum frekuensi tanpa lisensi berkontribusi pada polusi spektrum radio.

Radio dan Modulasi:

• Pemilihan frekuensi radio dan modulasi melibatkan kompromi, mempertimbangkan faktor seperti lebar pita, konsumsi daya, dan mobilitas.
• Berbagai jenis radio dan teknik modulasi digunakan, masing-masing dengan keuntungan dan keterbatasan tersendiri.
• Teknologi Wi-Fi generasi berikutnya seperti 802.11ax dan WiGi menawarkan kapasitas dan throughput yang lebih baik untuk jaringan ad hoc berkinerja tinggi.

Tumpukan Protokol:

• Tantangan meluas di berbagai lapisan tumpukan protokol OSI, termasuk akses media, routing, dan lapisan transport.
• Mobilitas tinggi node-node membuat sulit menjaga koneksi yang stabil dan routing yang efisien.
• Desain lintas-lapisan memfasilitasi pengambilan keputusan optimal dan pertukaran informasi antara lapisan fisik dan lapisan atas.

Routing:

• Protokol routing dalam jaringan ad hoc terbagi menjadi kategori proaktif, reaktif, dan hibrida, masing-masing dengan kelebihan dan kekurangannya sendiri.
• Tantangannya termasuk keterlambatan dalam penemuan rute, banjir jaringan, dan perlunya penanganan yang efisien terhadap koneksi yang putus.

Persyaratan Teknis untuk Implementasi:

• Ketahanan jaringan bergantung pada sumber daya node, sifat perilaku, dan karakteristik link.
• Restrukturisasi dinamis link membutuhkan solusi yang tepat waktu, efisien, dan scalable untuk memastikan konektivitas yang berkelanjutan.

Secara ringkas, meskipun jaringan ad hoc nirkabel menawarkan potensi besar untuk berbagai aplikasi, menangani tantangan yang terkait adalah kunci untuk mewujudkan manfaatnya secara penuh. Dengan penelitian dan inovasi yang terus berlangsung, mengatasi hambatan-hambatan ini akan membuka jalan bagi solusi jaringan ad hoc yang lebih tangguh, efisien, dan dapat diskalakan di masa depan.

Kontrol Akses Media

Dalam kebanyakan jaringan ad hoc nirkabel, node-node bersaing untuk mengakses medium nirkabel bersama, yang sering kali menghasilkan tabrakan (interference). Tabrakan dapat ditangani menggunakan penjadwalan terpusat atau protokol akses kontenisi terdistribusi. Dengan menggunakan komunikasi nirkabel yang kooperatif, kekebalan terhadap interferensi ditingkatkan dengan cara node tujuan menggabungkan interferensi diri dan interferensi dari node lain untuk meningkatkan proses dekoding sinyal yang diinginkan.

Simulasi

• Pemodelan dan simulasi (M&S) penting untuk meramalkan berbagai situasi dalam jaringan ad hoc.
• Alat simulasi seperti OPNET, NetSim, atau ns2 digunakan untuk melakukan pengujian parameter dan analisis what-if.
• Faktor-faktor seperti topologi jalan, multi-path fading, kecepatan kendaraan, dan perilaku pengemudi harus dipertimbangkan dalam simulasi.

Uji Coba Emulasi:

• Pada tahun 2009, ARL dan NRL mengembangkan testbed emulasi Jaringan Ad-Hoc Bergerak untuk menguji algoritma dan aplikasi.
• Testbed ini menggunakan perangkat lunak "MANE" (Mobile Ad hoc Network Emulator) yang dikembangkan oleh NRL.

Model Matematika:

• Model tradisionalnya adalah graf geometrik acak, digunakan untuk mensimulasikan jaringan mobile ad hoc.
• Node-node tersebar secara acak dalam ruang fisik, dengan setiap node memiliki jangkauan radio tetap.
• Node-node dipindahkan berdasarkan model acak, menghasilkan panjang rute dan jumlah multi-hop yang berbeda.

Keamanan Jaringan Ad Hoc Nirkabel

Sebagian besar jaringan ad hoc nirkabel rentan terhadap serangan karena kurangnya kontrol akses, yang dapat menyebabkan penggunaan sumber daya yang berlebihan atau penundaan paket yang tidak diinginkan. Untuk melindungi jaringan, diperlukan mekanisme otentikasi yang memastikan hanya node yang diotorisasi yang dapat mengakses jaringan. Namun, jaringan tetap rentan terhadap serangan pelepasan atau penundaan paket.

Dalam lingkungan yang berubah-ubah, mengamankan 'sesi' dengan setiap node secara individual tidaklah praktis. Sebagai gantinya, penggunaan kunci prabagian untuk enkripsi di lapisan link menjadi solusi umum.

Manajemen kepercayaan dalam jaringan ad hoc menghadapi tantangan karena keterbatasan sumber daya dan kompleksitas interaksi jaringan. Pendekatan yang diperlukan adalah pengembangan metrik kepercayaan komposit yang memperhitungkan berbagai aspek jaringan dan skema manajemen kepercayaan yang sesuai. Meskipun penting, pemantauan terus-menerus setiap node dalam jaringan merupakan tugas yang sulit karena ketidakkontinuan jaringan dan keterbatasan sumber daya.

Disadur dari: en.wikipedia.org/wiki/Wireless_ad_hoc_network

Pembelajaran terpandu (supervised learning) merupakan salah satu paradigma dalam machine learning di mana data masukan (seperti vektor fitur) dan nilai keluaran yang diinginkan (sinyal pengawasan berlabel manusia) digunakan untuk melatih sebuah model. Data pelatihan diproses untuk membangun sebuah fungsi yang memetakan data baru ke nilai keluaran yang diharapkan. Skenario optimal akan memungkinkan algoritma untuk menentukan nilai keluaran dengan benar untuk instance yang belum pernah dilihat sebelumnya.

Langkah-langkah dalam Pembelajaran Terpandu:

1. Menentukan jenis contoh pelatihan (seperti karakter tulisan tangan, kata, atau kalimat).
2. Mengumpulkan data pelatihan yang representatif dari penggunaan dunia nyata.
3. Menentukan representasi fitur masukan dari fungsi yang akan dipelajari.
4. Menentukan struktur fungsi yang dipelajari dan algoritma pembelajaran terkait (seperti Support Vector Machines, Regresi Logistik, atau Pohon Keputusan).
5. Menjalankan algoritma pembelajaran pada data pelatihan dan menyesuaikan parameter kontrol.
6. Mengevaluasi akurasi fungsi yang dipelajari pada data uji yang terpisah dari data pelatihan.

Dalam memilih algoritma pembelajaran terpandu, ada beberapa faktor penting yang perlu dipertimbangkan, seperti trade-off bias-varians, kompleksitas fungsi, dimensi ruang masukan, dan kebisingan dalam nilai keluaran. Trade-off bias-varians mengacu pada keseimbangan antara kemampuan model untuk mempelajari pola dengan baik (bias rendah) dan kemampuannya untuk mengeneralisasi pola tersebut pada data baru (varians rendah). Kompleksitas fungsi mengacu pada seberapa rumit fungsi yang dipelajari, semakin kompleks semakin banyak data yang dibutuhkan untuk melatihnya dengan baik. Dimensi ruang masukan mengacu pada jumlah fitur yang digunakan, semakin banyak fitur semakin sulit untuk mempelajari pola yang relevan. Kebisingan dalam nilai keluaran mengacu pada adanya kesalahan atau noise dalam data pelatihan, yang dapat menyebabkan overfitting jika tidak ditangani dengan baik.

Algoritma yang populer digunakan antara lain Support Vector Machines, Regresi Linear, Regresi Logistik, Naive Bayes, Linear Discriminant Analysis, Pohon Keputusan, K-Nearest Neighbor, Jaringan Syaraf Tiruan (Multilayer Perceptron), dan Similarity Learning. Masing-masing algoritma memiliki kelebihan dan kekurangan tersendiri, sehingga pemilihan algoritma yang tepat sangat bergantung pada karakteristik masalah dan data yang dimiliki.

Secara umum, algoritma pembelajaran terpandu bekerja dengan mencari fungsi yang meminimalkan risiko empiris (kesalahan pada data pelatihan) atau meminimalkan risiko struktural (yang juga memperhitungkan kompleksitas fungsi). Risiko empiris mengacu pada seberapa baik model dapat mempelajari pola dari data pelatihan, sedangkan risiko struktural juga memperhitungkan kemampuan model untuk mengeneralisasi pola tersebut pada data baru.

Selain itu, ada beberapa generalisasi dari masalah pembelajaran terpandu standar, seperti semi-supervised learning, active learning, structured prediction, dan learning to rank. Semi-supervised learning melibatkan penggunaan data yang sebagian berlabel dan sebagian tidak berlabel untuk melatih model. Active learning melibatkan proses interaktif di mana algoritma dapat meminta label untuk data tertentu selama proses pelatihan. Structured prediction digunakan ketika nilai keluaran yang diinginkan adalah objek kompleks seperti pohon parsing atau grafik berlabel. Learning to rank digunakan ketika masukan berupa kumpulan objek dan nilai keluaran yang diinginkan adalah peringkat dari objek-objek tersebut.

Dengan kemampuannya dalam mempelajari pola dari data berlabel, pembelajaran terpandu menjadi salah satu pendekatan penting dalam machine learning untuk membangun model yang dapat melakukan prediksi atau pengambilan keputusan berdasarkan data baru yang belum pernah dilihat sebelumnya. Aplikasinya sangat luas, mulai dari pengenalan pola, pengolahan bahasa alami, analisis sentimen, rekomendasi sistem, dan banyak lagi. Dengan memahami konsep dasar dan memilih algoritma yang tepat, pembelajaran terpandu dapat menjadi alat yang sangat kuat untuk mengekstrak pengetahuan dari data dan membantu pengambilan keputusan yang lebih baik.
 

Disadur dari: id.wikipedia.org/en.wikipedia.org/wiki/Supervised_learning

Dalam dunia pembelajaran mesin, adakalanya kita dihadapkan pada situasi di mana tidak semua data memiliki label. Inilah yang menjadi tantangan dalam paradigma pembelajaran tanpa pengawasan (unsupervised learning). Namun, dengan munculnya model bahasa besar, kebutuhan akan data berlabel dalam jumlah besar menjadi semakin tinggi. Di sinilah peran weak supervision (pengawasan lemah) menjadi relevan.

Weak supervision merupakan paradigma pembelajaran mesin yang mengombinasikan sedikit data berlabel (yang biasanya digunakan dalam pembelajaran terbimbing/supervised learning) dengan sejumlah besar data tidak berlabel (yang biasanya digunakan dalam pembelajaran tanpa pengawasan/unsupervised learning). Dengan kata lain, nilai output yang diinginkan hanya diberikan untuk sebagian dari data pelatihan. Sisa datanya tidak berlabel atau berlabel secara tidak tepat.

_{Kecenderungan suatu tugas menggunakan metode yang diawasi vs. tidak diawasi. Nama tugas yang mengangkangi batas lingkaran memang disengaja. Hal ini menunjukkan bahwa pembagian tugas imajinatif klasik (kiri) yang menggunakan metode tanpa pengawasan tidak jelas dalam skema pembelajaran saat ini.}

Secara intuitif, weak supervision dapat diibaratkan seperti ujian, di mana data berlabel bertindak sebagai contoh soal yang dijawab oleh guru untuk membantu siswa menyelesaikan soal-soal lain yang belum terjawab (data tidak berlabel). Dalam pengaturan transduktif, soal-soal yang belum terjawab ini bertindak sebagai soal ujian. Sedangkan dalam pengaturan induktif, mereka menjadi soal-soal latihan yang akan membentuk ujian.

Teknis, weak supervision dapat dilihat sebagai melakukan pengelompokan (clustering) dan kemudian memberi label pada kelompok-kelompok tersebut dengan data berlabel, mendorong batas keputusan (decision boundary) menjauh dari wilayah dengan densitas tinggi, atau mempelajari manifold satu dimensi di mana data berada.

Asumsi yang digunakan dalam weak supervision antara lain:

1. Asumsi kontinuitas/kelancaran: Titik-titik yang berdekatan cenderung memiliki label yang sama.
2. Asumsi kelompok: Data cenderung membentuk kelompok-kelompok diskrit, dan titik dalam kelompok yang sama cenderung memiliki label yang sama.
3. Asumsi manifold: Data terletak pada manifold dengan dimensi yang jauh lebih rendah daripada ruang input.

Metode 

Beberapa metode yang digunakan dalam weak supervision meliputi model generatif, separasi densitas rendah, regularisasi Laplacian, dan pendekatan heuristik seperti self-training dan co-training.

• Generative Models:

Salah satu pendekatan utama dalam semi-supervised learning adalah menggunakan model generatif. Model ini berusaha untuk memahami distribusi data dari masing-masing kelas. Dengan menggunakan aturan Bayes, probabilitas bahwa suatu data tertentu memiliki label tertentu adalah proporsional terhadap distribusi tersebut. Model generatif ini mengasumsikan distribusi tertentu yang dapat diatur oleh parameter tertentu. Namun, jika asumsi-asumsi tersebut tidak tepat, data yang tidak terlabel dapat mengurangi akurasi solusi, meskipun jika asumsi tersebut benar, data yang tidak terlabel dapat meningkatkan kinerja model.

• Low-Density Separation:

Metode lain yang umum digunakan adalah pemisahan low-density. Salah satu algoritma yang populer adalah Transductive Support Vector Machine (TSVM), yang bertujuan untuk memisahkan data yang tidak terlabel dengan tepat. TSVM memilih batas keputusan yang memiliki margin maksimal terhadap semua data. Selain itu, pendekatan lain seperti Gaussian process models, information regularization, dan entropy minimization juga digunakan dalam konteks ini.

• Laplacian Regularization:

Regulasi Laplacian juga merupakan metode yang umum digunakan dalam semi-supervised learning. Metode ini menggunakan representasi grafik dari data, dimana setiap titik data dihubungkan dengan tetangganya. Tujuannya adalah untuk memaksimalkan kehalusan solusi relatif terhadap manifold data. Graph Laplacian digunakan untuk mendekati regulasi intrinsik.

• Heuristic Approaches:

Beberapa metode dalam semi-supervised learning tidak secara intrinsik dirancang untuk memanfaatkan data yang tidak terlabel, melainkan menggunakan data tersebut dalam kerangka pembelajaran yang terawasi. Salah satunya adalah self-training, dimana model pertama kali dilatih dengan data terlabel, lalu diterapkan pada data yang tidak terlabel untuk menghasilkan lebih banyak data terlabel. Metode lainnya adalah co-training, yang melibatkan beberapa klasifikasi yang dilatih pada fitur yang berbeda.

Solusi Weak supervision

Weak supervision menawarkan solusi yang menjanjikan untuk masalah pembelajaran mesin di mana data berlabel sulit atau mahal untuk diperoleh, tetapi data tidak berlabel tersedia dalam jumlah besar. Dengan mengoptimalkan penggunaan data berlabel dan tidak berlabel, kita dapat meningkatkan kinerja model dan membuka peluang untuk aplikasi yang lebih luas dalam berbagai bidang.

Disadur dari: en.wikipedia.org 

Reinforcement learning (RL) adalah area interdisipliner dalam pembelajaran mesin dan kontrol optimal yang berfokus pada bagaimana agen cerdas seharusnya mengambil tindakan dalam lingkungan dinamis untuk memaksimalkan penghargaan (reward) kumulatif. Reinforcement learning merupakan salah satu dari tiga paradigma utama pembelajaran mesin, bersama dengan pembelajaran terbimbing (supervised learning) dan pembelajaran tanpa pengawasan (unsupervised learning).

Berbeda dengan pembelajaran terbimbing, Reinforcement Learning tidak memerlukan pasangan input/output berlabel untuk dihadirkan, dan tidak memerlukan tindakan suboptimal untuk dikoreksi secara eksplisit. Fokusnya adalah menemukan keseimbangan antara eksplorasi (wilayah yang belum dipetakan) dan eksploitasi (pengetahuan saat ini) dengan tujuan memaksimalkan penghargaan jangka panjang, yang mungkin memiliki umpan balik yang tidak lengkap atau tertunda.

Lingkungan Reinforcement Learning biasanya dinyatakan dalam bentuk Markov Decision Process (MDP), karena banyak algoritma Reinforcement Learning untuk konteks ini menggunakan teknik pemrograman dinamis. Perbedaan utama antara metode pemrograman dinamis klasik dan algoritma Reinforcement Learning adalah bahwa yang terakhir tidak mengasumsikan pengetahuan model matematika yang tepat dari MDP dan menargetkan MDP besar di mana metode yang tepat menjadi tidak layak.

Reinforcement Learning diaplikasikan secara sukses pada berbagai masalah, termasuk operasi penyimpanan energi, kontrol robot, pengiriman generator fotovoltaik, permainan papan seperti backgammon, catur, Go (AlphaGo), dan sistem mengemudi otonom. Dua elemen yang membuat Reinforcement Learning powerful adalah penggunaan sampel untuk mengoptimalkan kinerja dan penggunaan pendekatan fungsi untuk menangani lingkungan besar.

_{Kerangka umum skenario Reinforcement Learning (RL): seorang agen mengambil tindakan dalam suatu lingkungan, yang diinterpretasikan menjadi hadiah dan representasi negara, yang kemudian dimasukkan kembali ke dalam agen.}

Dalam RL, dilema eksplorasi vs eksploitasi telah dipelajari secara mendalam, terutama melalui masalah multi-armed bandit dan untuk ruang keadaan hingga MDP. Reinforcement Learning memerlukan mekanisme eksplorasi yang cerdik, karena memilih tindakan secara acak tanpa mempertimbangkan distribusi probabilitas yang diperkirakan menunjukkan kinerja yang buruk. Metode seperti ε-greedy digunakan untuk keseimbangan eksplorasi-eksploitasi, di mana dengan probabilitas 1-ε, eksploitasi dipilih (tindakan yang diyakini terbaik), dan dengan probabilitas ε, eksplorasi dipilih (tindakan dipilih secara acak).

Reinforcement Learning menawarkan pendekatan yang menarik untuk mempelajari perilaku optimal dalam lingkungan yang dinamis dan kompleks, di mana penghargaan jangka panjang harus dipertimbangkan. Dengan kemampuannya dalam mengoptimalkan kinerja dari sampel dan menangani lingkungan besar melalui pendekatan fungsi, Reinforcement Learning terus menjadi area penelitian yang penting dalam kecerdasan buatan dan memiliki banyak aplikasi praktis dalam berbagai domain.

Algoritma untuk Kontrol Pembelajaran 

Dalam ranah pembelajaran mesin, khususnya dalam konteks kontrol, algoritme memainkan peran penting dalam menguraikan tindakan terbaik untuk memaksimalkan imbalan kumulatif. Bahkan ketika kita mengasumsikan bahwa keadaan tersebut dapat diamati, tantangannya terletak pada pemanfaatan pengalaman masa lalu untuk menentukan tindakan mana yang menghasilkan imbalan yang lebih tinggi dari waktu ke waktu.

• Optimalitas: Jalan Menuju Efisiensi

Inti dari pembelajaran kontrol terletak pada gagasan optimalitas, di mana proses pengambilan keputusan agen dirangkum dalam sebuah kebijakan. Sebuah kebijakan berfungsi sebagai peta yang menentukan probabilitas pemilihan tindakan tertentu dalam keadaan tertentu. Melalui kebijakan, kita menavigasi lanskap tindakan dan keadaan yang kompleks untuk mengoptimalkan imbalan.

• Fungsi Nilai-Negara: Mengukur Kelayakan

Untuk mengukur nilai dari berada dalam kondisi tertentu, kami menggunakan fungsi nilai keadaan. Fungsi ini memperkirakan pengembalian diskonto yang diharapkan mulai dari keadaan tertentu dan mengikuti kebijakan yang ditentukan. Pada dasarnya, fungsi ini memberikan wawasan tentang seberapa menguntungkan suatu keadaan dalam hal mencapai hasil yang diinginkan.

• Pencarian Efisiensi: Brute Force dan Selanjutnya

Perjalanan menuju kebijakan yang optimal sering kali dimulai dengan metode brute force, di mana kami dengan cermat mengeksplorasi berbagai kebijakan dan sampel pengembalian untuk melihat jalur yang paling bermanfaat. Namun, banyaknya jumlah kebijakan potensial ditambah dengan varians dalam pengembalian menimbulkan tantangan yang signifikan.

• Pendekatan Fungsi Nilai: Menavigasi Medan

Pendekatan fungsi nilai menawarkan kerangka kerja terstruktur untuk menavigasi lanskap kebijakan. Dengan mempertahankan estimasi imbal hasil yang diharapkan, metode-metode ini berusaha mengidentifikasi jalur yang paling menjanjikan untuk memaksimalkan imbalan. Melalui iterasi dan penyempurnaan, metode-metode ini semakin mendekati solusi yang optimal.

• Metode Perbedaan Temporal: Belajar dari Pengalaman

Metode perbedaan temporal, yang berakar pada persamaan Bellman rekursif, menawarkan pendekatan yang bernuansa belajar dari pengalaman. Dengan memadukan wawasan dari transisi masa lalu dengan prediksi ke depan, metode ini mengadaptasi dan menyempurnakan kebijakan dari waktu ke waktu, mengurangi dampak dari pengembalian yang berisik.

• Perkiraan Fungsi: Menjembatani Kesenjangan

Metode pendekatan fungsi menjembatani kesenjangan antara teori dan praktik dengan memanfaatkan pemetaan linier untuk memperkirakan nilai tindakan. Metode-metode ini menawarkan skalabilitas dan efisiensi, sehingga sangat berharga dalam menangani ruang aksi-negara yang besar.

• Pencarian Kebijakan Langsung: Menelusuri Ruang Kebijakan

Metode pencarian kebijakan langsung menghindari pendekatan fungsi nilai tradisional dan lebih memilih untuk menjelajahi ruang kebijakan secara langsung. Dengan memanfaatkan teknik berbasis gradien atau bebas gradien, metode-metode ini menawarkan perangkat serbaguna untuk menavigasi lanskap keputusan yang kompleks.

• Algoritme Berbasis Model: Memanfaatkan Kekuatan Prediksi

Algoritme berbasis model memanfaatkan model prediktif dari proses pengambilan keputusan untuk meningkatkan efisiensi pembelajaran. Dengan menyempurnakan model-model ini secara berulang, mereka menawarkan kerangka kerja terstruktur untuk memperbarui perilaku dan mengoptimalkan hasil.

Teori Algoritme Pembelajaran Kontrol yang Efisien

Dalam mengejar algoritme pembelajaran kontrol yang efisien, memahami interaksi antara eksplorasi, eksploitasi, dan penyempurnaan kebijakan adalah hal yang terpenting. Ketika kita mengungkap seluk-beluk pengambilan keputusan di lingkungan yang dinamis, algoritme ini berfungsi sebagai suar pemandu, menerangi jalan menuju strategi kontrol yang optimal.

Disadur dari: en.wikipedia.org 

Dalam ranah pembelajaran mesin yang terus berkembang, salah satu teknik yang telah mendapatkan daya tarik yang signifikan adalah pembelajaran representasi, yang juga dikenal sebagai pembelajaran fitur. Pendekatan ini memberdayakan sistem untuk secara otomatis menemukan representasi yang diperlukan untuk tugas-tugas seperti deteksi fitur atau klasifikasi, langsung dari data mentah. Dengan menghindari kebutuhan untuk rekayasa fitur secara manual, pembelajaran representasi memungkinkan mesin untuk tidak hanya mempelajari fitur tetapi juga memanfaatkannya untuk melakukan tugas-tugas tertentu secara efektif.

Motivasi di balik pembelajaran representasi berasal dari fakta bahwa banyak tugas pembelajaran mesin, seperti klasifikasi, sering kali membutuhkan data input dalam format yang mudah dikomputasi. Namun, sumber data dunia nyata seperti gambar, video, dan data sensor telah terbukti sulit untuk diproses secara algoritmik dengan fitur-fitur tertentu yang telah ditentukan sebelumnya. Pembelajaran representasi menawarkan solusi alternatif dengan memungkinkan penemuan fitur atau representasi tersebut melalui pemeriksaan, tanpa bergantung pada algoritme eksplisit.

Pembelajaran representasi dapat dibagi menjadi tiga kategori utama: terawasi, tidak terawasi, dan mandiri. Dalam pembelajaran representasi yang diawasi, fitur-fitur dipelajari dari data input yang diberi label, memanfaatkan label kebenaran dasar untuk menghasilkan representasi yang akurat. Pembelajaran representasi tanpa pengawasan, di sisi lain, mempelajari fitur dari data yang tidak berlabel dengan menganalisis hubungan antara titik data dalam kumpulan data. Pembelajaran representasi yang diawasi sendiri mengambil pendekatan yang unik dengan membangun pasangan input-label dari setiap titik data, memungkinkan pembelajaran struktur data melalui metode yang diawasi seperti gradient descent, meskipun tidak ada label eksplisit.

Berbagai teknik telah dikembangkan untuk setiap kategori pembelajaran representasi. Pendekatan yang diawasi meliputi pembelajaran kamus, yang merepresentasikan titik data sebagai jumlah tertimbang dari elemen representatif, dan jaringan saraf, yang mempelajari representasi pada lapisan tersembunyi untuk tugas klasifikasi atau regresi selanjutnya. Metode tanpa pengawasan mencakup teknik-teknik seperti pengelompokan K-means, analisis komponen utama (PCA), dan analisis komponen independen (ICA). Selain itu, arsitektur pembelajaran yang mendalam seperti mesin Boltzmann terbatas (RBM) dan pembuat enkode otomatis telah terbukti efektif untuk pembelajaran representasi tanpa pengawasan.

Dalam ranah pembelajaran representasi yang diawasi sendiri, teknik-teknik seperti penyematan kata (misalnya, Word2vec dan BERT) telah mencapai kesuksesan yang luar biasa dalam data teks, sementara metode-metode seperti pembelajaran kontrastif dan pendekatan generatif telah diterapkan pada data gambar, video, audio, dan bahkan data multimodal.

Kekuatan pembelajaran representasi terletak pada kemampuannya untuk secara otomatis mengekstrak fitur-fitur berharga dari data mentah, membuka jalan untuk meningkatkan efisiensi, fleksibilitas, dan penemuan wawasan. Seiring dengan terus berkembangnya bidang ini, pembelajaran representasi memiliki potensi untuk mendorong kemajuan terobosan dalam kecerdasan buatan dan pembelajaran mesin, mendorong pemahaman yang lebih dalam tentang data yang kompleks dan memungkinkan proses pengambilan keputusan yang lebih canggih.

Disadur dari: en.wikipedia.org

Pembelajaran kamus jarang (Sparse Dictionary Learning), juga dikenal sebagai pengkodean jarang atau SDL, adalah teknik yang dirancang untuk mengungkap representasi data masukan yang jarang dengan mengekspresikannya sebagai kombinasi linier dari elemen dasar yang dikenal sebagai atom. Atom-atom ini membentuk sebuah kamus dan tidak harus ortogonal, sehingga memungkinkan untuk mendapatkan rangkaian rentang yang lebih lengkap. Pengaturan ini memungkinkan representasi sinyal dalam dimensi yang lebih tinggi daripada yang diamati, yang mengarah ke atom-atom yang tampaknya berlebihan yang meningkatkan kelangkaan dan fleksibilitas.

Metode ini menemukan aplikasi yang signifikan dalam penginderaan terkompresi atau pemulihan sinyal, di mana sinyal dimensi tinggi dapat direkonstruksi dari beberapa pengukuran linier, asalkan sinyal menunjukkan sparsitas. Berbagai algoritme, seperti basis pursuit dan CoSaMP, membantu dalam pemulihan sinyal setelah diubah menjadi ruang yang jarang menggunakan teknik seperti transformasi wavelet.

Inti dari pembelajaran kamus jarang adalah inferensi kamus dari data masukan itu sendiri. Tidak seperti pendekatan tradisional yang menggunakan kamus yang sudah ditentukan sebelumnya seperti Fourier atau transformasi wavelet, kamus yang dipelajari secara signifikan meningkatkan sparsitas, menemukan aplikasi dalam dekomposisi, kompresi, dan analisis data. Pendekatan ini sangat efektif dalam denoising gambar, klasifikasi, serta pemrosesan video dan audio, dengan aplikasi yang luas dalam kompresi gambar, fusi, dan inpainting.

Dalam bidang pembelajaran mesin, pembelajaran kamus renggang telah muncul sebagai teknik ampuh untuk merepresentasikan data secara ringkas dan efisien. Pendekatan ini bertujuan untuk menemukan kamus D dan representasi R sehingga data masukan X dapat direkonstruksi secara akurat sebagai produk dari D dan R, sekaligus memastikan bahwa representasi R jarang, artinya memiliki sedikit entri bukan nol.

Permasalahan tersebut dapat dirumuskan sebagai masalah optimasi berikut:

argmin 

dimana

Di sini, tujuannya adalah untuk meminimalkan kesalahan rekonstruksi sambil meningkatkan ketersebaran dalam representasi ri melalui "norma" ℓ0. Himpunan C membatasi kamus D untuk mencegah atom-atomnya mencapai nilai tinggi yang sewenang-wenang.

Pembelajaran kamus renggang menawarkan beberapa keunggulan dibandingkan metode tradisional. Kamus yang terlalu lengkap, yang jumlah atomnya melebihi dimensi data masukan, memungkinkan representasi yang lebih kaya dan fleksibel. Selain itu, kamus yang dipelajari dapat menghasilkan solusi yang lebih jarang dibandingkan dengan matriks transformasi yang telah ditentukan sebelumnya seperti wavelet atau transformasi Fourier.

Berbagai algoritma telah dikembangkan untuk mengatasi masalah optimasi ini, antara lain Method of Optimal Directions (MOD), K-SVD, Stochastic Gradient Descent, Lagrange Dual Method, dan LASSO. Masing-masing pendekatan memiliki kekuatan dan kelemahannya, beberapa pendekatan lebih efisien untuk data berdimensi rendah sementara pendekatan lain dapat menangani skenario berdimensi tinggi.

Selain itu, teknik pembelajaran kamus online telah diusulkan untuk mengatasi skenario di mana data masukan terlalu besar untuk dimasukkan ke dalam memori atau diterima sebagai aliran. Metode ini memperbarui kamus secara berulang saat data baru tersedia, mengurangi kebutuhan memori dan memungkinkan pembelajaran representasi renggang yang efisien.

Pembelajaran kamus renggang telah diterapkan di berbagai domain, termasuk pemrosesan gambar dan sinyal, visi komputer, dan pembelajaran mesin. Dengan memberikan representasi data yang ringkas dan informatif, ini dapat meningkatkan kinerja tugas-tugas seperti klasifikasi, denoising, dan kompresi.

Seiring dengan berkembangnya bidang pembelajaran mesin, pembelajaran kamus renggang tetap menjadi alat yang ampuh dalam upaya representasi data yang efisien dan efektif, membuka jalan bagi aplikasi yang lebih maju dan canggih.

Aplikasi dalam Pembelajaran Kamus Jarang

Pembelajaran kamus jarang, sebuah teknik yang ampuh dalam pemrosesan sinyal, telah merevolusi berbagai tugas pemrosesan gambar dan video dengan menguraikan sinyal input menjadi beberapa elemen dasar yang dipelajari. Pendekatan inovatif ini memungkinkan hasil yang canggih, khususnya dalam masalah klasifikasi. Dengan membangun kamus khusus untuk setiap kelas, pembelajaran kamus jarang memungkinkan klasifikasi sinyal input berdasarkan representasi yang paling jarang.

Selain itu, pembelajaran kamus jarang menawarkan properti yang berharga untuk denoising sinyal. Dengan mempelajari kamus yang merepresentasikan bagian yang bermakna dari sinyal input secara jarang, noise pada input dapat secara efektif dibedakan, karena biasanya menunjukkan representasi yang lebih jarang.

Aplikasi pembelajaran kamus yang jarang meluas ke berbagai domain, termasuk pemrosesan gambar, video, dan audio, serta sintesis tekstur dan pengelompokan tanpa pengawasan. Evaluasi empiris dengan model Bag-of-Words telah menyoroti keunggulan pengkodean jarang dibandingkan pendekatan lain, terutama dalam tugas pengenalan kategori objek.

Selain dampaknya dalam pemrosesan gambar dan video, pembelajaran kamus memainkan peran penting dalam analisis sinyal medis. Sinyal medis, mulai dari elektroensefalografi (EEG) dan elektrokardiografi (EKG) hingga pencitraan resonansi magnetik (MRI) dan tomografi komputer ultrasound (USCT), mendapat manfaat dari analisis khusus yang dimungkinkan oleh teknik pembelajaran kamus jarang.

Disadur dari: en.wikipedia.org