Decision tree learning atau Pembelajaran Pohon Keputusan adalah metode pembelajaran yang sering digunakan dalam data mining. Metode ini digunakan untuk membangun model yang mengpredict nilai variabel target berasal dari beberapa variabel input. Decision tree adalah representasi sederhana untuk mengelompokkan contoh. Setiap node dalam tree yang tidak adalah node akhir (leaf) ditandai dengan sebuah input feature. Arcs yang berasal dari node yang ditandai dengan input feature ditandai dengan setiap nilai variabel target atau arc berpindah ke node pembagian terhadap input feature lain. Setiap leaf tree ditandai dengan class atau distribusi kelas, yang menandakan bahwa data set telah dikelompokkan oleh tree ke dalam class tertentu atau distribusi kelas (yang, jika decision tree terbuat dengan baik, berpandangan kepada subkumpulan kelas tertentu).

Tree dibangun dengan cara membagi sumber data, yang merupakan node akar tree, menjadi subkumpulan yang merupakan anak node berikutnya. Pembagian dilakukan berdasarkan setiap set dari aturan pembagian berdasarkan feature pengelompokan. Proses ini dilakukan secara recursive, yang disebut recursive partitioning. Proses ini dilakukan sampai subset pada node memiliki semua sama nilai variabel target atau pembagian tidak menambah nilai pada prediksi. Proses ini disebut top-down induction of decision trees (TDIDT) dan ialah contoh algoritma greedy, yang merupakan strategi yang paling sering digunakan untuk belajar decision trees dari data.

Decision trees dapat juga diterangkan sebagai kombinasi teknologi matematis dan komputer untuk membantu penjelasan, kategorisasi, dan generalisasi data yang diberikan.

Data datang dalam bentuk catatan:

Variabel terikat, , adalah variabel target yang coba kita pahami, klasifikasikan, atau generalisasikan. Vektor  terdiri dari fitur-fiturnya,  dll., yang digunakan untuk tugas itu.

Metrik Pohon Keputusan (Decision Tree)

Perkiraan Kebenaran Positif: Menyeimbangkan Positif Sejati dan Positif Palsu

Saat menyusun pohon keputusan, penting untuk mengukur keakuratan prediksi positif versus positif palsu. Metrik "Perkiraan Kebenaran Positif" memberikan wawasan tentang seberapa efektif suatu fitur dapat mengidentifikasi contoh positif dalam kumpulan data. Dengan mengurangkan positif palsu dari positif sebenarnya, metrik ini menawarkan perkiraan kemampuan fitur untuk mengklasifikasikan sampel positif dengan benar. Namun, penting untuk diingat bahwa perkiraan ini dapat bervariasi tergantung pada distribusi sampel positif antar fitur.

• Ketidakmurnian Gini

Pengotor Gini adalah ukuran yang digunakan dalam pohon klasifikasi untuk mengevaluasi homogenitas variabel target dalam subset. Ini mengukur kemungkinan kesalahan klasifikasi elemen yang dipilih secara acak dalam suatu kumpulan berdasarkan distribusi label. Dengan meminimalkan pengotor Gini, algoritma pohon keputusan bertujuan untuk menciptakan node di mana semua kasus masuk dalam satu kategori target, sehingga meningkatkan akurasi prediksi.

• Perolehan Informasi

Perolehan informasi berfungsi sebagai kriteria penting untuk memilih pemisahan optimal dalam pohon keputusan. Berdasarkan konsep entropi dari teori informasi, perolehan informasi mengukur pengurangan ketidakpastian tentang variabel target yang dicapai dengan pemisahan sebuah node. Dengan memilih pemisahan yang memaksimalkan perolehan informasi, algoritme pohon keputusan memprioritaskan fitur yang menghasilkan node turunan yang lebih konsisten, sehingga pada akhirnya meningkatkan kekuatan prediktif model.

• Pengurangan Varians 

Jika variabel target bersifat kontinu, pengurangan varians menjadi metrik utama untuk mengevaluasi pemisahan. Diperkenalkan dalam algoritma seperti CART, pengurangan varians mengkuantifikasi pengurangan total varians variabel target karena pemisahan pada node tertentu. Dengan meminimalkan varians, algoritme pohon keputusan secara efektif menangani variabel kontinu, sehingga meningkatkan akurasi model dalam tugas regresi.

• Ukuran "Kebaikan" 

Ukuran “kebaikan” mewakili fungsi yang bertujuan untuk mengoptimalkan keseimbangan antara kapasitas calon perpecahan untuk menciptakan anak-anak murni dan kemampuannya untuk menciptakan anak-anak yang berukuran sama. Metrik ini, yang digunakan dalam CART, memprioritaskan penciptaan struktur pohon yang seimbang, sehingga meningkatkan konsistensi waktu pengambilan keputusan. Namun, hal ini dapat menyebabkan perpecahan tambahan dibandingkan dengan metrik lain seperti perolehan informasi.

Jenis-Jenis Pohon Keputusan dalam Analisis Data Mining (Decision Tree Learning)

Dalam analisis data mining, pohon keputusan digunakan untuk dua jenis utama pemodelan:

1. Pohon Klasifikasi (Classification Tree Analysis): Ini adalah ketika hasil yang diprediksi adalah kelas (discrete) ke mana data tersebut termasuk.

2. Pohon Regresi (Regression Tree Analysis): Ini adalah ketika hasil yang diprediksi dapat dianggap sebagai angka riil (misalnya, harga rumah atau lama tinggal pasien di rumah sakit).

Penggunaan istilah "classification and regression tree" (CART) merujuk pada salah satu prosedur di atas, yang pertama kali diperkenalkan oleh Breiman dkk. pada tahun 1984. Meskipun pohon yang digunakan untuk regresi dan klasifikasi memiliki beberapa kesamaan, namun juga beberapa perbedaan, seperti prosedur yang digunakan untuk menentukan di mana untuk membagi.

Contoh pohon yang memperkirakan kemungkinan kifosis setelah operasi tulang belakang, berdasarkan usia pasien dan tulang belakang tempat operasi dimulai. Pohon yang sama ditampilkan dalam tiga cara berbeda. Kiri Daun berwarna menunjukkan kemungkinan kifosis setelah operasi tulang belakang, dan persentase pasien pada daun. Tengah Pohon sebagai plot perspektif. Pemandangan udara kanan dari plot tengah. Kemungkinan kifosis setelah operasi lebih tinggi di area yang lebih gelap. (Catatan: Pengobatan kifosis telah mengalami kemajuan pesat sejak kumpulan data yang cukup kecil ini dikumpulkan.

Beberapa teknik, sering disebut sebagai metode ensemble, membangun lebih dari satu pohon keputusan:

- Pohon yang Ditingkatkan (Boosted Trees): Membangun secara bertahap sebuah ensemble dengan melatih setiap contoh baru untuk menekankan pada contoh-contoh pelatihan sebelumnya yang salah dimodelkan. Contoh umumnya adalah AdaBoost. Ini dapat digunakan untuk masalah tipe regresi dan klasifikasi.

- Bootstrap Aggregated (Bagged) Decision Trees: Metode ensemble awal ini membangun beberapa pohon keputusan dengan secara berulang memilih sampel ulang data pelatihan dengan penggantian, dan melakukan voting pada pohon-pohon untuk prediksi konsensus.

- Random Forest Classifier: Merupakan jenis khusus dari bootstrap aggregating.

- Rotation Forest: Di mana setiap pohon keputusan dilatih dengan menerapkan analisis komponen utama (PCA) pada subset acak fitur input.

Salah satu kasus khusus dari pohon keputusan adalah daftar keputusan, yang merupakan pohon keputusan satu sisi, sehingga setiap simpul internal memiliki tepat 1 simpul daun dan tepat 1 simpul internal sebagai anak (kecuali simpul terbawah, yang hanya memiliki satu simpul daun tunggal). Meskipun kurang ekspresif, daftar keputusan lebih mudah dipahami daripada pohon keputusan umum karena kekompakan yang ditambahkan, memungkinkan metode pembelajaran non-greedy dan penggunaan batasan monotonic.

Algoritme Pohon Keputusan Meliputi

Algoritma pohon keputusan yang terkenal meliputi ID3, C4.5, CART, CHAID, MARS, dan Conditional Inference Trees. ID3 dan CART ditemukan secara independen pada waktu yang hampir bersamaan, tetapi mengikuti pendekatan serupa untuk mempelajari pohon keputusan dari tupel pelatihan.

Selain itu, telah diusulkan untuk memanfaatkan konsep teori himpunan fuzzy untuk definisi versi khusus dari pohon keputusan, yang dikenal sebagai Fuzzy Decision Tree (FDT). Dalam klasifikasi fuzzy ini, biasanya, vektor input dikaitkan dengan beberapa kelas, masing-masing dengan nilai kepercayaan yang berbeda.

Dengan demikian, pemahaman tentang berbagai jenis pohon keputusan ini menjadi penting dalam konteks analisis data mining untuk mengoptimalkan prediksi dan pemodelan.

Keuntungan Penggunaan Decision Trees

Salah satu keuntungan utama dari decision trees adalah kemampuannya untuk dipahami dengan mudah. Model-model ini dapat dijelaskan secara singkat kepada orang awam dan bahkan dapat disajikan secara grafis, membuatnya mudah diinterpretasikan.

Selain itu, decision trees juga dapat menangani data numerik maupun kategorikal. Hal ini membedakannya dari beberapa metode lain yang hanya bisa digunakan untuk satu jenis variabel saja.

Decision trees juga memerlukan sedikit persiapan data dibandingkan dengan metode lainnya. Karena dapat menangani prediktor kualitatif, tidak diperlukan pembuatan variabel dummy.

Model decision trees merupakan model "white box" atau "open-box", yang artinya penjelasan mengenai kondisi suatu situasi dapat dijelaskan dengan logika Boolean. Hal ini berbeda dengan model "black box" seperti neural networks, di mana penjelasan untuk hasilnya sulit dipahami. Decision trees juga mampu mengatasi co-linearity dengan baik, terutama dalam metode boosting. Selain itu, feature selection juga sudah terintegrasi di dalamnya, membuatnya efisien dalam penggunaan fitur.

Keterbatasan Penggunaan Decision Trees

Meskipun memiliki banyak keuntungan, decision trees juga memiliki beberapa keterbatasan. Salah satunya adalah kecenderungan untuk menjadi sangat tidak stabil. Perubahan kecil dalam data latih dapat menghasilkan perubahan besar dalam pohon keputusan dan prediksi akhirnya.

Selain itu, pencarian untuk membangun decision tree optimal dapat menjadi masalah yang sulit. Algoritma pembelajaran decision-tree didasarkan pada heuristik seperti algoritma greedy, yang tidak dapat menjamin untuk menghasilkan pohon keputusan yang optimal secara global. Decision trees juga rentan terhadap overfitting, di mana model menjadi terlalu kompleks dan tidak dapat menggeneralisasi dengan baik dari data latih. Oleh karena itu, mekanisme pruning diperlukan untuk menghindari masalah ini.

Implementasi dan Ekstensi

Terdapat banyak perangkat lunak data mining yang menyediakan implementasi dari algoritma decision tree, baik yang open-source maupun berbayar. Contohnya adalah KNIME, Orange, dan scikit-learn untuk yang open-source, serta MATLAB, Microsoft SQL Server, dan RapidMiner untuk yang berbayar. Selain itu, terdapat juga ekstensi dari decision trees seperti decision graphs dan metode pencarian alternatif menggunakan algoritma evolusioner.

Disadur dari: en.wikipedia.org

Dalam statistik, algoritma k-nearest neighbours (k-NN) adalah metode pembelajaran terawasi non-parametrik yang awalnya dirancang oleh Evelyn Fix dan Joseph Hodges pada tahun 1951, kemudian diperluas oleh Thomas Cover. Ini melayani tujuan dalam tugas klasifikasi dan regresi, dengan mengandalkan k contoh pelatihan terdekat dari kumpulan data untuk komputasi. Hasilnya bervariasi tergantung pada apakah k-NN digunakan untuk klasifikasi atau regresi:

• Dalam klasifikasi k-NN, algoritma menentukan keanggotaan kelas. Setiap objek diklasifikasikan berdasarkan suara mayoritas di antara k tetangga terdekatnya, dan objek tersebut ditugaskan ke kelas yang paling umum dalam kumpulan ini. Biasanya, k adalah bilangan bulat positif, sering kali dibuat kecil. Ketika k sama dengan 1, objek tersebut ditugaskan ke kelas tetangga terdekatnya.
• Sebaliknya pada regresi k-NN, hasilnya adalah nilai properti objek. Nilai ini dihitung sebagai rata-rata nilai properti k tetangga terdekat. Sekali lagi, ketika k sama dengan 1, hasilnya langsung diberi nilai tetangga terdekatnya.

k-NN dicirikan sebagai pendekatan klasifikasi di mana perkiraan fungsi hanya terjadi secara lokal, dengan semua komputasi ditangguhkan pada evaluasi fungsi. Khususnya, ketika fitur mewakili unit fisik yang berbeda atau mencakup skala yang berbeda, normalisasi data pelatihan akan meningkatkan akurasi algoritme secara signifikan.

Baik dalam tugas klasifikasi maupun regresi, peningkatan umum melibatkan pemberian bobot pada kontribusi lingkungan. Pembobotan tersebut memprioritaskan pengaruh tetangga terdekat pada rata-rata yang dihitung, sering kali menggunakan sistem di mana setiap tetangga diberi bobot berbanding terbalik dengan jaraknya dari objek yang diteliti.

Khususnya, tetangga diambil dari objek dengan kelas yang diketahui (dalam klasifikasi k-NN) atau nilai fitur objek (dalam regresi k-NN), yang secara efektif merupakan kumpulan pelatihan algoritme, meskipun tanpa memerlukan langkah pelatihan yang berbeda. Ciri khas algoritma k-NN terletak pada sensitivitasnya terhadap struktur lokal data

Pengaturan statistik

Misalkan kita mempunyai pasangan  mengambil nilai-nilai in , dimana Y adalah label kelas dari X, sehingga  untuk  (dan distribusi probabilitas  ).Mengingat beberapa norma  dalam  dan poin �∈��, let menjadi menyusun ulang data pelatihan sedemikian rupa .

Algoritma k-Nearest Neighbors

Algoritme k-Nearest Neighbors (k-NN), yang merupakan pendukung dalam bidang pembelajaran mesin, menawarkan solusi serbaguna untuk tugas klasifikasi. Kesederhanaannya memungkiri keefektifannya, menjadikannya pilihan populer di berbagai domain.

• Fase Pelatihan dan Klasifikasi:

Pada fase pelatihan, algoritme hanya menyimpan vektor fitur dan label kelas dari sampel pelatihan. Pada tahap klasifikasi, konstanta k yang ditentukan pengguna mulai berlaku. Vektor tak berlabel, atau titik kueri, diklasifikasikan dengan memberi label paling umum di antara k sampel pelatihan terdekat.

• Memilih Metrik Jarak yang Tepat:

Pilihan metrik jarak memainkan peran penting dalam kinerja algoritma. Untuk variabel kontinu, jarak Euclidean adalah yang utama, sedangkan untuk variabel diskrit seperti klasifikasi teks, metrik alternatif seperti metrik tumpang tindih atau jarak Hamming ikut berperan. Dalam domain khusus seperti analisis data microarray ekspresi gen, koefisien korelasi seperti Pearson dan Spearman berfungsi sebagai metrik yang tepat.

• Mengatasi Distribusi Kelas yang Miring:

Tantangan muncul ketika distribusi kelas tidak seimbang, sehingga menghasilkan prediksi yang bias dan lebih memilih kelas yang lebih sering digunakan. Untuk memitigasi hal ini, pembobotan klasifikasi berdasarkan jarak dari titik pengujian ke k tetangga terdekatnya terbukti efektif. Alternatifnya, abstraksi dalam representasi data, seperti yang terlihat pada peta yang dapat diatur sendiri (SOM), dapat mengurangi kesenjangan dengan mengelompokkan titik-titik serupa tanpa memandang kepadatannya.

Pemilihan parameter

• Pemilihan Parameter dan Penskalaan Fitur:

Pemilihan nilai k optimal bergantung pada data yang ada. Nilai k yang lebih besar mengurangi kebisingan tetapi mengaburkan batasan kelas. Teknik heuristik membantu dalam memilih k yang sesuai. Selain itu, keakuratan algoritme rentan terhadap fitur yang berisik atau tidak relevan serta skala fitur yang tidak konsisten. Teknik penskalaan fitur, seperti algoritme evolusioner atau penskalaan berbasis informasi timbal balik, dapat membantu dan memastikan hasil klasifikasi yang kuat.

• Klasifikasi Biner dan Optimasi Empiris:

Dalam klasifikasi biner, memilih k ganjil mencegah suara terikat, sehingga meningkatkan akurasi klasifikasi. Teknik optimasi empiris, seperti metode bootstrap, membantu dalam memilih k optimal untuk tugas yang ada.

Algoritma K-Nearest Neighbor Klasifikasi

K-Nearest Neighbor (K-NN) adalah algoritma klasifikasi sederhana namun powerful dalam pembelajaran mesin. Ide dasarnya adalah mengklasifikasikan data baru berdasarkan kemiripannya dengan data pelatihan yang telah berlabel. Berikut adalah penjelasan lebih detailnya:

K-NN bekerja dengan menghitung jarak antara data baru dengan seluruh data pelatihan. Kemudian, algoritma ini mengambil K tetangga terdekat berdasarkan jarak tersebut. Label data baru ditentukan berdasarkan mayoritas label dari K tetangga terdekat. Semakin besar nilai K, semakin halus keputusan batasnya, tetapi dapat meningkatkan bias. Sebaliknya, nilai K yang kecil dapat menyebabkan model terlalu sensitif terhadap noise.

Salah satu keunggulan K-NN adalah kesederhanaan implementasinya. Namun, kekurangannya adalah kebutuhan komputasi yang tinggi ketika dataset sangat besar. Untuk mengatasi ini, kita dapat menggunakan algoritma pencarian tetangga terdekat aproksimasi.

K-NN juga memiliki beberapa properti menarik. Sebagai contoh, ketika jumlah data pelatihan mendekati tak hingga, error rate dari klasifikasi dua kelas dengan K-NN dijamin tidak lebih dari dua kali Bayes error rate (error minimum yang dapat dicapai). Selain itu, K-NN dapat dianggap sebagai kasus khusus dari estimator kernel densitas dengan kernel seragam.

Untuk meningkatkan performa K-NN, kita dapat melakukan pembelajaran metrik dan ekstraksi fitur. Pembelajaran metrik digunakan untuk mempelajari metrik baru yang lebih sesuai dengan data. Sementara ekstraksi fitur bertujuan untuk mereduksi dimensi data masukan sehingga mengurangi efek kutukan dimensi tinggi.

Secara keseluruhan, K-NN adalah algoritma klasifikasi yang sederhana namun kuat. Dengan penyesuaian yang tepat seperti pemilihan nilai K, pembelajaran metrik, dan ekstraksi fitur, K-NN dapat memberikan performa yang sangat baik dalam banyak kasus.

Memahami Regresi k-NN dan Deteksi Pencilan

Dalam k-NN regression, algoritma k-NN digunakan untuk memperkirakan variabel kontinu. Salah satu algoritma tersebut menggunakan rata-rata terbobot dari k tetangga terdekat, dengan bobot yang berbanding terbalik dengan jarak mereka. Langkah-langkahnya adalah sebagai berikut:

1. Hitung jarak Euclidean atau Mahalanobis dari contoh query ke contoh yang telah dilabeli.
2. Urutkan contoh yang telah dilabeli berdasarkan jarak yang meningkat.
3. Temukan jumlah tetangga terdekat yang optimal secara heuristik, berdasarkan RMSE. Ini dilakukan menggunakan validasi silang.
4. Hitung rata-rata terbobot invers dari k-tetangga multivariat terdekat.

Dalam konteks deteksi outlier, jarak ke tetangga terdekat ke-k juga dapat dianggap sebagai estimasi kepadatan lokal dan menjadi skor outlier yang populer. Semakin besar jarak ke tetangga ke-k, semakin rendah kepadatan lokalnya, dan semakin mungkin titik query adalah outlier. Meskipun sederhana, model outlier ini, bersama dengan metode penambangan data klasik lainnya, faktor outlier lokal, terbukti efektif dalam perbandingan dengan pendekatan yang lebih baru dan kompleks, menurut analisis eksperimental berskala besar.

Disadur dari: id.wikipedia.org/en.wikipedia.org

Dalam sains, jarak Euclidean antara dua fokus dalam ruang Euclidean adalah panjang bagian garis di antara keduanya. Hal ini dapat dihitung dari fasilitas Cartesian dari fokus menggunakan hipotesis Pythagoras, dan kadang-kadang disebut penghapusan Pythagoras.
 
Nama-nama ini berasal dari matematikawan Yunani kuno Euclid dan Pythagoras. Dalam geometri deduktif Yunani yang dicontohkan oleh Komponen Euclid, pemisahan tidak dianggap sebagai angka melainkan potongan garis dengan panjang yang sama, yang dianggap "meningkat". Ide jarak adalah bawaan dalam perangkat kompas yang digunakan untuk menggambar lingkaran, yang semua fokusnya memiliki jarak yang sama dari titik pusat yang sama. Asosiasi hipotesis Pythagoras dengan penghapusan perhitungan baru dilakukan pada abad ke-18.
 
Keterpisahan antara dua objek yang bukan fokus biasanya dicirikan sebagai jarak terkecil di antara kumpulan fokus dari kedua objek tersebut. Persamaan dikenal untuk menghitung pemisahan antara beragam jenis objek, seperti jarak dari suatu titik ke garis. Dalam aritmatika tingkat lanjut, konsep pemindahan telah digeneralisasikan ke ruang metrik unik, dan pemisahan lain selain Euclidean telah dipertimbangkan. Dalam beberapa aplikasi dalam wawasan dan pengoptimalan, kuadrat dari pemisahan Euclidean digunakan, bukan dari pemisahan itu sendiri.

Rumus Jarak dalam Berbagai Dimensi

Jarak adalah konsep dasar dalam matematika dan geometri, dan memainkan peran penting dalam banyak aplikasi, termasuk pembelajaran mesin, visi komputer, dan analisis data. Dalam artikel blog ini, kita akan mengeksplorasi rumus-rumus yang digunakan untuk menghitung jarak antar objek dalam berbagai dimensi, mulai dari kasus paling sederhana, yaitu titik-titik satu dimensi pada sebuah garis, dan secara bertahap bergerak ke dimensi yang lebih tinggi.

• Jarak Satu Dimensi:

Jarak antara dua titik pada garis nyata hanyalah perbedaan absolut antara koordinat mereka. Untuk titik p dan q, jarak diberikan oleh:

d(p, q) = |p - q|

Sebagai alternatif, kita dapat menggunakan rumus akar kuadrat, yang lebih mudah digeneralisasi ke dimensi yang lebih tinggi:

d(p, q) = √((p - q)^2)

• Jarak Dua Dimensi (Bidang Euclidean):

Pada bidang Euclidean, jarak antara dua titik p (p1, p2) dan q (q1, q2) dihitung dengan menggunakan teorema Pythagoras. Rumusnya adalah:

d(p, q) = √((p1 - q1) ^ 2 + (p2 - q2) ^ 2)

Rumus ini menemukan panjang sisi miring segitiga siku-siku yang dibentuk oleh jarak horizontal dan vertikal antara titik-titik.

• Dimensi yang lebih tinggi:

Untuk titik-titik dalam ruang Euclidean n-dimensi, rumus jarak adalah generalisasi langsung dari kasus dua dimensi:

d(p, q) = √((p1 - q1)^2 + (p2 - q2)^2 + ... + (pn - qn)^2)

Sebagai alternatif, jarak Euclidean dapat dinyatakan secara ringkas menggunakan norma Euclidean dari perbedaan vektor antara titik-titik:

d(p, q) = ||p - q||

• Jarak Antara Objek Lain:

Rumus-rumus yang dibahas di atas berlaku untuk titik, tetapi jarak juga dapat dihitung antara objek geometris lainnya, seperti garis, bidang, dan kurva. Dalam kasus ini, jarak biasanya didefinisikan sebagai jarak terkecil antara dua titik dari masing-masing objek. Generalisasi yang lebih kompleks, seperti jarak Hausdorff, juga dapat digunakan.

Properti dari Jarak Euclidean 

Jarak Euclidean berdiri sebagai pola dasar pengukuran jarak dalam ruang metrik, yang mewujudkan sifat-sifat utama yang mendasar pada sifatnya.

• Simetri: Jarak antara dua titik, apapun urutannya, tetap konsisten. Berbeda dengan menavigasi jalan satu arah, jalur dari titik A ke titik B sama dengan perjalanan sebaliknya dari titik B ke titik A.
• Positif: Jarak antara titik-titik berbeda selalu positif, sedangkan jarak dari titik mana pun ke titik itu sendiri pada dasarnya adalah nol.
• Ketimpangan Segitiga: Prinsip ini menyatakan bahwa perjalanan dari titik A ke titik C melalui titik perantara B tidak boleh lebih pendek dari rute langsung dari A ke C. Prinsip ini memastikan koherensi logis dari hubungan spasial.

Sifat lainnya, pertidaksamaan Ptolemy, berkaitan dengan jarak Euclidean antara empat titik p, q, r, dan s Ini menyatakan bahwa:

Lebih lanjut, ketidaksetaraan Ptolemeus menyoroti interaksi antara jarak Euclidean di antara empat titik. Ini menggarisbawahi hubungan antara panjang sisi dan diagonal dalam segi empat, memperluas relevansinya melampaui batas bidang hingga ruang Euclidean dalam dimensi apa pun.

Dalam geometri Euclidean, setiap transformasi yang mempertahankan satuan jarak, menurut teorema Beckman – Quarles, juga harus menjaga semua jarak tetap utuh. Teorema ini menekankan hubungan mendalam antara pelestarian satuan jarak dan isometri, menyoroti simetri dan konsistensi yang melekat dalam transformasi ruang Euclidean.

Memahami sifat-sifat ini tidak hanya memperkaya pemahaman kita tentang jarak Euclidean tetapi juga membuka jalan untuk mengeksplorasi penerapannya di berbagai bidang, mulai dari analisis spasial hingga masalah optimasi.

Jarak Euclidean Kuadrat

Dalam banyak penerapan, dan khususnya ketika membandingkan jarak, mungkin lebih mudah untuk menghilangkan akar kuadrat akhir ketika menghitung jarak Euclidean, karena akar kuadrat tidak mengubah urutan . jika dan hanya jika  . Nilai yang dihasilkan dari pengabaian ini adalah kuadrat dari jarak Euclidean, dan disebut sebagai squared Euclidean distance. Sebagai contoh, pohon span minimum Euclidean dapat ditentukan hanya dengan menggunakan urutan antara jarak, bukan nilai numeriknya. Membandingkan jarak kuadrat menghasilkan hasil yang sama tetapi menghindari perhitungan akar kuadrat yang tidak perlu dan mengatasi masalah presisi numerik. Secara matematis, jarak kuadrat dapat diungkapkan sebagai jumlah kuadrat:

Selain membandingkan jarak, jarak Euclidean kuadrat juga mempunyai arti penting dalam statistik, khususnya dalam metode kuadrat terkecil, yang merupakan pendekatan standar untuk menyesuaikan perkiraan statistik dengan data. Metode ini meminimalkan jarak kuadrat rata-rata antara nilai yang diamati dan yang diperkirakan. Selain itu, jarak Euclidean kuadrat berfungsi sebagai bentuk divergensi paling sederhana untuk membandingkan distribusi probabilitas. Penambahan jarak kuadrat, seperti pencocokan kuadrat terkecil, berhubungan dengan operasi jarak yang disebut penjumlahan Pythagoras. Dalam analisis massa, mengkuadratkan jarak dapat meningkatkan dampak jarak jauh.

Namun perlu diperhatikan bahwa jarak kuadrat Euclidean tidak membentuk ruang metrik karena gagal memenuhi pertidaksamaan segitiga. Meskipun demikian, ini adalah fungsi dua titik yang mulus dan cembung, tidak seperti jarak, yang tidak mulus untuk pasangan titik yang hampir sama. Akibatnya, jarak kuadrat lebih disukai dalam teori optimasi karena kompatibilitasnya dengan analisis cembung. Karena fungsi kuadrat bersifat monotonik untuk nilai non-negatif, meminimalkan jarak kuadrat sama dengan meminimalkan jarak Euclidean. Dengan demikian, masalah optimasi tetap setara di kedua aspek, namun biasanya lebih mudah diselesaikan dengan menggunakan kuadrat jarak.

Himpunan semua jarak kuadrat dari himpunan jarak pasangan titik berhingga dapat disusun ke dalam matriks jarak Euclidean, yang berguna dalam geometri jarak.

Kerucut, grafik jarak Euclidean dari titik asal pada bidang

Paraboloid, grafik kuadrat jarak Euclidean dari titik asal

Generalisasi

Dalam bidang matematika yang lebih maju, ketika melihat ruang Euclidean sebagai ruang vektor, jaraknya dikaitkan dengan standar yang dikenal sebagai norma Euclidean, yang didefinisikan sebagai jarak setiap vektor dari titik asal. Salah satu sifat penting dari norma ini, dibandingkan dengan norma lainnya, adalah invariansinya di bawah rotasi ruang yang berubah-ubah di sekitar titik asal. Menurut teorema Dvoretzky, setiap ruang vektor bernorma berdimensi terbatas memiliki subruang berdimensi tinggi di mana normanya kira-kira Euclidean; norma Euclidean adalah satu-satunya norma yang memiliki sifat ini. Hal ini dapat diperluas ke ruang vektor berdimensi tak terbatas sebagai norma L2 atau jarak L2. Jarak Euclidean memberikan ruang Euclidean dengan struktur ruang topologi, yang dikenal sebagai topologi Euclidean, dengan bola-bola terbuka (himpunan bagian dari titik-titik dalam jarak tertentu dari titik yang diberikan) sebagai tetangganya.

Jarak umum lainnya dalam ruang koordinat nyata dan ruang fungsi meliputi:

• Jarak Chebyshev (jarak L∞), yang mengukur jarak sebagai maksimum dari jarak di setiap koordinat.
• Jarak Manhattan (jarak L1), juga disebut jarak taksi, yang mengukur jarak sebagai jumlah jarak di setiap koordinat.
• Jarak Minkowski (jarak Lp), sebuah generalisasi yang menyatukan jarak Euclidean, jarak Manhattan, dan jarak Chebyshev.

Untuk titik-titik pada permukaan dalam tiga dimensi, jarak Euclidean harus dibedakan dari jarak geodesi, yaitu panjang kurva terpendek yang dimiliki oleh permukaan. Khususnya, untuk mengukur jarak lingkaran besar di Bumi atau permukaan bola atau permukaan lain yang berbentuk bola atau hampir bola, jarak yang telah digunakan termasuk jarak haversine, yang memberikan jarak lingkaran besar antara dua titik pada bola dari garis bujur dan garis lintangnya, dan rumus Vincenty, juga dikenal sebagai "jarak Vincent", untuk jarak pada bola.

Sejarah Jarak Euclidean: Dari Akar Kuno ke Matematika Modern 

Dalam sejarah matematika, jarak Euclidean mengacu pada jarak dalam ruang Euclidean, yang diambil dari nama ahli matematika Yunani kuno Euclid, yang karyanya, "Elemen", menjadi buku teks standar dalam geometri selama berabad-abad. Konsep panjang dan jarak tersebar luas di berbagai kebudayaan, dan bahkan dapat ditelusuri ke dokumen birokrasi "protoliterasi" tertua dari Sumeria pada milenium keempat SM, jauh sebelum zaman Euclid. Namun, gagasan tentang jarak, sebagai bilangan yang ditentukan dari dua titik, sebenarnya tidak muncul dalam "Elemen" Euclid. Sebaliknya, Euclid mendekati konsep ini secara implisit, melalui kongruensi ruas garis, perbandingan panjang ruas garis, dan konsep proporsionalitas.

Teorema Pythagoras juga telah ada sejak zaman dahulu, namun baru menjadi sentral dalam pengukuran jarak setelah ditemukannya koordinat Cartesian oleh René Descartes pada tahun 1637. Rumus jarak sendiri pertama kali diterbitkan pada tahun 1731 oleh Alexis Clairaut. Karena rumus ini, jarak Euclidean kadang juga disebut jarak Pythagoras. Meskipun pengukuran akurat jarak jauh di permukaan bumi, yang bukan Euclidean, telah dipelajari di banyak kebudayaan sejak zaman kuno, gagasan bahwa jarak Euclidean mungkin bukan satu-satunya cara untuk mengukur jarak antar titik dalam ruang matematika muncul baru-baru ini, dengan perumusan geometri non-Euclidean. -Euclidean pada abad ke-19. Definisi norma Euclidean dan jarak Euclidean untuk geometri tiga dimensi juga pertama kali muncul pada abad ke-19, dalam karya Augustin-Louis Cauchy.

Disadur dari: en.wikipedia.org

Dalam bidang geometri, konsep jarak merupakan hal yang mendasar, dan rumus jarak Euclidean yang sudah tidak asing lagi sudah tertanam kuat dalam pemahaman kita tentang hubungan spasial. Namun, para ahli matematika telah mengeksplorasi definisi alternatif tentang jarak, yang mengarah pada pengembangan geometri yang menarik dengan sifat-sifat yang unik. Salah satu geometri tersebut adalah Geometri Taksi, yang juga dikenal sebagai Geometri Manhattan atau Geometri Blok Kota.

Geometri Taksi berangkat dari ukuran jarak Euclidean tradisional dan sebagai gantinya mendefinisikan jarak antara dua titik sebagai jumlah perbedaan absolut dari koordinat Kartesius masing-masing. Fungsi jarak ini dinamakan "jarak taksi", "jarak Manhattan", atau "jarak blok kota", karena fungsi ini merefleksikan jalur yang harus dilalui oleh sebuah taksi di sepanjang jalan persegi panjang di kota yang terencana seperti Manhattan.

Secara formal, dalam ruang koordinat nyata dua dimensi (R^2), jarak taksi antara dua titik (x1, y1) dan (x2, y2) diberikan oleh rumus:

d((x1, y1), (x2, y2)) = |x1 - x2| + |y1 - y2|

Metrik jarak ini mengarah pada interpretasi geometris yang berbeda dari panjang dan kurva. Dalam Geometri Taksi, panjang segmen garis antara dua titik sama dengan panjang jalur kisi terpendeknya, bukan panjang Euclidean. Akibatnya, kurva dan bentuk memiliki karakteristik yang berbeda, menantang gagasan intuitif kita tentang geometri.

Asal-usul Geometri Taksi dapat ditelusuri kembali ke abad ke-18, ketika digunakan dalam analisis regresi, dan sering disebut sebagai LASSO (Least Absolute Shrinkage and Selection Operator) dalam konteks statistik. Namun, interpretasi geometrisnya dikaitkan dengan Hermann Minkowski, seorang matematikawan perintis di bidang geometri non-Euclidean pada abad ke-19.

Geometri Taksi menawarkan perspektif baru tentang hubungan spasial dan jarak, memungkinkan kita untuk mengeksplorasi geometri alternatif dan implikasinya. Geometri ini memiliki aplikasi di berbagai bidang, termasuk perencanaan kota, jaringan transportasi, dan bahkan pemrosesan gambar, di mana konsep jarak "blok kota" dapat berguna.

Meskipun jarak Euclidean tetap menjadi ukuran utama dalam banyak aplikasi praktis, Taxicab Geometry berfungsi sebagai pengingat bahwa matematika adalah permadani yang kaya akan ide, dan dengan merangkul perspektif alternatif, kita dapat memperoleh wawasan yang lebih dalam dan menemukan kemungkinan baru dalam cara kita memahami dan berinteraksi dengan dunia di sekitar kita.

Searah Geometri Taksi

Akar geometri taksi, juga dikenal sebagai metrik L1, dapat ditelusuri kembali ke abad ke-18 ketika Roger Joseph Boscovich menggunakannya dalam analisis regresi sebagai ukuran kesesuaian. Namun, konseptualisasinya sebagai metrik jarak antar titik dalam ruang geometris baru muncul pada akhir abad ke-19 seiring dengan berkembangnya geometri non-Euclidean.

Pada tahun 1910, baik Frigyes Riesz dan Hermann Minkowski secara independen berkontribusi pada formalisasi ruang Lp, yang mencakup geometri taksi sebagai kasus khusus. Karya Riesz meletakkan dasar untuk memahami ruang-ruang ini sebagai ruang vektor bernorma, sementara Minkowski memperkenalkan ketidaksetaraan Minkowski, yang selanjutnya memajukan geometri bilangan.

Istilah "geometri taksi" diciptakan oleh Karl Menger pada tahun 1952, dalam sebuah buku berjudul "You Will Like Geometry," yang menyertai pameran geometri di Museum Sains dan Industri di Chicago. Istilah ini dengan tepat menangkap gagasan pengukuran jarak yang mirip dengan jalur yang dilalui taksi pada tata ruang jalan kota yang seperti grid.

Definisi Resmi

Jarak Manhattan  dalam ruang vektor  dengan sistem koordinat Kartesius, antara vektor  dan , adalah jumlah panjang proyeksi ruas garis antara kedua vektor tersebut terhadap sumbu-sumbu koordinat. Secara matematis, jarak Manhattan dapat didefinisikan sebagai berikut

Sifat-sifat Geometri Taks 

Jarak taksi, sebuah metrik khusus yang diterapkan pada ruang Euclidean, memperkenalkan sifat-sifat menarik yang berbeda dari geometri Euclidean tradisional.

• Orientasi Sistem Koordinat: Berbeda dengan jarak Euclidean, jarak taksi bervariasi tergantung pada orientasi sistem koordinat. Meskipun diubah oleh rotasi dalam ruang Euclidean, terjemahan dan refleksi sejajar sumbu tidak berpengaruh pada jarak taksi.
• Bentuk Bola: Dalam geometri taksi, bola mengambil bentuk unik yang dikenal sebagai politope silang, yang mengingatkan kita pada segi delapan biasa dalam dimensi yang lebih tinggi. Persamaan yang mendefinisikan bola-bola ini mencerminkan geometri yang berbeda ini.
• Panjang Busur: Pengertian panjang busur dalam geometri taksi berbeda dengan pengertian dalam geometri Euclidean. Panjang busur taksi dari grafik suatu fungsi pada suatu interval dihitung secara berbeda, dengan menyoroti perbedaan antara dua geometri.
• Kesesuaian Segitiga: Meskipun geometri Euclidean menawarkan beberapa teorema yang memastikan kekongruenan segitiga berdasarkan kombinasi sisi dan sudut yang sama, geometri taksi menyajikan kriteria yang lebih ketat. Dalam geometri taksi, hanya kriteria Sisi-Sudut-Sisi-Sudut-Sisi (SASAS) yang menjamin keselarasan segitiga, menawarkan perspektif unik mengenai kesetaraan geometri.

Aplikasi Geometri Taksi

• Compressed sensing 

Dalam menyelesaikan sistem persamaan linear yang tidak dapat ditentukan, istilah regularisasi untuk vektor parameter dinyatakan dalam bentuk ℓ1 norma (geometri taksi) dari vektor. Pendekatan ini muncul dalam kerangka pemulihan sinyal yang disebut penginderaan terkompresi.

• Differences of frequency distributions 

Geometri taksi dapat digunakan untuk menilai perbedaan distribusi frekuensi diskrit. Misalnya, dalam penyambungan RNA, distribusi posisi heksamer, yang mewakili kemungkinan munculnya setiap heksamer pada setiap nukleotida tertentu di dekat lokasi penyambungan, dapat dibandingkan menggunakan jarak L1. Setiap distribusi posisi dapat direpresentasikan sebagai vektor di mana setiap segmen menunjukkan probabilitas heksamer dimulai pada nukleotida tertentu. Jarak L1 yang besar antara kedua vektor menunjukkan perbedaan sifat distribusi yang signifikan, sedangkan jarak yang kecil menunjukkan distribusi yang berbentuk serupa. Hal ini serupa dengan mengukur luas antara dua kurva distribusi karena tinggi setiap segmen adalah selisih mutlak antara kemungkinan kedua kurva pada titik tersebut. Ketika dijumlahkan di semua segmen, hasilnya sama dengan jarak L1.

Disadur dari: en.wikipedia.org/id.wikipedia.org

Analisis Diskriminan Linear (LDA), juga dikenal sebagai Analisis Diskriminan Normal (NDA) atau Analisis Fungsi Diskriminan, adalah generalisasi dari diskriminan linier milik Fisher. Metode ini digunakan dalam statistik dan bidang lainnya untuk menemukan kombinasi linear fitur yang menggambarkan atau memisahkan dua atau lebih kelas objek atau peristiwa. Kombinasi yang dihasilkan dapat digunakan sebagai pengklasifikasi linier atau, lebih umumnya, untuk reduksi dimensi sebelum klasifikasi lebih lanjut.

LDA berkaitan erat dengan analisis varians (ANOVA) dan analisis regresi, yang juga berusaha untuk mengekspresikan satu variabel terikat sebagai kombinasi linear dari fitur atau pengukuran lainnya. Namun, ANOVA menggunakan variabel independen kategorikal dan variabel terikat kontinu, sedangkan analisis diskriminan memiliki variabel independen kontinu dan variabel terikat kategorikal (yaitu label kelas). Regresi logistik dan regresi probit lebih mirip dengan LDA daripada ANOVA, karena mereka juga menjelaskan variabel kategorikal dengan nilai variabel independen kontinu.

LDA juga berkaitan erat dengan Analisis Komponen Utama (PCA) dan analisis faktor karena keduanya mencari kombinasi linear dari variabel yang paling baik menjelaskan data. LDA secara eksplisit mencoba memodelkan perbedaan antara kelas data, sedangkan PCA tidak memperhatikan perbedaan kelas, dan analisis faktor membangun kombinasi fitur berdasarkan perbedaan daripada kesamaan. Analisis diskriminan juga berbeda dari analisis faktor karena bukan merupakan teknik interdependensi: perlu dibuat perbedaan antara variabel independen dan variabel terikat (juga disebut variabel kriteria).

LDA bekerja ketika pengukuran yang dilakukan pada variabel independen untuk setiap observasi adalah kuantitas kontinu. Ketika berurusan dengan variabel independen kategorikal, teknik setara adalah analisis korespondensi diskriminan. Analisis diskriminan digunakan ketika grup sudah diketahui sebelumnya (berbeda dengan analisis cluster). Setiap kasus harus memiliki skor pada satu atau lebih ukuran prediktor kuantitatif, dan skor pada ukuran grup. Secara sederhana, analisis fungsi diskriminan adalah klasifikasi - tindakan mendistribusikan hal-hal ke dalam kelompok, kelas, atau kategori yang sama.

Sejarah dan Perkembangan Analisis Diskriminan

Pada tahun 1936, Sir Ronald Fisher mengembangkan analisis diskriminan dichotomous asli. Metode ini berbeda dari ANOVA atau MANOVA, yang digunakan untuk memprediksi satu (ANOVA) atau beberapa (MANOVA) variabel terikat kontinu dengan satu atau lebih variabel independen kategorikal. Analisis fungsi diskriminan bermanfaat dalam menentukan apakah sekumpulan variabel efektif dalam memprediksi keanggotaan kategori.

Analisis Diskriminan Linear (LDA) untuk Dua Kelas

Dalam analisis statistik, terutama dalam pemrosesan data dan klasifikasi, metode Analisis Diskriminan Linear (LDA) memiliki peran penting. Konsep ini, yang dikembangkan oleh Sir Ronald Fisher pada tahun 1936, digunakan untuk membedakan atau memisahkan dua kelas objek atau peristiwa berdasarkan serangkaian pengamatan yang dikenal.

LDA bekerja dengan mengasumsikan bahwa fungsi kepadatan probabilitas bersyarat untuk setiap kelas adalah distribusi normal dengan parameter rata-rata dan kovariansi tertentu. Di bawah asumsi ini, solusi Bayes-optimal adalah memprediksi titik-titik sebagai berasal dari kelas kedua jika log dari rasio kemungkinan lebih besar dari suatu ambang tertentu. Metode ini memungkinkan klasifikasi yang akurat dan efisien.

Selain itu, LDA juga membuat asumsi tambahan yang disebut homoskedastisitas, yang mengasumsikan bahwa kovariansi antar kelas adalah identik. Dengan asumsi ini, beberapa istilah dalam rumus klasifikasi dapat disederhanakan, menghasilkan pengklasifikasi linier yang lebih efisien.

Dari sudut pandang geometris, LDA mengartikan klasifikasi sebagai proyeksi titik dalam ruang multidimensi ke dalam vektor tertentu, di mana letaknya menentukan kelasnya. Dengan kata lain, keputusan klasifikasi adalah hasil dari perbandingan linear dari pengamatan yang diketahui.

Dengan asumsi yang tepat dan penerapan yang cermat, Analisis Diskriminan Linear (LDA) memberikan pendekatan yang kuat untuk memahami dan mengklasifikasikan data, yang dapat digunakan dalam berbagai konteks, mulai dari riset ilmiah hingga aplikasi praktis dalam kehidupan sehari-hari.

Penggunaan Praktis Analisis Diskriminan Linear (LDA)

Dalam praktiknya, rata-rata kelas dan kovariansi tidak selalu diketahui. Namun, keduanya dapat diestimasi dari set data pelatihan. Estimasi yang umum digunakan adalah estimasi maksimum kemungkinan atau estimasi maksimum a posteriori. Meskipun estimasi kovariansi mungkin dianggap optimal dalam beberapa hal, ini tidak berarti bahwa diskriminan yang dihasilkan dengan menggunakan nilai-nilai ini adalah yang terbaik dalam segala hal, bahkan jika asumsi tentang distribusi normal kelas adalah benar.

Salah satu komplikasi dalam menerapkan LDA dan diskriminan Fisher pada data nyata adalah ketika jumlah pengukuran setiap sampel melebihi jumlah sampel dalam setiap kelas. Dalam kasus ini, estimasi kovariansi tidak memiliki peringkat penuh, sehingga tidak dapat diinverskan. Ada beberapa cara untuk mengatasi hal ini, salah satunya adalah menggunakan pseudo invers sebagai gantinya. Namun, stabilitas numerik yang lebih baik dapat dicapai dengan pertama-tama memproyeksikan masalah ke dalam subruang yang dipanjangi oleh Σb. Strategi lain untuk mengatasi ukuran sampel kecil adalah dengan menggunakan estimasi penyusutan matriks kovariansi, yang dapat dinyatakan secara matematis sebagai:

Σ = (1 - λ)Σ + λI,

di mana I adalah matriks identitas, dan λ adalah intensitas penyusutan atau parameter regularisasi.

Selain itu, dalam banyak kasus praktis, diskriminan linear tidak cocok. LDA dan diskriminan Fisher dapat diperluas untuk digunakan dalam klasifikasi non-linear melalui trik kernel. Di sini, pengamatan asli secara efektif dipetakan ke dalam ruang non-linear dimensi lebih tinggi. Klasifikasi linear dalam ruang non-linear ini setara dengan klasifikasi non-linear dalam ruang asli. Contoh paling umum dari ini adalah diskriminan Fisher kernel.

Disadur dari: en.wikipedia.org

Pengenalan pola muncul sebagai seni mengalokasikan kelas ke pengamatan, dilihat dari pola data yang diekstraksi. Namun, hal ini berbeda dari pattern machines (PM), yang, meskipun berpotensi dilengkapi dengan kemampuan serupa, terutama berfungsi untuk membedakan dan menghasilkan pola yang muncul. Dengan aplikasi yang mencakup analisis data statistik, pemrosesan sinyal, dan lainnya, pengenalan pola berakar pada statistik dan rekayasa.

Secara tradisional, sistem pengenalan pola disempurnakan menggunakan data berlabel "pelatihan". Namun, jika tidak ada, algoritme alternatif mengungkap pola laten, menyelaraskan lebih dekat dengan ranah KDD dan penambangan data. Berakar pada teknik, pengenalan pola menggali bidang visi komputer, dengan acara-acara terkemuka seperti Konferensi Visi Komputer dan Pengenalan Pola menjadi bukti pengaruhnya.

Dalam domain pembelajaran mesin, pengenalan pola memerlukan penetapan label ke nilai input. Misalnya, klasifikasi berupaya mengalokasikan setiap masukan ke kelas yang telah ditentukan sebelumnya, seperti membedakan email "spam". Di luar klasifikasi, ini meluas ke regresi, pelabelan urutan, dan penguraian, masing-masing menangani jenis keluaran yang unik.

Algoritme pengenalan pola berusaha keras untuk memberikan respons yang masuk akal di berbagai masukan, memprioritaskan kecocokan yang "paling mungkin" sambil mempertimbangkan varian statistik. Berbeda dengan algoritma pencocokan pola, yang mencari kecocokan yang tepat, pengenalan pola berupaya untuk membedakan pola lagi, mirip dengan pengrajin terampil yang membuat desain rumit dalam kanvas data yang luas.

Ringkasan Pengenalan Pola

Dalam bidang pembelajaran mesin yang luas, pengenalan pola merupakan disiplin fundamental yang didedikasikan untuk penemuan otomatis keteraturan dan struktur dalam data melalui penggunaan algoritma komputer yang canggih. Bidang ini didorong oleh tujuan yang mendalam: untuk memanfaatkan pola yang melekat dalam data dan memanfaatkannya untuk melakukan tugas-tugas seperti mengklasifikasikan instance ke dalam kategori yang berbeda, memungkinkan mesin untuk membuat keputusan yang tepat dan mengungkap wawasan yang tersembunyi.

Pada intinya, pengenalan pola dikategorikan berdasarkan prosedur pembelajaran yang digunakan untuk menghasilkan nilai keluaran. Pembelajaran yang diawasi, sebuah pendekatan yang diadopsi secara luas, bergantung pada rangkaian pelatihan yang dikurasi dengan cermat – kumpulan contoh yang telah diberi label dengan cermat oleh pakar manusia. Data pelatihan ini berfungsi sebagai landasan bagi algoritma pembelajaran untuk membangun sebuah model, memberikan keseimbangan antara secara akurat menangkap pola dalam set pelatihan dan menggeneralisasi secara efektif ke contoh data baru yang belum terlihat.

Sebaliknya, pembelajaran tanpa pengawasan beroperasi tanpa kemewahan data pelatihan berlabel. Sebaliknya, pendekatan ini berupaya untuk mengungkap pola dan struktur inheren yang tersembunyi di dalam data itu sendiri, yang kemudian memungkinkan klasifikasi atau pengelompokan kejadian baru yang benar berdasarkan persamaan atau ketidaksamaan yang melekat pada data tersebut.

Di luar dua paradigma mendasar ini, para peneliti telah mengeksplorasi bidang pembelajaran semi-supervisi yang menarik, yang secara harmonis menggabungkan kekuatan data berlabel dan tidak berlabel, memanfaatkan yang terbaik dari kedua dunia tersebut untuk meningkatkan akurasi dan ketahanan proses pembelajaran.

• Pengklasifikasi Probabilistik

Algoritme pengenalan pola sering kali mengadopsi pendekatan probabilistik, menggunakan inferensi statistik untuk menentukan label atau kategori yang paling mungkin untuk suatu kejadian tertentu. Algoritme ini tidak hanya menghasilkan label "terbaik" namun juga memberikan ukuran keyakinan, yang didasarkan pada teori probabilitas, menawarkan wawasan berharga dalam proses pengambilan keputusan. Sifat probabilistik ini memberikan banyak keuntungan, termasuk kemampuan untuk abstain ketika tingkat kepercayaan terlalu rendah, integrasi yang lancar ke dalam tugas pembelajaran mesin yang lebih besar, dan mitigasi penyebaran kesalahan.

Inti dari pengenalan pola terletak pada konsep vektor fitur – representasi multidimensi yang merangkum karakteristik penting dari setiap contoh. Vektor-vektor ini dapat dimanipulasi menggunakan teknik matematika yang canggih, seperti menghitung perkalian titik atau sudut antar vektor, mengungkap hubungan rumit dan persamaan yang mendasari proses pengambilan keputusan.

• Jumlah Variabel Fitur Penting

Untuk meningkatkan efektivitas algoritme pengenalan pola, peneliti menggunakan berbagai teknik, termasuk algoritme pemilihan fitur yang memangkas fitur-fitur yang berlebihan atau tidak relevan, dan algoritme ekstraksi fitur yang mengubah vektor fitur berdimensi tinggi menjadi representasi berdimensi lebih rendah, sehingga mengurangi redundansi dan kompleksitas komputasi. .

Dalam lanskap pembelajaran mesin yang terus berkembang, pengenalan pola merupakan disiplin ilmu utama yang memberdayakan mesin untuk membedakan keteraturan dan kekacauan, mengungkap wawasan tersembunyi, dan membuat keputusan yang tepat di berbagai bidang. Saat kita terus mendorong batas-batas kecerdasan buatan, bidang pengenalan pola tidak diragukan lagi akan memainkan peran penting dalam membentuk masa depan sistem cerdas dan kemampuannya untuk menavigasi kompleksitas dunia di sekitar kita.

Memahami Pengenalan Pola: Pendekatan Frekuensitas vs. Bayes

Pengenalan pola menjadi inti dari berbagai teknologi modern, mulai dari filter spam dalam surel hingga perangkat lunak pengenalan wajah. Pada dasarnya, tujuannya adalah untuk memetakan instansi masukan ke label keluaran berdasarkan data yang ada. Namun, pendekatan untuk mencapai hal ini bervariasi secara signifikan, dengan dua metodologi utama: pendekatan frekuensitas dan Bayes.

• Pernyataan Masalah

Dalam pengenalan pola, kita bertujuan untuk mendekati sebuah fungsi tidak diketahui g:X→Y, yang memetakan instansi masukan x∈X ke label keluaran y∈Y. Ini biasanya berdasarkan kumpulan data pelatihan D={(x1,y1),…,(xn,yn)}, di mana setiap pasangan mewakili contoh akurat dari pemetaan. Tantangannya adalah untuk menghasilkan sebuah fungsi h:X→Y, yang mendekati dengan baik pemetaan yang benar gg. Ini melibatkan definisi fungsi kerugian yang mengkuantifikasi perbedaan antara label yang diprediksi dan sebenarnya. Tujuannya kemudian adalah untuk meminimalkan kerugian yang diharapkan atas distribusi probabilitas dari X.

• Pendekatan Frekuensitas

Pendekatan frekuensitas memperlakukan parameter model sebagai tidak diketahui tetapi objektif, mengestimasikannya dari data yang dikumpulkan. Misalnya, dalam analisis diskriminan linear, parameter seperti vektor rata-rata dan matriks kovariansi dihitung dari data. Probabilitas kelas, p(label∣θ)p(label∣θ), juga diestimasi secara empiris dari kumpulan data. Meskipun menggunakan aturan Bayes dalam klasifikasi frekuensitas, metodologi itu sendiri tetap berbeda dari inferensi Bayes.

• Pendekatan Bayes

Statistik Bayes berasal dari membedakan antara pengetahuan 'a priori' dan 'a posteriori', seperti yang dijelaskan dalam filsafat Yunani dan kemudian oleh Kant. Dalam pengklasifikasi pola Bayes, pengguna dapat menentukan probabilitas kelas sebelumnya, p(label∣θ), berdasarkan kepercayaan subjektif mereka. Prioritas ini kemudian dapat digabungkan dengan pengamatan empiris menggunakan distribusi seperti distribusi Beta dan Dirichlet, memungkinkan integrasi yang mulus antara pengetahuan ahli dan data objektif.

• Memilih Antara Pendekatan

Pengklasifikasi pola probabilistik dapat beroperasi dalam kerangka baik frekuensitas maupun Bayes. Sementara pendekatan frekuensitas bergantung pada estimasi objektif parameter model dan probabilitas kelas dari data, pendekatan Bayes memungkinkan untuk menggabungkan prioritas subjektif bersama pengamatan empiris.

Pengenalan Pola: Aplikasi Luas dalam Berbagai Bidang

Pola pengenalan memainkan peran krusial dalam berbagai bidang, terutama dalam ilmu kedokteran di mana sistem diagnosis berbantu komputer (CAD) menggunakan teknologi ini. Selain itu, aplikasi pola pengenalan meluas ke pengenalan ucapan, identifikasi pembicara, klasifikasi teks, dan bahkan pengenalan gambar wajah manusia. Seiring perkembangan teknologi, penggunaan pola pengenalan juga diterapkan dalam pengenalan karakter optik dan ekstraksi informasi dari gambar medis.

Dalam aplikasi praktis, teknologi ini digunakan dalam identifikasi dan otentikasi, seperti pengenalan plat nomor kendaraan, analisis sidik jari, dan deteksi wajah. Di bidang medis, pola pengenalan digunakan untuk skrining kanker, deteksi tumor, dan analisis suara jantung. Tak hanya itu, dalam pertahanan, teknologi ini dimanfaatkan dalam sistem navigasi, pengenalan target, dan teknologi pengenalan bentuk.

Pentingnya pola pengenalan juga terasa dalam mobilitas, dengan sistem bantuan pengemudi canggih dan teknologi kendaraan otonom yang mengandalkan prinsip ini. Di bidang psikologi, pengenalan pola membantu dalam memahami bagaimana manusia mengidentifikasi objek dan memberikan makna terhadapnya. Dari diagnosa medis hingga keamanan dan mobilitas, pola pengenalan menjadi landasan teknologi modern yang mendorong inovasi dan kemajuan di berbagai bidang kehidupan.

Algoritma Pengenalan Pola

Algoritma pengenalan pola bergantung pada jenis keluaran label, apakah pembelajaran diawasi atau tidak, dan apakah algoritma tersebut bersifat statistik atau non-statistik. Algoritma statistik dapat diklasifikasikan sebagai generatif atau diskriminatif.

Metode klasifikasi (metode memprediksi label kategorikal)

Parametrik:

•      Analisis diskriminan linier
•      Analisis diskriminan kuadrat
•      Pengklasifikasi entropi maksimum (alias regresi logistik, regresi logistik multinomial): Perhatikan bahwa regresi logistik adalah algoritma untuk klasifikasi, terlepas dari namanya. (Nama ini berasal dari fakta bahwa regresi logistik menggunakan perluasan model regresi linier untuk memodelkan probabilitas suatu masukan berada di kelas tertentu.)

Nonparametrik:

•      Pohon keputusan, daftar keputusan
•      Estimasi kernel dan algoritma K-nearest-neighbor
•      Pengklasifikasi Naive Bayes
•      Jaringan saraf (perceptron multi-layer)
•      Perceptron
•      Mendukung mesin vektor
•      Pemrograman ekspresi gen

Metode clustering (metode untuk mengklasifikasikan dan memprediksi label kategorikal)

•      Model campuran kategorikal
•      Pengelompokan hierarki (aglomeratif atau memecah belah)
•      Pengelompokan K-means
•      Pengelompokan korelasi
•      Analisis komponen utama kernel (Kernel PCA)

Algoritma pembelajaran ansambel (meta-algoritma yang diawasi untuk menggabungkan beberapa algoritma pembelajaran bersama-sama)

•      Peningkatan (meta-algoritma)
•      Agregasi bootstrap ("mengantongi")
•      Rata-rata ansambel
•      Campuran para ahli, campuran hierarki para ahli

Metode umum untuk memprediksi label (kumpulan) yang terstruktur secara sewenang-wenang

•      Jaringan Bayesian
•      Bidang acak Markov
•      Algoritma pembelajaran subruang multilinear (memprediksi label data multidimensi menggunakan representasi tensor)

Tidak diawasi:

•      Analisis komponen utama multilinear (MPCA)

Metode pelabelan urutan bernilai nyata (memprediksi urutan label bernilai nyata)

•      Filter Kalman
•      Filter partikel

Metode regresi (memprediksi label bernilai nyata)

•      Regresi proses Gaussian (kriging)
•      Regresi dan ekstensi linier
•      Analisis komponen independen (ICA)
•      Analisis komponen utama (PCA)

Metode pelabelan urutan (memprediksi urutan label kategorikal)

•      Bidang acak bersyarat (CRF)
•      Model Markov Tersembunyi (HMM)
•      Model Markov entropi maksimum (MEMM)
•      Jaringan saraf berulang (RNN)
•      Pembengkokan waktu dinamis (DTW)

Disadur dari: en.wikipedia.org/wkipedia.org