Teori informasi adalah studi matematika tentang kuantifikasi, penyimpanan dan transmisi informasi. Bidang ini awalnya didirikan oleh karya Harry Nyquist dan Ralph Hartley pada tahun 1920-an dan Claude Shannon pada tahun 1940-an: vii Bidang matematika terapan berada di persimpangan antara teori probabilitas, statistik dan ilmu komputer, mekanika statistik, teknologi informasi dan kelistrikan. rekayasa.
Entropi percobaan Bernoulli sebagai fungsi probabilitas keberhasilan, sering disebut fungsi entropi biner, Hb(p). Entropi dimaksimalkan pada 1 bit per percobaan ketika dua kemungkinan hasil memiliki kemungkinan yang sama, seperti dalam pelemparan koin yang tidak memihak.
Entropi adalah ukuran utama teori informasi. Entropi mengukur tingkat ketidakpastian yang terkait dengan nilai variabel acak atau hasil dari proses acak. Misalnya, menentukan hasil pelemparan koin secara adil (dua kemungkinan hasil yang sama) memberikan lebih sedikit informasi (entropi lebih rendah, ketidakpastian lebih sedikit) dibandingkan menentukan hasil dengan melempar sebuah dadu (enam kemungkinan hasil yang sama). Metrik penting lainnya dalam teori informasi adalah informasi timbal balik, kapasitas saluran, eksponen kesalahan, dan entropi relatif. Bidang penting dalam teori informasi adalah pengkodean sumber, teori kompleksitas algoritmik, teori informasi algoritmik, dan keamanan teori informasi.
Penerapan topik teori data inti meliputi kompresi sumber/data (misalnya untuk file ZIP) dan pengkodean saluran/deteksi dan koreksi kesalahan (misalnya untuk DSL). Pengaruhnya sangat penting bagi keberhasilan misi luar angkasa Voyager, penemuan CD, kelayakan telepon seluler, dan perkembangan Internet. Teori ini juga dapat diterapkan di bidang lain, termasuk inferensi statistik, kriptografi, neurobiologi, persepsi, linguistik, evolusi kode dan fungsi molekul (bioinformatika), termofisika, dinamika molekul, komputasi kuantum, lubang hitam, pengambilan informasi, pengumpulan informasi, plagiarisme deteksi, pengenalan pola, deteksi anomali, dan bahkan kreasi seni.
Teori informasi mempelajari transmisi, pemrosesan, alokasi dan penggunaan informasi. Secara abstrak, informasi dapat dianggap sebagai solusi terhadap ketidakpastian. Mengenai transmisi informasi melalui saluran kebisingan, konsep abstrak ini diformalkan pada tahun 1948 oleh Claude Shannon dalam A Mathematical Theory of Communication, dimana informasi dianggap sebagai sekumpulan pesan yang mungkin dan tujuannya adalah untuk mengirimkan pesan tersebut melalui saluran kebisingan. dan biarkan penerima merekonstruksi pesan meskipun ada gangguan saluran dengan kemungkinan kesalahan yang kecil. Hasil utama Shannon, teorema pengkodean saluran berisik, menunjukkan bahwa pada batas penggunaan multisaluran, kecepatan informasi yang dapat dicapai secara asimtotik sama dengan kapasitas saluran, yang jumlahnya hanya bergantung pada statistik saluran. melalui mana pesan dikirim.
Disadur dari: en.wikipedia.org