diklatkerja | [Tanya Jawab] Big Data Engineering and Implementation

1. Pertanyaan dari Muhammad Dzuhri Ma'arief (PTCT, Batam)
1) Sebenarnya apa yang menyebabkan ukuran data menjadi semakin besar dari tahun ke tahun? Apakah karena terlalu banyak informasi yang tercapture dalam data? Dan sebenarnya inilah yang membuat Data Cleansing dan Data Organizing jadi mengambil porsi terbesar dalam mengolah dan memproses data. Too much information will kill you.
2) Skill real apa yang bisa dibutuhkan bagi Data Engineer, sehingga kita tidak terkesan "Garbage In, Garbage Out"? Mengolah data tapi hanya jadi "sampah" juga.

Jawaban: Pertanyaan yang sangat bagus. Kenapa data semakin banyak otomatis penggunaannya. Dulu belum banyak yang menggunakan telekomunikasi. Hampir semua orang sekarang mempunya hp. Kenapa data semakin banyak karena pertambahan customer atau subscriber telko. Pertambahan layanan. 5kb akes data 1 record 1 mg 200 record 1gb 200000 record. Generate 1 hari 200.000 record. Ini yang menyebabkan data semakin besar. Di perbankan bertambah data nasabah. Dulu drop call data di buang begitu saja. Tapi kalau sekarang data di analisis. Kenapa drop call. Sistem langsung mengetahui mengapa drop call. Contohnya pulsa habis. Drop call karena netwrok nya down, jadi sistem bisa melakukan analisis. Kalau orang daerah sini sistem nya tidak bagus bisa di alokasikan ke network. Jadinya berguna. Terlalu banyak informasi menjadi bingung. Data engineering menyaring informasi berikut. Skill yang dibutuhkan untuk engineer atau manipulasi terhadap datanya. Yang dibutuhkan berikutnya adalah kemampuan analisis untuk berikutnya. Bisa mengorek-ngorek sampah ternyata data ini bisa berguna dan bisa menghasilkan benefit apa. Menggunakan tools pengunaan data.

2. Pertanyaan dari Rumthe Jul Roy (Universitas Papua)

Bagaimana kita membuat/mengcreate Big Data dari sebuah object penelitian dikarenakan kita belum bisa mendapatkan data yang kita inginkan?

3. Pertanyaan dari Junianto Yuristiono (BKTI-PII)
Apakah Big Data nanti bisa digeser oleh Block Chain untuk sektor tertentu, misal di sektor perbankan dan transaksi keuangan?

Jawaban: Bukan digeser, namun block chain dan big data akan bersinergi. Block chain didukung oleh big data untuk melakukan ke sisteman mereka. Sudah ada kepercayaan di sistem block chain.

4. Pertanyaan dari Imron Gozali (PTSI, Tuban)
Jika di perusahaan tertentu datanya masih tersebar di berbagai unit kerja, tidak ada format baku, belum terintegrasi step-step konkrit, apa yang harus dilakukan? Dan membutuhkan investasi berapa untuk melakukan master data management tersebut?

Jawaban: Ini jika membicarakn pertanyaan awal, ini di seluruh instansi seperti itu, data collection menjadi PR semua instansi. Menjadi masalah. Untuk open data harus ada perintah dari atasan. Ada rule dari yang paling atas. Contoh nya satu Indonesia maka Presiden harus membuat rule agar membuka data. Contoh di perusahaan satu divisi mempunyai kebijakan data tersebut maka data boleh diakses oleh divisi mana. Data dikumpulkan dalam satu tempat. Divisi IT yang akan memberikan rule. Keamanan data juga akan diatur agar data tidak bocor keluar. Apabila data ingin dimanfaatkan data akan dimanfaatkan untuk apa. Dianalisis data digunakan untuk apa sehingga data baru boleh dibuka dan tidak boleh ada kebocoran data. Pertama bangun infrastruktur atau membangun satu server di mana data dikumpulkan di situ semua. Satu data dapat di akses oleh semua. Ini akan menjadi master data untuk semuanya.

5. Pertanyaan dari Christian Alessandro (Universitas Pattimura)
1) Dalam data cleansing, apakah outlier harus selalu disingkirkan Pak, termasuk data yang tidak memiliki atribut lengkap?
2) Apakah dengan tim yang sama, membangun data infrastruktur sekaligus melakukan data analyst memungkinkan Pak?

Jawaban:
1) Tergantung rule. Ada beberapa hal data itu tidak lengkap harus dilengkapi. Apabila tidak bisa dilengkapi akan di buang. Namun data tersebut sebaik nya data tersebut tidak dibuang. Namun di simpan di data base yang terisis data-data reject.

2) Step by step. Namun data analyst tidak bisa bekerja jika engineer nya siap. Memberikan gambaran data yang akan di ambil apa saja, storage apa saja, dan lain-lain sehingga infrastruktur sudah siap.

6. Pertanyaan dari Rahmad Harjono (PT. Rekayasa Industri)
Apa sajakah tahapan-tahapannya, jika perusahaan akan mulai melakukan implementasi Big Data mulai dari nol? Serta infrastruktur apa saja yang perlu disiapkan?

Jawaban: Mulai dari infrastruktur, kemudian build data engineer, dan terakhir data analytics. Infrastruktur yang perlu 6 server, 2 master note, 3 data note, 1 console note. Sudah cukup membangun 1 infrastruktur big data yang lengkap.

Profil Instruktur