Pahami Macam-macam Teknologi Pendukung Big Data

Belajar Data Science di Rumah 20-Januari-2021

https://dqlab.id/files/dqlab/cache/41bd33e1db673dc104cc952163d126c1_x_Thumbnail800.jpg

Saat ini bagi kalangan pecinta data tentunya sudah tidak asing lagi dengan kata big data. Menurut TechTarget, Big Data merupakan kumpulan data terstruktur, semi terstruktur bahkan hingga tidak terstruktur atau abstrak. Karakteristik dari big data adalah memiliki volume besar (terabyte - exabyte), struktur data memiliki variabel yang beragam (terstruktur - abstrak), serta terkumpul dalam waktu yang singkat (low latency). Apabila ada salah satu dari karakteristik di atas tidak terpenuhi maka kumpulan data tersebut belum bisa dikatakan sebagai big data.

Big data yang tersedia tentunya harus diolah atau dianalisis agar tidak sia-sia begitu saja. Hasil analisis big data tersebut akan menghasilkan informasi yang berguna dalam membuat keputusan. Big data ini tentunya disertai dengan teknologi pendukung big data yang menjadikan sehingga dapat menjadi acuan untuk mendapatkan hasil informasi yang akurat dan tidak membutuhkan waktu yang lama.

1. Hadoop Ecosystem

Hadoop Ecosystem merupakan sebuah solusi untuk permasalahan big data. Sistem ini bersifat open source dan bisa dimodifikasi dan kustomisasi sehingga sesuai dengan kebutuhan bisnis. Menurut Shubham Sinha dari Eduraka, Hadoop terdiri dari beberapa bagian tugas yang berbeda. Ada yang bertugas untuk mengumpulkan data sampai dengan yang bertugas untuk menganalisis data.

Yang pertama adalah HDFS (Hadoop Distributed File System) yang terdiri dari name node dan data node. Name node bertugas merekam metadata dari sebuah file sedangkan data node bertugas untuk merekam data sesungguhnya.

Bagian yang kedua adalah Yarn, yang bertugas untuk mengatur alur data processing di HDFS. Yarn juga terbagi menjadi dua yaitu resources manager dan node manager. Kedua bagian ini (HDFS dan Yard) harus ada dalam Hadoop ecosystem dan dapat didukung dengan tools lainnya seperti Sparks, Pig, Hive & Drill, HBase, dan lain-lain.

2. Artificial Intelligence

Artificial Intelligence merupakan sebuah teknologi kecerdasan buatan bahkan mendapatkan banyak permintaan dasar dalam dunia big data. Artificial Intelligence atau yang biasa disingkat dengan AI merupakan teknologi yang dapat memprediksi suatu kondisi atau permasalahan dan dapat memberikan saran. Nah big data lah yang diproses oleh teknologi Artificial Intelligence untuk menghasilkan prediksi tersebut.

3. Blockchain

Blockchain merupakan metode distribusi data yang tergolong baru dan unik. Blockchain tidak hanya berhubungan dengan cryptocurrency saja akan tetapi memiliki arti yang lebih luas lagi. Lalu apa hubungan blockchain sebagai teknologi pendukung big data? jadi hubungan antara blockchain dengan big data adalah pada saat transaksi, big data mampu menampung dan merekam berbagai aktivitas transaksi dalam skala besar. Dengan adanya blockchain maka permintaan akan big data juga akan semakin besar. Sebagai contoh, jika kita membeli barang secara online kemudian terjadi penipuan maka bank dapat melacak siapa saja pihak yag berkaitan dengan transaksi tersebut. Bahkan, bank juga dapat melacak siapa saja pihak yang pernah ditipu oleh orang tersebut. Waaah menarik bukaaan..

4. Yuk, Bangun Portfolio Kamu Menggunakan Data Source yang Tersedia di DQLab Sekarang !!!

Tidak memiliki background IT? Jangan khawatir, kamu tetap bisa menguasai Ilmu Data Science untuk siap berkarir di revolusi industri 4.0. Bangun proyek dan portofolio datamu bersama DQLab untuk mulai berkarir di industri data yang sebenarnya! Sign up sekarang untuk #MulaiBelajarData di DQLab!