BIG DATA
Apakah kalian tahu apa itu big data ? ya , mungkin sebagian dari kita tidak tahu apa itu big data. maka dari itu penulis akan membagikan sedikit hal tentang big data.
Big Data adalah sebuah teknologi baru di dunia teknologi informasi dimana memungkinan proses pengolahan, penyimpanan dan analisis data dalam beragam bentuk/format, berjumlah besar dan pertambahan data yang sangat cepat. Pengolahan dan analisis data dalam jumlah sangat besar ini memerlukan waktu yang relatif jauh lebih singkat dengan menggunakan Big Data dibanding teknologi data sebelumnya, misalnya. database relational seperti MySQL.
Ciri-ciri data yang ditangani oleh Big Data, diantaranya :
Jumlah nya sangat besar (Volume) : Biasanya ukuran total data dalam terabytes keatas.
Pertumbuhan data sangat cepat (Velocity) : sehingga data bertambah dalam jumlah yang sangat banyak dalam kurun waktu relatif singkat.
Bentuk atau format datanya beraneka ragam (Variety) : Format disini bisa berupa data dalam tabel-tabel relasional database seperti MySQL, file text biasa, File Excel atau bentuk apapun.
Berpikir kritis sesuai kebenaran ( Veracity ) : Apakah data yang sedang disimpan, dan ditambang bermakna untuk masalah yang sedang dianalisis. Anda perlu agar tim dan mitra anda bekerja untuk membantu menjaga kebersihan data dan proses anda agar data kotor tidak terakumulasi di sistem anda.
Manfaat yang bisa diberikan dari Big Data antara lain bisa memberikan gambaran yang lebih lengkap dari sebelumnya karena biasanya data yang dianalisis adalah data terstruktur misalnya data relasional database.
Relasional database sendiri yakni seperangkat program komputer yang dirancang untuk mengatur/memanajemen sebuah basis data sebagai sekumpulan data yang disimpan secara terstruktur, dan melakukan operasi-operasi data atas permintaan penggunanya.
Contoh skenario dimana Big Data digunakan misalnya adalah pemanfaatan data dari social media, twitter, facebook dsbnya dipadukan dengan data dari perusahaan sendiri misalnya data dari penjualan atau data pelanggan yang sudah ada di relasional database. Dengan demikian bisa didapatkan analisis untuk melakukan strategi marketing yang jitu. Misalnya dengan menganalisis orang-orang di social media yang berpengaruh untuk memasarkan produk.
Terdapat dua jenis teknologi yang ada pada Big Data yaitu:
Big Data Operasional : sistem yang memiliki kapabilitas operasional untuk pekerjaan-pekerjaan bersifat interaktif dan real time dimana data pada umumnya diserap dan disimpan.
Big Data Analitis : sistem yang menyediakan kapabilitas analitis untuk mengerjakan analisis yang kompleks dan retrospektif yang dapat melibatkan sebagian besar atau bahkan keseluruhan data.
Dalam keberadaannya, kedua jenis teknologi Big Data ini bersifat saling melengkapi dan sering digunakan secara bersamaan.
Big Data Operasional
Untuk menangani pekerjaan-pekerjaan Big Data Operasional, telah dibangun sistem Big Data dengan database NoSQL seperti halnya database berbasis dokumen (document based database) yang dapat ditujukan untuk berbagai tipe aplikasi, database key-value stores, column family stores, dan database graph yang dioptimalkan untuk aplikasi yang lebih spesifik.
Teknologi NoSQL, yang telah dikembangkan untuk mengatasi kekurangan dari database relasional (relational database) pada lingkungan komputasi modern, dikenal lebih cepat serta lebih mudah dan murah dalam hal peningkatan skala (more scalable) dibanding relational databases.
Terlebih lagi, sistem Big Data dengan database NoSQL telah didesain untuk memanfaatkan keunggulan dari arsitektur cloud computing (komputasi awan) yang telah muncul dalam dekade terakhir ini. Hal ini memungkinkan dijalankannya komputasi berskala besar secara efisien dan dengan biaya yang relatif lebih murah. Sebagai hasilnya, sistem NoSQL dengan komputasi awan ini telah menjadikan perangkat kerja Big Data operasional lebih mudah dikelola, serta dapat diimplementasikan dengan lebih murah dan cepat.
Big Data Analitis
Big Data analitis cenderung diproses dengan mengimplementasikan sistem database Masively Paralel Processing (proses sebuah program yang terkordinasi dengan penggunaan proses yang besar ) dan MapReduce. Munculnya teknologi ini juga merupakan reaksi terhadap keterbatasan dan kurangnya kemampuan relational database tradisional untuk mengelola database dalam skala lebih dari satu server (terdistribusi). Disamping itu, MapReduce juga menawarkan metode baru dalam menganalisa data yang dapat berfungsi sebagai pelengkap terhadap kapabilitas SQL.
Dengan semakin populernya penggunaan berbagai jenis aplikasi dan para penggunanya terus menerus memproduksi data dari pemakaian aplikasi tersebut, terdapat sejumlah upaya analisa retrospektif (sebuah studi yang didasarkan pada catatan medis, mencari mundur sampai waktu peristiwanya terjadi di masa lalu) yang benar-benar dapat memberikan nilai berarti terhadap kemajuan bisnis.
Ketika upaya-upaya tersebut mesti melibatkan algoritma yang lebih rumit, MapReduce telah menjadi pilihan pertama untuk melakukan analisa retrospektif tersebut. Beberapa sistem NoSQL juga menyediakan fungsi MapReduce bawaan yang memungkinkan proses analisa diterapkan pada data operasional. Sebagai alternatif lain, data juga dapat dikopi dari sistem NoSQL ke dalam sistem analitis seperti halnya Hadoop dengan MapReduce-nya.
Manfaat Pemberdayaan Big Data
Berbagai teknologi baru yang ditujukan untuk memberdayakan Big Data telah memungkinkan direalisasikannya suatu nilai dari Big Data. Sebagai contoh, pebisnis retail online dapat mempelajari perilaku para pengunjungnya berdasarkan data hasil web click tracking. Dengan mengetahui perilaku konsumen maupun calon konsumennya, maka dimungkinkan untuk menerapkan strategi baru guna meningkatkan penjualan, mengatur harga dan stok barang secara efisien.
Institusi pemerintah maupun Google dapat mendeteksi timbulnya suatu wabah penyakit dengan memanfaatkan informasi yang mengalir di media sosial. Perusahaan minyak dan gas dapat menggunakan output dari sensor-sensor pada peralatan pengeboran untuk menemukan teknik pengeboran yang lebih aman dan efisien.
Jadi, dengan mendayagunakan database Big Data, operasional perusahaan dapat melakukan penghematan pengeluaran, meningkatkan keuntungan, dan mencapai sasaran-sasaran bisnis lainnya.
Dalam hal ini paling tidak, ada 3 hal yang dapat diraih oleh perusahaan yang menerapkan teknologi Big Data, yakni:
1. Membuat aplikasi baru. Big Data memungkinkan suatu perusahaan untuk mengumpulkan data-data real time dari produk-produk yang mereka pasarkan, dari sumber daya yang digunakan, dan data-data yang berkaitan dengan pelanggannya. Data-data ini dapat dimanfaatkan untuk mengoptimalkan kepuasan pelanggan ataupun untuk efisiensi penggunaan sumber daya. Sebagai contoh, sebuah kota besar di Amerika Serikat telah menggunakan MongoDB, sebuah document based NoSQL database, untuk menurunkan angka kejahatan dan meningkatkan pelayanan umum dengan mengumpulkan dan menganalisa data geospatial secara real-time dari 30 departemen yang berbeda.
2. Meningkatkan efektifitas dan menurunkan biaya dari aplikasi yang telah ada. Teknologi Big Data dapat menggantikan sistem berspesifikasi tinggi yang mahal dengan sistem yang dapat dijalankan dengan spesifikasi standar. Disamping itu, karena banyak teknologi Big Data yang sifatnya open source, tentu mereka dapat diimplementasikan dengan biaya yang lebih murah dibandingkan teknologi yang hanya dimiliki dan dijual oleh suatu perusahaan.
3. Meningkatkan loyalitas pelanggan. Dengan semakin banyaknya data yang bisa diakses oleh berbagai bagian dalam suatu organisasi, juga dengan semakin cepatnya update yang dilakukan pada data-data tersebut, akan memungkinkan respon yang makin cepat dan akurat pula terhadap berbagai permintaan pelanggan.
 |
| Open Source Logo |
Tantangan yang dihadapi oleh Organisasi, lembaga bisnis adalah bagaimana menyimpan dan memanfaatkan data yang besar tersebut agar menjadi sesuatu yang bisa bermanfaat untuk kemajuan organisasi, lembaga bisnis atau perusahaan.
Oleh karena itu , Solusi untuk mengimplementasikan Big Data yakni dengan menggunakan Open Source Tools yang dapat diperoleh secara gratis.
Berikut ini beberapa Open-Source tools yang biasa digunakan dalam solusi Big Data :
1. Hadoop adalah Sistem untuk memproses volume data yang sangat besar
2. Apache HBase, Untuk akses real-time data Hadoop, contoh database Hadoop
3. MapReduce, Anggap saja sebagai bahasa tingkat mesin (assembler) untuk komputasi terdistribusi (cluster) secara pararel. Digunakan untuk perhitungan di Hadoop, dengan kemampuan komputasi/memproses data dalam jumlah besar
4. Pig, bahasa tingkat tinggi yang dikembangkan oleh Yahoo, yang menghasilkan kode MapReduce untuk menganalisis data sets yang besar
5. Hive, bahasa tingkat tinggi yang dikembangkan oleh Facebook dengan sintaks seperti SQL, Hive menyediakan tools data warehousing untuk melakukan extract, transform and load (ETL) data, dan dan melakukan query terhadap file yang tersimpan di Hadoop files (HDFS)
6. AVRO, New format data serialisasi (protokol buffer dll)
7. Zookeeper, Sistem terdistribusi koordinasi, sebagai pusat konfigurasi dan penamaan registry untuk sistem terdistribusi dalam skala besar
8. Ambari, berfungsi untuk mengelola dan memonitor cluster Hadoop melalui web
9. Spark, sebuah framework yang melakukan komputasi secara klastering
10. Sqoop, Untuk mentransfer data terstruktur Hadoop
11. Oozie, Sistem Penjadwalan yang dikembangkan oleh Yahoo, untuk mengelola Jobs di Hadoop
12. HCatalog, Sebagai komponen kunci dari Apache Hive , HCatalog merupakan metadata dan sistem manajemen table untuk platform Hadoop yang lebih luas. Hal ini memungkinkan penyimpanan data dalam format apapun baik terstruktur maupun tidak tersetruktur.
Oleh karena itu , Solusi untuk mengimplementasikan Big Data yakni dengan menggunakan Open Source Tools yang dapat diperoleh secara gratis.
Berikut ini beberapa Open-Source tools yang biasa digunakan dalam solusi Big Data :
1. Hadoop adalah Sistem untuk memproses volume data yang sangat besar
2. Apache HBase, Untuk akses real-time data Hadoop, contoh database Hadoop
3. MapReduce, Anggap saja sebagai bahasa tingkat mesin (assembler) untuk komputasi terdistribusi (cluster) secara pararel. Digunakan untuk perhitungan di Hadoop, dengan kemampuan komputasi/memproses data dalam jumlah besar
4. Pig, bahasa tingkat tinggi yang dikembangkan oleh Yahoo, yang menghasilkan kode MapReduce untuk menganalisis data sets yang besar
5. Hive, bahasa tingkat tinggi yang dikembangkan oleh Facebook dengan sintaks seperti SQL, Hive menyediakan tools data warehousing untuk melakukan extract, transform and load (ETL) data, dan dan melakukan query terhadap file yang tersimpan di Hadoop files (HDFS)
6. AVRO, New format data serialisasi (protokol buffer dll)
7. Zookeeper, Sistem terdistribusi koordinasi, sebagai pusat konfigurasi dan penamaan registry untuk sistem terdistribusi dalam skala besar
8. Ambari, berfungsi untuk mengelola dan memonitor cluster Hadoop melalui web
9. Spark, sebuah framework yang melakukan komputasi secara klastering
10. Sqoop, Untuk mentransfer data terstruktur Hadoop
11. Oozie, Sistem Penjadwalan yang dikembangkan oleh Yahoo, untuk mengelola Jobs di Hadoop
12. HCatalog, Sebagai komponen kunci dari Apache Hive , HCatalog merupakan metadata dan sistem manajemen table untuk platform Hadoop yang lebih luas. Hal ini memungkinkan penyimpanan data dalam format apapun baik terstruktur maupun tidak tersetruktur.
Sedikit kesimpulan, bahwasannya pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold.
Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan.
Sekian yang dapat penulis sampaikan ke kalian semua semoga dapat bermanfaat !
Sumber Referensi :
0 komentar:
Post a Comment