Data Mart, Data Warehouse, ETL, ELT dan OLAP

Nama/Nim : I Made Ageng Suyasa/1304505117

MK : Data Warehouse
Jurusan/Fakultas/Universitas :Teknologi Informasi/Fakultas Teknik/Universitas Udayana

Dosen : I Putu Agus Eka Pratama, ST MT

Data Mart, Data Warehouse, ETL, ELT dan OLAP

Data Mart

       Data mart adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. Dalam beberapa implementasi data warehouse, data mart adalah miniature data warehouse. Data mart sering digunakan untuk memberikan informasi kepada segmen fungsional organisasi.
Contoh umum data mart adalah untuk departemen penjualan, departemen persediaan dan pengiriman, departemen keuangan, manajemen tingkat atas, dan seterusnya. Data mart juga dapat digunakan untuk gudang data segmen data untuk mencerminkan bisnis secara geografis terletak di mana masing-masing daerah relatif otonom. Sebagai contoh, sebuah organisasi layanan yang besar mungkin memperlakukan pusat operasi regional sebagai unit usaha perorangan, masing-masing dengan data mart sendiri yang memberikan kontribusi untuk gudang data master.

 Karakteristik data mart

1. Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.
2. Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.
3. Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami.
4. Data marts bisa bersifat dependent atau independent.
5. Kubus
6. Aggregation

Keuntungan
        Data mart dapat meningkatkan waktu respon pengguna akhir, karena berisi data mentah yang memungkinkan sistem komputer untuk fokus pada satu tugas, sehingga meningkatkan kinerja. Berbeda dengan sistem OLTP, data mart juga dapat menyimpan data historis yang           memungkinkan pengguna untuk menganalisis kecenderungan data. Selain itu, data mart tidak begitu mahal dan kompleks sebagai data gudang untuk setup dan melaksanakan karena masalah teknis tidak begitu sulit untuk diselesaikan.
Kerugian
     Mereka memiliki nilai yang terbatas karena mereka tidak dapat melihat organisasi secara keseluruhan dan pelaporan dan analisis potensi terbatas.

ETL (Extraction, Transformation, Loading) dan ELT (Extraction, Loading,Transformation)

      ETL dan ELT merupakan proses yang harus dilalui dalam pembentukan data warehouse. Berikut ini merupakan penjelasan dari ketiga proses tersebut:
1.Extract (Ekstraksi)

   Merupakan proses mengekstrak data dari berbagai sistem operasional, baik menggunakan query, atau aplikasi.
2.Transformation (Transformasi)

    Merupakan proses dimana data mentah yang merupakan hasil dari ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku.
3.Loading

   Merupakan proses pemuatan data yang didapat dari hasil transformasi ke dalam data warehouse dengan cara menjalankan SQL Script secara periodik.

OLAP (Online Analytical Process)

      Data Warehouse adalah sebuah database yang mengandung data yang biasanya mewakili sejarah bisnis dari suatu organisasi. Data Historis dari data warehouse digunakan di dalam aktivitas analisis yang mendukung keputusan bisnis dalam beberapa tingkat. Data di dalam data warehouse diorganisir untuk mendukung analisa, bukan transaksi pemrosesan dalam waktu nyata, seperti sistem online transaction processing (OLTP).

 

Big Data

Nama/Nim : I Made Ageng Suyasa/1304505117

MK : Data Warehouse
Jurusan/Fakultas/Universitas :Teknologi Informasi/Fakultas Teknik/Universitas Udayana

Dosen : I Putu Agus Eka Pratama, ST MT

Big Data

      Big Data adalah istilah umum untuk segala himpunan data (data set) dalam jumlah yang sangat besar, rumit dan tak terstruktur sehingga menjadikannya sukar ditangani apabila hanya menggunakan perkakas manajemen basis data biasa atau aplikasi pemroses data tradisional belaka. Tantangannya meliputi pemerolehan, kurasi, penyimpanan, penelusuran (search), pembagian, pemindahan, analisis, dan visualisasi data. Tren kian membesarnya himpunan data terjadi akibat bertambahnya informasi dari himpunan-himpunan besar yang saling terkait, dibandingkan dengan himpunan-himpunan kecil lain dengan jumlah total data yang sama.

      Big Data memiliki ciri data yang di tanganinya.Ciri-ciri data yang ditangani oleh Big Data antara lain adalah sebagai berikut ini:

1. Jumlah nya sangat besar (Volume). Biasanya ukuran total data dalam terabytes keatas.
2. Pertumbuhan data sangat cepat (Velocity) sehingga data bertambah dalam jumlah yang sangat banyak dalam kurun waktu relatif singkat.
3. Bentuk atau format datanya beraneka ragam (Variety). Format disini bisa berupa data dalam tabel-tabel relasional database seperti MySQL, file text biasa, File Excel atau bentuk apapun.

Manfaat yang bisa diberikan dari Big Data antara lain bisa memberikan gambaran yang lebih lengkap dari sebelumnya karena biasanya data yang dianalisis adalah data terstruktur misalnya data relasional database.
       Perpaduan data warehouse dan big data adalah Oracle 12 C. Terdapat tiga tool dari Oracle 12 C. Yang pertama yaitu Processy yang menggunakan high computing atau komputasi dengan skala tinggi, Selanjutnya adalah Analytical dengan menggunakan OLAP (Onlie Analytical Processing) yaitu sebagai proses transaksi online merupakan suatu sistem informasi transaksi yang lebih mengacu pada kelas sistem yang memberikan fasilitas untuk mengelola aplikasi yang berorientasi transaksi. Dan yang terkahir adalah Transaction dengan menggunakan OLTP (Online Transaction Processing) yang berorientasi pada suatu proses yang secara langsung melalui komputer yang terhubung dalam jaringan.
       Beberapa implementasi dari Big Data yaitu Apache Hadoop dan NoSQL serta vendor SAP. Hadoop merupakan sebuah open-source framework untuk pemrosesan data-sets skala besar dalam clusters hardware komputer yang terjangkau dan mudah diperoleh. Pada umumnya framework Hadoop dikembangkan dalam bahasa Java, dengan beberapa source code dalam bahasa C dan command line utilities ditulis sebagai shell-scripts. NoSQL merupakan sebuah basis data yang menyediakan mekanisme penyimpanan dan pengambilan data yang menggunakan model basis data kurang konsisten daripada basis data relasional tradisional. Dan vendor SAP (System Application and Product in data processing)  merupakan software Enterprise Resources Planning (ERP), yaitu suatu tools IT dan manajemen untuk membantu perusahaan merencanakan dan melakukan kegiatan operasionalnya secara lebih efisien dan efektif.