Tuesday, September 7, 2021

TEKNIK OLAP

 Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom

TEKNIK OLAP

OLAP memiliki lima teknik yang dapat diringkas menjadi FASMI (Fast Analysis of Shared Multi-dimensional Information). Hal ini untuk memudahkan dalam memahami dan mengingatnya. Dan berikut adalah penjelasannya:

  • Fast

Sistem memiliki target untuk memberikan respon secepat mungkin pada pengguna menurut analisis yang dilakukan.

  • Analysis

Sistem mampu mengatasi berbagai logika bisnis serta analisis statistik yang relevan dengan aplikasi dan pengguna.

  • Shared

Sistem melakukan keseluruhan keperluan pengamanan data, yang mana apabila diperlukan banyak akses penulisan tentang data maka perlu disesuaikan dengan level pengguna. Karena tidak seluruh aplikasi memerlukan pengguna menulis data kembali, maka sistem harus bisa menyelesaikan multiple update dalam satu waktu dengan aman.

  • Multidimensional

Sistem harus memberikan conceptual view dari data secara multidimentional, baik full support hierarki maupun multiple support hierarki. Hal ini merupakan cara logis untuk melakukan analisis bisnis serta organisasi.

  • Information

Seluruh data serta informasi yang diperlukan dan relevan bagi aplikasi. Kapasitas produk OLAP tidak sama dalam menghandle input data, yang tergantung pada beberapa pertimbangan yaitu: duplikasi data, penggunaan disk space, penggunaan RAM, performance, integrasi terhadap data warehouse, dan sebagainya.

Pengenalan OLAP

Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom

Apa itu OLAP?

LAP merupakan singkatan dari Online Analytical Processing, yaitu sebuah metode pendekatan yang menyediakan berbagai jawaban terhadap query analisis secara cepat. OLAP dapat mengumpulkan, menyimpan dan memanipulasi data multidimensi untuk tujuan analisis.

Pengertian OLAP Menurut Para Ahli

Menurut Turban, Sharda, Delen dan King (2011:77)

OLAP adalah kemampuan dari memanipulasi data secara efisien dari beberapa pandangan (perspektif). Struktur operasional utama pada OLAP berdasarkan pada konsep yang disebut cube (kubus). Cube dalam OLAP merupakan struktur data multidimensional (aktual/virtual) yang memungkinkan analisa data secara cepat. Susunan data pada cube berfungsi untuk mengatasi keterbatasan database relational. Database relational tidak sesuai untuk analisa secara cepat dari jumlah data yang besar, yang lebih sesuai adalah dengan memanipulasi record (dengan cara menghapus, menambahkan serta memperbaharui data) yang mewakili berbagai transaksi.

Menurut Scheps

OLAP adalah konsep data multidimensional dengan konsep menvisualisasi data transaksional perusahaan. OLAP tidak hanya mengagregasi data namun juga memiliki kemampuan pada sistem BI (Business Intelligence) untuk melihat data menggunakan cara baru.

Fungsi OLAP

Berikut adalah fungsi dari OLAP :

  1. OLAP dapat meningkatkan produktivitas pengguna akhir pada bidang bisnis, pengembang IT serta keseluruhan organisasi. Pengawasan yang lebih, serta akses yang tepat waktu terhadap informasi strategis bisa menghasilkan pengambilan keputusan yang lebih efektif.
  2. OLAP dapat menurunkan “backlog” pengembangan aplikasi untuk staf IT dengan cara membuat pengguna akhir bisa merubah skema serta membangun model sendiri.

Karakteristik OLAP

  • Mengizinkan bagi para pelaku bisnis untuk mempunyai pandangan logical serta multi dimensional terhadap data dalam data warehouse.
  • Memberi fasilitas pada analisis query secara interaktif dan kompleks bagi pengguna.
  • Mengizinkan pengguna dalam melakukan drilldown sehingga memperoleh rincian secara lebih jelas atau roll up untuk agregasi metric selama satu dimensi bisnis atau pun multi dimensi.
  • Mempunyai kemampuan untuk menyajikan perhitungan yang rumit serta perbandingan.
  • Menyajikan hasil dalam berbagai cara yang mempunyai arti dalam bentuk gambar maupun diagram.

Teknik OLAP

OLAP memiliki lima teknik yang dapat diringkas menjadi FASMI (Fast Analysis of Shared Multi-dimensional Information). Hal ini untuk memudahkan dalam memahami dan mengingatnya. Dan berikut adalah penjelasannya:

  • Fast

Sistem memiliki target untuk memberikan respon secepat mungkin pada pengguna menurut analisis yang dilakukan.

  • Analysis

Sistem mampu mengatasi berbagai logika bisnis serta analisis statistik yang relevan dengan aplikasi dan pengguna.

  • Shared

Sistem melakukan keseluruhan keperluan pengamanan data, yang mana apabila diperlukan banyak akses penulisan tentang data maka perlu disesuaikan dengan level pengguna. Karena tidak seluruh aplikasi memerlukan pengguna menulis data kembali, maka sistem harus bisa menyelesaikan multiple update dalam satu waktu dengan aman.

  • Multidimensional

Sistem harus memberikan conceptual view dari data secara multidimentional, baik full support hierarki maupun multiple support hierarki. Hal ini merupakan cara logis untuk melakukan analisis bisnis serta organisasi.

  • Information

Seluruh data serta informasi yang diperlukan dan relevan bagi aplikasi. Kapasitas produk OLAP tidak sama dalam menghandle input data, yang tergantung pada beberapa pertimbangan yaitu: duplikasi data, penggunaan disk space, penggunaan RAM, performance, integrasi terhadap data warehouse, dan sebagainya.

Demikian informasi singkat mengenai pengenalan OLAP. Semoga bermanfaat.

Thursday, September 2, 2021

Karakteristik OLAP

Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom


Karakteristik OLAP

  • Mengizinkan bagi para pelaku bisnis untuk mempunyai pandangan logical serta multi dimensional terhadap data dalam data warehouse.
  • Memberi fasilitas pada analisis query secara interaktif dan kompleks bagi pengguna.
  • Mengizinkan pengguna dalam melakukan drilldown sehingga memperoleh rincian secara lebih jelas atau roll up untuk agregasi metric selama satu dimensi bisnis atau pun multi dimensi.
  • Mempunyai kemampuan untuk menyajikan perhitungan yang rumit serta perbandingan.
  • Menyajikan hasil dalam berbagai cara yang mempunyai arti dalam bentuk gambar maupun diagram.

OLAP Online Analytical Processing

Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom


OLAP (Online Analytical Processing) 

OLAP adalah singkatan dari Online Analytical Processing yang merupakan suatu proses atau juga bisa disebut dengan sistem yang dirancang atau digunakan untuk melakukan permintaan terhadap data dalam bentuk yang kompleks dan menganalisa data yang bervolume besar seperti Data Warehouse. Maka dari itu OLAP seringkali disebut analisis data multidimensi. 

Proses ini bekerja dengan data dalam bentuk multidimensi yang biasanya berbentuk 3 dimensi yang disebut kubus (cube). 

OLAP biasanya digunakan untuk pengambilan suatu keputusan, misalkan sebagai contoh para top level di sebuah minimarket ingin melihat data transaksi perbulan, per 6 bulan atau bahkan per tahun. Proses ini untuk pengambilan keputusan barang apa saja yang paling laku dijual serta barang apa saja yang tidak laku di pasar, dikenal dengan istilah drill-down, slicing dan dicing.


Kelebihan OLAP 

1. Penyimpanan pengawasan organisasi melalui integritas data koorporasi. 

2. Meningkatkan hasil dan keuntungan secara potensial dengan mengizinkan organisasi untuk merespon permintaan pasar lebih cepat. 

3. Meningkatkan produktifitas pemakai akhir bisnis, pengembang IT, dan keseluruhan organisasi. Pengawasan yang lebih dan akses tepat waktu terhadap informasi strategis dapat membuat pengambilan keputusan lebih efektif. 

4. Mengurangi “backlog” pengembangan aplikasi bagi staf IT dengan membuat pemakai akhir dapat merubah schema dan membangun model sendiri. 

5. Bergantung pada data warehouse dan sistem OLTP untuk memperbaharui sumber tingkatan data mereka. 


Kekurangan OLAP 

1. Tidak terdapat berfungsi untuk melakukan operasi pivot. Saat ini untuk melakukan operasi pivot dengan cara mengubah axis (baris dan kolom) dimensinya. 

2. Aplikasi ini belum memiliki fungsi updating yang berguna pada saat terdapat data hotspot terbaru. 

Friday, August 27, 2021

LOADING DAN CONTOH DARI LOADING DALAM DATA WAREHOUSE

Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom


LOADING

Fase load merupakan tahapan yang berfungsi untuk memasukkan data ke dalam target akhir, yaitu ke dalam suatu data warehouse. Waktu dan jangkauan untuk mengganti atau menambah data tergantung pada perancangan data warehouse pada waktu menganalisa keperluan informasi. Fase load berinteraksi dengan suatu databaseconstraint didefinisikan dalam skema database sebagai suatu trigger yang diaktifkan pada waktu melakukan load data 

(contohnya : uniqueness,referential, integrity, mandatory fields)

yang juga berkontribusi untuk keseluruhan tampilan dan kualitas data dari proses ETL.

TRANSFORMATION DAN CONTOH DARI TRANSFORMATION DALAM DATA WAREHOUSE

Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom



Transformation adalah proses dimana data mentah (raw data) hasil ekstrasi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Transformasi merupakan proses mengubah data dari format operasional menjadi format data warehouse.

Contohnya seperti Agregasi, Konversi Format dan Fungsi Aritmatik

Terdapat 2 cara transformasi

* Fungsi level record, fungsi ini beroperasi pada sekumpulan record seperti file dan tabel melalui perintah selection, joinning, normalization dan aggreration

* Fungsi field level, yaitu mengubah data format dari suatu sumber record dalam format yang berbeda dalam record tujuan. Fungsi ini mempunyai dua tipe yaitu: Single Field dan Multi Field

Tahapan transformasi menggunakan serangkaian aturan atau fungsi untuk mengekstrak data dari sumber dan selanjutnya akan dimasukkan ke data warehouse. Berikut adalah hal-hal yang dapat dilakukan dalam tahapan transformasi:

  • Hanya memilih kolom tertentu saja untuk dimasukkan ke dalam data warehouse.
  • Menterjemahkan nilai-nilai yang berupa kode.
  • Mengkodekan nilai-nilai ke dalam bentuk bebas (Contohnya memetakan “Pria” dengan “P” dan “Wanita” ke dalam “W”).
  • Melakukan perhitungan nilai-nilai baru (Contohnya nilai = qty * harga_satuan).
  • Menggabungkan data secara bersama-sama dari berbagai sumber.
  • Membuat ringkasan dari sekumpulan baris data.
  • Men-generate nilai surrogate key.
  • Transposing atau pivoting (Mengubah sekumpulan kolom menjadi sekumpulan baris atau sebaliknya).
  • Memisahkan sebuah kolom menjadi berbagai kolom.
  • Menggunakan berbagai bentuk validasi data baik yang sederhana maupun kompleks.

EXTRACTION DAN CONTOH DARI EXTRACTION DALAM DATA WAREHOUSE

Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom



Extraction
Merupakan proses pengambilan data dari berbagai sumber yang digunakan untuk mengisi data warehouse. Tidak semua yang ada di data operasional dimasukkan, tetapi hanya untuk data yang dibutuhkan saja. Dalam tahap ini juga dilakukan proses pembersihan (cleansing) data sebelum ditransformasi


Dalam memproses data, setiap professional pasti pernah melakukan ekstraksi data dan konversi seperti yang dilakukan pada sistem basis data. Ketika kita mengkoneksikan sistem database dengan sistem operasional peranti lunak. Dua factor penting yang membedakan ekstraksi data dalam sistem operasi dengan ekstraksi data dalam data warehouse, dalam data warehouse data yang diekstraksi dapat dilakukan perbagian, sedangkan dalam sistem operasi data dikonversi dan diekstrak dalam sekali waktu. 

Contohnya seperti Trigger, Timestamp dan File Compare

Contoh Timestamp  : select * from orders where trunc(CAST(order_date AS date),'dd') = TO_DATE(SYSDATE,'dd,mm,yyyy');

    Terdapat beberapa fungsi ekstraksi data, yaitu :
- Ekstarsi data secara otomatos dari aplikasi sumber
- penyaringan atau seleksi data hasil ekstraksi
- Pengiriman data dari berbagai platform aplikasi ke sumber data
- Perubahan format layout data dari format aslinya
- Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstrasi dari sumber lain

Wednesday, August 25, 2021

Desain Data Warehouse Menggunakan Star Schema, Snowflake Schema, dan Fact Constellation Schema

 Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom


Star Schema



Snowflake Schema


Fact Constellation Schema





Monday, August 23, 2021

Fact Constellation

Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom


Pada skema ini terdapat beberapa tabel fakta yang menggunakan satu atau  beberapa tabel dimensi secara bersama-sama sehingga jika digambarkan akan terlihat seperti sekumpulan bintang. Skema ini juga dikenal dengan fact constelletationgalaxy  schema.

 

 

 

Contoh kasus pembuatan Skema Fact Constellation

Dari snowflake schema di atas, maka bias dibuat fact constellation schema pada gambar dibawah ini

fact constelletationnn.jpg 

Thursday, August 19, 2021

Snowflake Schema?

  Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom

Apa Itu Snowflake Schema?


Snowflake schema adalah database multidimensional dalam data warehouse.

Database berupa skema ini memiliki beberapa tabel di dalamnya yang menyerupai bentuk snowflake atau kepingan salju.

Oleh karena itu, namanya disebut sebagai snowflake schema atau skema kepingan salju.

Skema ini tersusun dari fact table atau tabel fakta yang berada di tengah.

Tabel ini terhubung dengan berbagai dimensi yang juga dikelompokkan dalam tabel.

Tabel ini disebut dengan dimensional tables atau tabel dimensional.

Informasi atau data dalam tabel-tabel ini kemudian dinormalisasi untuk mengurangi redundancy atau pengulangan data yang ada.

Skema jenis ini merupakan yang sangat cocok untuk mengolah data dengan hubungan serta tabel yang rumit, tidak seperti star schema.

Namun, menurut Educba, struktur atau arsitektur dari skema ini tidak jauh berbeda dengan star schema.

Hanya saja, ia mampu menawarkan solusi untuk permasalahan-permasalahan yang ada pada star schema akibat data yang belum dinormalisasi.

Berikut merupakan contoh struktur skemanya.


Kelebihan Snowflake Schema

1. Cocok ke lebih banyak tool

Snowflake schema bisa digunakan dengan lebih banyak OLAP database modeling tools.

OLAP database modeling tools adalah tool yang digunakan untuk analisis data dan modeling.

Tool ini pada dasarnya dibuat dan didesain untuk memproses skema data tipe snowflake.

2. Hemat storage

Karena ada proses snowflaking yaitu normalisasi data, pengulangan data yang sama bisa dikurangi.

Dengan begitu, besar data yang harus disimpan juga semakin kecil.

Kekurangan Snowflake Schema

Meskipun memiliki banyak keuntungan, skema yang menyerupai kepingan salju ini juga memiliki kekurangan, seperti:

1. Skema data kompleks

Skema database yang satu ini memiliki kemungkinan menciptakan banyak level kompleksitas saat proses normalisasi atribut dari star schema.

Memang, ini akan berujung pada penyimpanan data yang lebih efektif.

Namun, performanya bisa menurun akibat join query yang rumit.

Akan tetapi, dengan berkembangnya teknologi, snowflake schema menjadi semakin cepat beberapa tahun belakangan ini.

Oleh karena itu, skema ini semakin banyak digunakan dari waktu ke waktu.

2. Proses lebih lambat

Skema ini lebih lambat dalam memproses cube data akibat join query yang kompleks.

Dibanding star schema, kecepatannya masih kalah.

3. Integritas data

Skema jenis ini memiliki integritas data yang lebih rendah.

Snowflake schema pada dasarnya menawarkan pengambilan data yang lebih efektif dengan risiko minim setelah update dan memasukkan data baru.

Akan tetapi, tidak ada jaminan integritas data seperti struktur database tradisional yang highlynormalized.

Untuk meminimalkan risiko ini, penting untuk selalu mengecek kualitas informasi atau data setelah di-load

Star Schema?

 Tugas Data warehouse

Nama : Rama Suherman

Npm : 19312152

Dosen pengampu : Setiawansyah, M.Kom

Apa Itu Star Schema?

Star schema adalah salah satu tipe skema yang dibuat untuk memodelkan sebuah sistem data warehouse.

Skema jenis ini dianggap sebagai skema data warehouse yang paling sederhana yang mudah dibuat dan dimengerti.

Nama skema ini datang dari susunan tabelnya yang membentuk bintang seperti contoh di bawah ini. 

© Guru99.com

Dalam skema ini, ada fact table di tengah dan di sekelilingnya terdapat dimension table.

Pasalnya, menurut microsoft, modelers atau para pemodel yang menggunakan skema tipe ini untuk data warehouse harus mengklasifikasi tabelnya hanya ke dalam dua jenis ini, yaitu dimension dan fact.

Komponen Struktur Star Schema


1. Fact table

Fact table atau tabel fakta berisi metrik proses sebuah bisnis.

Data yang dimuat dalam tabel ini harus bersifat numerik (dalam bentuk angka) dan bisa ditambah.

Apa pun data yang kamu miliki, pastikan bahwa data tersebut adalah kuantitatif. Misalnya, jumlah sesuatu.

Selain itu, wajib diperhatikan juga bahwa tabel fakta harus memuat hal-hal utama yang terkait dengan tabel-tabel di sekitarnya, yaitu tabel dimensi.

Seperti contoh yang sebelumnya diperlihatkan, hanya boleh ada satu tabel fakta dalam sebuah star schema

Tabel ini umumnya memiliki jumlah baris yang tidak banyak.

Sementara, tabel dimensi bisa memuat jauh lebih banyak jumlah baris dan bisa terus ditambahkan dari waktu ke waktu.

2. Dimension table

Dimensions table atau tabel dimensi memuat informasi mengenai kapan, di mana, apa, dan lain-lain.

Berbeda dengan tabel fakta, tabel dimensi berisi informasi yang bersifat kualitatif.

Dalam sebuah star schema, bisa ada beberapa tabel dimensi sekaligus yang mengelilingi tabel fakta.

Namun, harus dipastikan bahwa semua informasinya terkait dengan apa yang dicantumkan dalam tabel fakta.


1. Query lebih sederhana

Menurut Global Knowledge Management Center (GKMC) dari David Eccles School of Business University of Utahstar schema adalah model yang memiliki jumlah tabel sedikit serta join path yang jelas.

Oleh karena itu, query bisa dijalankan lebih cepat dibanding sistem online analytical processing (OLTP).

Untuk query kecil, proses bisa dijalankan secara instan.

Sementara, query besar yang membutuhkan pengolahan beberapa tabel hanya membutuhkan beberapa detik atau menit.

2. Waktu loading

Karena memiliki struktur yang sederhana, salah satu keutamaan star schema merupakan kecepatan load-nya.

Meskipun satu skema memuat data yang banyak, kamu bisa memangkas waktu banyak dibanding menggunakan database lainnya.

3. Referential integrity

Skema ini memiliki referential integrity yaitu keakuratan dan konsistensi data yang baik ketika di-load.

4. Mudah dimengerti

Navigasi dan pemahaman menggunakan star schema tidaklah sulit dan lebih mudah dibanding yang lainnya. Oleh karena itu, skema ini sering digunakan.