Resume Data warehouse pertemuan ke-2

perbedaan antara data warehouse dan data mart adalah:

• data warehouse merupakan kumpulan dari beberapa data mart dan levelnya berada pada perusahaan atayu organisasi.
• data mart merupakan bagian dari data warehouse dan beada pada lebel departemen pada perusahaan atau organisasi tersebut. data mart menangani sebuah proses bisnis, misalkan penjualan maka hanya proses penjualan saja yang ditangani pada data mart

Data warehouse sendiri adalah database yang berisi data dari beberapa system operasional yang terintegrasi dan terstruktur sehingga dapat digunakan untuk mendukung analisa dan proses pengambilan keputusan dalam bisnis. Data warehouse didesain untuk kita bisa melakukan query secara cepat. Informasi diturunkan dari data lain, dilakukan rolling up untuk dijadikan ringkasan, dilakukan operasi drilling down untuk mendapatkan informasi lebih detail, atau melihat pola yang menarik atau melihat trend (kecenderungan).

Kemudian yang dimaksud data mart adalah lapisan akses dari data  warehouse lingkungan yang digunakan untuk mendapatkan data keluar bagi pengguna. Data mart adalah subset dari data warehouse yang biasanya berorientasi pada lini bisnis tertentu atau tim. Dalam beberapa penyebaran, masing-masing departemen atau unit bisnis dianggap sebagai pemilik data mart yang termasuk semua perangkat lunak, perangkat keras dan data.

berikut adalah perbedaan data warehouse dan data mart pada tabel:

Sumber 1

Resume Data Warehouse Pertemuan Ke-1

Menurut W.H. Inmon dan Richard D.H., data warehouse adalahkoleksi data yang mempunyai sifat berorientasi subjek,terintegrasi,time-variant, dan bersifat tetap dari koleksi data dalam mendukung proses pengambilan keputusan management.

Sedangkan Vidette Poe, data warehouse merupakan database yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan.

Data warehouse juga bisa diartikan sebagai database relasional yang didesain lebih kepada query dan analisa dari pada proses transaksi, biasanya mengandung history data dari proses transaksi dan bisa juga data dari sumber lainnya.

Data warehouse memisahkan beban kerja analisis dari beban kerja transaksi dan memungkinkan organisasi menggabung/konsolidasi data dari berbagai macam sumber. Jadi, data warehouse merupakan metode dalam perancangan database, yang menunjang DSS(Decission Support System) dan EIS (Executive Information System). Secara fisik data warehouse adalah database, tapi perancangan data warehouse dan database sangat berbeda. Dalam perancangan database tradisional menggunakan normalisasi, sedangkan pada data warehouse normalisasi bukanlah cara yang terbaik.

• OLTP

Online Transaction Processing atau sering dikenal dengan OLTP adalah sistem yang berorientasi proses yang memproses transaksi secara langsung melalui komputer yang terhubung dalam jaringan.
Misalnya biasa digunakan pada sebuah supermarket, kasir menggunakan mesin dalam proses transaksinya.
OLTP mempunyai karakteristik beberapa user dapat creating, updating, retrievinguntuk setiap record data, OLTP sangat optimal untuk updating data.

• ETL

Proses ETL merupakan suatu landasan dari sebuah data warehouse. Sebuah rancangan ETL yang benar akan mengekstraksi data dari sistem sumber, mempertahankan kualitas data dan menerapkan aturan-aturan standar, dan menyajikan data dalam berbagai bentuk, sehingga dapat digunakan dalam proses pengambilan keputusan (Kimball dan Caserta 2004).

Proses ETL merupakan sebuah urutan dari tahapan yang dimulai darisourcing data (src) lalu data di-transform melalui proses look-up bulk data (lkpbld) dan transform (xfm). Proses ETL diakhiri dengan proses load ke berbagai macam output yang sesuai dengan skema, yang terdiri dari proses load-up data (lodupd),load-insert data (lodins), dan load bulk data (lodbld). Dari tahapan-tahapan tersebut, dapat dianalisis kinerja EDW PM berdasarkan estimasi waktu tiap prosesnya.

• OLAP

Online Analytical Processing, atau disingkat OLAP adalah metode pendekatan untuk menyajikan jawaban dari permintaan proses analisis yang bersifat dimensional secara cepat, yaitu desain dari aplikasi dan teknologi yang dapat mengoleksi, menyimpan, memanipulasi suatu data multidimensi untuk tujuan analis. OLAP adalah bagian dari kategori yang lebih global dari pemikiran bisnis, yang juga merangkum hubungan antara pelaporan dan penggalian data. Aplikasi khusus dari OLAP adalah pelaporan bisnis untuk penjualan, pemasaran, manajemen pelaporan, manajemen proses bisnis (MPB), penganggaran dan peramalan, laporan keuangan dan bidang-bidang yang serupa. Istilah OLAP merupakan perampingan dari istilah lama database OLTP (Online Transaction Processing).

• KARAKTERISTIK DATA WAREHOUSE

Menurut Inmon,  Data Warehouse memiliki 4 karakteristik yaitu :

1. Subject Oriented (Berorientasi subject)

Data Operasional	Data Warehouse
Dirancang berorientasi hanya pada aplikasi dan fungsi tertentu	Dirancang berdasar pada subjek-subjek tertentu(utama)
Focusnya pada desain database dan proses	Focusnya pada pemodelan data dan desain data
Berisi rincian atau detail data	Berisi data-data history yang akan dipakai dalam proses analisis
Relasi antar table berdasar aturan terkini(selalu mengikuti rule(aturan) terbaru)	Banyak aturan bisnis dapat tersaji antara tabel-tabel

Tabel 1 Data Operasiaonal dan Data Warehouse 

Data warehouse berorientasi subject artinya data warehouse didesain untuk menganalisa data berdasarkan subject-subject tertentu dalam organisasi,bukan pada proses atau fungsi aplikasi tertentu. Data warehouse diorganisasikan disekitar subjek-subjek utama dari perusahaan(customers,products dan sales) dan tidak  diorganisasikan pada area-area aplikasi utama(customer invoicing,stock control dan product sales). Hal ini dikarenakan kebutuhan dari data warehouse untuk menyimpan data-data yang bersifat sebagai penunjang suatu keputusan, dari pada aplikasi yang berorientasi terhadap data. Jadi dengan kata lain, data yang disimpan adalah berorientasi kepada subjek bukan terhadap proses. Secara garis besar perbedaan antara data operasional dan data warehouse dapat dilihat pada Tabel 1

2. Integrated (Terintegrasi)

Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep data warehouse itu sendiri. Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara sepeti konsisten dalam penamaan variable,konsisten dalam ukuran variable,konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data. Contoh pada lingkungan operasional terdapat berbagai macam aplikasi yang mungkin pula dibuat oleh developer yang berbeda. Oleh karena itu, mungkin dalam aplikasi-aplikasi tersebut ada variable yang memiliki maksud yang sama tetapi nama dan format nya berbeda. Variable tersebut harus dikonversi menjadi nama yang sama dan format yang disepakati bersama. Dengan demikian tidak ada lagi kerancuan karena perbedaan nama, format dan lain sebagainya. Barulah data tersebut bisa dikategorikan sebagai data yang terintegrasi karena kekonsistenannya.

3. Time-variant (Rentang Waktu)

Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu. Untuk melihat interval waktu yang digunakan dalam mengukur keakuratan suatu data warehouse, kita dapat menggunakan cara antara lain :

• Cara yang paling sederhana adalah menyajikan data warehouse pada rentang waktu tertentu, misalnya antara 5 sampai 10 tahun ke depan.
• Cara yang kedua, dengan menggunakan variasi/perbedaan waktu yang disajikan dalam data warehouse baik implicit maupun explicit secara explicit dengan unsur waktu dalam hari, minggu, bulan dsb. Secara implicit misalnya pada saat data tersebut diduplikasi pada setiap akhir bulan, atau per tiga bulan. Unsur waktu akan tetap ada secara implisit didalam data tersebut.
• Cara yang ketiga,variasi waktu yang disajikan data warehouse melalui serangkaian snapshot yang panjang. Snapshot merupakan tampilan dari sebagian data tertentu sesuai keinginan pemakai dari keseluruhan data yang ada bersifat read-only.

4. Non-Volatile

Karakteristik keempat dari data warehouse adalah non-volatile,maksudnya data pada data warehouse tidak di-update secara real time tetapi di refresh dari sistem operasional secara reguler. Data yang baru selalu  ditambahkan sebagai suplemen bagi database itu sendiri dari pada sebagai sebuah perubahan. Database tersebut secara kontinyu menyerap data baru ini, kemudian secara incremental disatukan dengan data sebelumnya. Berbeda dengan database operasional yang dapat melakukan update,insert dan delete terhadap data yang mengubah isi dari database sedangkan pada data warehouse hanya ada dua kegiatan memanipulasi data yaitu loading data (mengambil data) dan akses data (mengakses data warehouse seperti melakukan query atau menampilan laporan yang dibutuhkan, tidak ada kegiatan updating data).

KEUNTUNGAN DATA WAREHOUSE

Data warehouse merupakan pendekatan untuk menyimpan data dimana sumber-sumber data yang heterogen(yang biasanya tersebar pada beberapa database (OLTP) dimigrasikan untuk penyimpanan data yang homogen dan terpisah. Keuntungan dengan menggunakan data warehouse adalah :

1. Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk pemrosesan transaksi.
2. Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah dapat diatasi.
3. Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi data apabila data dipindahkan dari database OLTP ke data warehouse.
4. Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem produksi.

Sumber  :

1. Sumber 1, diakses 12 September 2014
2. Sumber 2, diakses 12 September 2014
3. Sumber 3, diakses 15 September 2014