Apa itu ETL?

ETL (Extract, Transform, Load)

Data Warehouse dibangun dengan mengintegrasikan data-data yang berasal dari berbagai sumber data, yaitu database operasional. Dalam suatu perusahaan, data-data operasional biasanya berada pada daerah kekuasaan departemen masing-masing dalam bentuk database OLTP.

Untuk melakukan proses integrasi ini Data Warehouse Architect menggunakan suatu aplikasi yang disebut ETL (Extract, Transform, Load).Sesuai dengan namanya, aplikasi ETL melakukan fungsi-fungsi Extract, Transform dan Load. Proses Extract adalah proses pengambilan data dari sumber data.

extract, karena proses pengambilan data ini tidak mengambil keseluruhan data yang ada di database operasional, melainkan hanya mengambil data-data matang saja. Proses Extract ini harus mengakomodir berbagai macam teknologi yang digunakan oleh sumber data dan diintegrasikan ke dalam databsae tunggal.

Kemudian data-data hasil extract ini menjalani proses transformasi yang pada prinsipnya adalah mengubah kode-kode yang ada menjadi kode-kode standard, misalnya kode propinsi. Hal ini perlu dilakukan mengingat data-data yang diambil berasal dari sumber yang berbeda yang kemungkinan memiliki standarisasi yang berbeda pula. Standarisasi diperlukan untuk nantinya memudahkan pembuatan laporan.Arsitektur Data Warehouse yang umum biasanya menempatkan satu server database terpisah yang disebut Staging yang berfungsi untuk menangani proses Extract dan Transform ini sebelum dilakukan proses Load ke tujuan akhir Data Warehouse.

Proses Load dalam ETL adalah suatu proses mengirimkan data yang telah menjalani proses transformasi ke gudang data akhir, yaitu Data Warehouse itu sendiri di mana aplikasi reporting dan business intelligence siap mengakses.Untuk memudahkan pembuatan report dan meningkatkan performance, struktur database dari suatu Data Warehouse biasanya berbentuk Star Schema. Disebut demikian karena bentuk ERD (Entity Relationshio Diagram) dari table-tablenya mirip Bintang (star).

Business Intelligence (BI)

Setelah jalan beberapa tahun istilah BI makin populer. Saya coba

melihat apa itu BI, pengamatan saya solusi BI secara mudahnya

memiliki building block sebagai berikut:

1. Data Structure – data structure BI biasanya menganut Star Schema.

Dimana satu object data (FACT) bisa dipandang dari berbagai sudut

pandang (DIMENSION). Mis; Transaksi PO dilihat dari dimensi Product,

Vendor, dan Customer. Betul kata Pak Irsal – pivot excel. Kalau

design data kita nggak bisa dibuat pivot excel dengan mudah berati

design Star Schema kita pasti salah. Data structure ini cara

penyimpanannya berkembang, tujuannya satu – supaya retrieve datanya

cepat – maka keluarlah metoda penyimpanan dengan menggunakan Cube

(kalau pakai RDBMS biasa yah semacam summary table. Methoda ini bisa

dikenal dengan OLAP – ada Relational OLAP (ROLAP), Multidimensional

OLAP (MOLAP) atau Hybrid OLAP (HOLAP). Anda bisa cari di internet

konsepnya.

2. ETL – Extract Transfor Loading. Karena BI bisanya memadukan
informasi dari berbagai sumber informasi maka dibutuhkan satu engine
yang dapat menarik data dari sumbernya, merubah formatnya supaya
seragam (data tanggal harus sama, kode Customer harus sama dsb), lalu
dimasukkan ke dalam struktur data yang kita siapkan tadi sudah. Dari
jaman jebot kita sudah bisa melakukan ini. Misalnya: di Oracle pakai
aja PL/SQL, buat procedure lalu kita schedulekan jobnya. Iya kalau
sumber datanya satu, kalau banyak? Gimana dengan lintas platform -
data source di Unix data warehouse di Windows? – gimana kita ngontrol
sequence-nya, gimana kita tahu ada sequence yang fail, gimana kita
bisa restart dengan mudah? Biasanya solusi BI meng-cover ETL tool
ini. Ada juga beberapa vendor yang fokus produce ETL tool seperti
sunopsis misalnya.

3. Reporting Tool – Setelah data masuk paling gampang kita keluarkan

menjadi report. Entah itu report tabular atau charting. Yang ini juga

dari jaman jebot juga udah pada pakai. Ujung-ujungnya report.

4. Multidimensional Analysis (OLAP Analysis) – Memanfaatkan design
data yang ada di nomor 1 tadi dengan memberikan kemampuan kepada user
untuk melakukan analysis multidmensi. Seperti melakukan pivot table
dan pivot charting di excel mungkin penjelasan secara mudahnya.
Diatambah dengan statistik dan kemampuan untuk melakukan forecast
dengan memasukkan parameter-parameter tertentu vendor biasa
menyebutnya dengan data mining.

5. Drill Down dan Drill Through. Point 3 dan 4 tadi harus
memungkinkan user untuk melakukan drill down – membreakdown informasi
pada level yang lebih detail – misalnya dari summary pembelian
customer sampai product yang dibelingnya. Dan drill through – dari
data product tadi kita bisa click untuk mendapatkan trend dari setiap
product.

6. Dashboarding – Menampilkan informasi-informasi dalam bentuk
summary data. Biasanya populer dalam bentuk Chart yang dimana dengan
sekali melihat kita bisa tahu apa yang terjadi dengan business kita
dan bagaimana follow upnya.

7. Personalization – 3, 4, 5, 6 diatas akan percuma bila kita tidak
dapat melakukan personalisasi data. Kita akan kebanyakan informasi
yang mungkin tidak kita butuhkan. Kita seharusnya bisa memilih report
yang saya butuhkan a,b,c,d. Dashboard saya berisi informasi x,y,z.
Data-data yang tampil pada layar kita hanya data-data yang relevan
dengan pekerjaan dan tanggung jawab kita.

8. Alerting and Collaboration. Sistem BI kita hendaknya dapat
mengingatkan kita bila ada performance yang membutuhkan perhatian
kita. Kita dapat memasukkan action plan – menunjuk Person In Charge -
dan memonitor apakah action plan tersebut sudah terlaksana atau
belum. Hal tersebut dilakukan dengan memanfaatkan e-mail, mobile
devices, dsb.