Cloud Data Infrastructure

BigQuery Cost Intelligence: Optimizing Staging Pipelines and Dataform Incremental ETL

Bagaimana saya membangun dasbor pemantauan biaya BigQuery perusahaan dan merekayasa ulang alur kerja ETL BigQuery-to-BigQuery menggunakan Dataform dalam Incremental Mode untuk menurunkan tagihan dan komputasi cloud secara drastis.

#BigQuery #Dataform #SQLX #INFORMATION_SCHEMA #Cost Optimization #Looker Studio

Ringkasan Eksekutif

Seiring pertumbuhan volume data transaksi AstraPay, biaya komputasi BigQuery terus meningkat secara bulanan. Kendala utama kami adalah ketiadaan visibilitas mengenai query yang memakan biaya besar serta pemborosan biaya akibat pipeline ETL BigQuery-to-BigQuery lama yang melakukan Full Load (membaca ulang dan menimpa tabel historis setiap hari).

Saya merancang dan menerapkan dasbor BigQuery Cost Monitoring terpusat serta merekayasa ulang alur transformasi internal BigQuery-to-BigQuery menggunakan Dataform dalam Incremental Mode untuk meminimalkan volume pemindaian data secara signifikan.

Pendekatan Teknis & Langkah Optimasi

1. Audit Log & Dashboard Pemanfaatan metadata INFORMATION_SCHEMA

Saya membangun sistem pelacakan biaya real-time dengan melakukan query terkompilasi terhadap metadata audit internal GCP BigQuery:

  • Mengambil detail dari INFORMATION_SCHEMA.JOBS_BY_PROJECT untuk memetakan volume pemindaian data (bytes billed).
  • Menganalisis konsumsi biaya berdasarkan dimensi: user_email (siapa yang memicu query), dataset (lokasi data), project, dan target table.
  • Menyajikan visualisasi interaktif di Looker Studio untuk mendeteksi anomali query atau ad-hoc analysis yang tidak efisien.

2. BigQuery-to-BigQuery Incremental ETL dengan Dataform

Alih-alih menimpa (overwrite/full refresh) tabel target setiap malam, saya memigrasi pipeline transformasi data internal BigQuery-to-BigQuery ke Dataform dengan Incremental Mode:

  • Konfigurasi SQLX: Menulis model SQLX di Dataform dengan menyertakan blok kontrol conditional ${when(incremental(), ...)}.
  • Delta Processing: Pipeline dirancang untuk hanya menyaring data yang memiliki timestamp pembaruan lebih baru dibanding nilai maksimum yang ada di tabel target saat ini (WHERE updated_at > (SELECT MAX(updated_at) FROM ${self()})).
  • Pemisahan Layer Ingesti: Mengubah ingesti Datastream CDC dari metode Merge (upsert dinamis langsung) menjadi model Datastream Append-Only pada tabel staging BigQuery, lalu melakukan rekonsiliasi inkremental terjadwal via Dataform ke tabel produksi.

Dampak Bisnis & Metrik Keberhasilan

  • Reduksi Biaya Scan Query: Menghilangkan total kebutuhan full refresh harian pada tabel-tabel transaksi historis berukuran terabyte. Mengurangi volume data scan harian secara signifikan yang langsung berdampak pada pemangkasan tagihan bulanan GCP.
  • Rendering Dasbor Instan: Karena data warehouse diperbarui secara inkremental dan telah ter-precompute, dasbor analitik bisnis di Looker Studio memuat data visualisasi secara instan tanpa delay.