Data Platform

Looker Studio Dashboard Usage Intelligence: Automated Metadata Sync via Colab Enterprise

Bagaimana saya merekayasa sistem pemantauan adopsi laporan internal dengan menyalurkan log audit akses data ke BigQuery dan menyinkronkan metadata laporan via API Looker Studio menggunakan Google Colab Enterprise.

#Looker Studio #GCP Cloud Logging #Looker Studio API #Google Colab Enterprise #BigQuery

Ringkasan Eksekutif

AstraPay menggunakan puluhan dasbor Looker Studio untuk mendukung keputusan produk dan bisnis. Namun, tidak ada wawasan konkret mengenai dasbor mana yang benar-benar aktif digunakan oleh manajemen, siapa penggunanya, dan dasbor mana yang sudah usang dan layak di-decommission untuk menghemat resource.

Saya membangun sistem pelacakan otomatis Looker Studio Dashboard Usage Intelligence yang secara komprehensif memantau interaksi pengguna dengan mengintegrasikan sistem Cloud Logging Sinks, API Looker Studio, dan Google Colab Enterprise Notebooks.

Mekanisme Teknis Solusi

  1. Audit Logs Cloud Ingestion: Mengaktifkan pencatatan data akses terperinci Looker Studio di Google Cloud Platform. Seluruh logs aktivitas interaksi dasbor ditangkap dan dialirkan melalui Cloud Logging Sink ke tabel penyimpanan terpusat di BigQuery secara real-time. Logs ini mencakup timestamp, identitas user, dan Report ID yang diakses.

  2. Metadata Synchronization via Looker Studio API: Karena log mentah hanya menyediakan Report ID berupa kode hash string acak, kita memerlukan judul laporan dan struktur metadata asli agar laporan menjadi manusiawi.

    • Saya menulis skrip otomasi python di Google Colab Enterprise Notebook yang melakukan pemanggilan terotentikasi ke Looker Studio API.
    • Skrip ini mengambil detail metadata laporan (Judul, Pembuat, Kategori, Tanggal Pembuatan) berdasarkan Report ID yang disaring dari log akses BigQuery.
    • Hasil sinkronisasi metadata ini dijadwalkan secara harian (scheduled runs) untuk disimpan ke tabel dimensi metadata di BigQuery.

  3. Data Modeling & Looker Dashboard: Menggabungkan (JOIN) data transaksi akses harian dengan tabel dimensi metadata laporan di BigQuery, lalu menyajikannya kembali ke dalam dasbor analitik penggunaan Looker Studio yang interaktif.

Dampak Bisnis & Metrik Keberhasilan

  • Identifikasi Dashboard Usang: Berhasil melacak dan menghapus puluhan visualisasi/dasbor duplikat atau usang yang tidak pernah diakses lagi, mengurangi beban query pipeline di belakangnya.
  • Adoption Rate Monitoring: Memberikan wawasan berharga bagi tim data platform untuk melihat fitur dasbor mana yang paling bernilai bagi pemangku kepentingan.