Replikasi Database Real-Time CDC & Benchmarking Performa (PeerDB vs Debezium)
Implementasi pipeline Change Data Capture (CDC) real-time menggunakan Debezium, Kafka, dan PostgreSQL, disertai riset komparasi empiris terhadap PeerDB pada beban 5 hingga 80 juta baris dengan pemantauan Grafana dan Prometheus.
Beban Pengujian
5M – 80M Baris Data
Replikasi Eksperimen
5x per Skenario
Temuan Beban Ringan
PeerDB (~43-81s pada 5-10M)
Temuan Beban Berat
Debezium (Stabil hingga 80M)
Hasil Nyata & Tampilan Sistem
Tangkapan layar hasil produksi atau prototipe sistem yang dibangun.

Gambar 1: Dashboard Observabilitas Grafana: Memantau CPU load, RAM used (43.4%), swap memory, dan disk space saat simulasi replikasi berlangsung.

Gambar 2: Diagram Arsitektur Alur CDC: PSQL Source -> WAL -> Debezium Source Connector -> Event CDC (JSON) -> Kafka Broker -> JDBC Sink -> Target.

Gambar 3: Konsep Replikasi Debezium: Sinkronisasi real-time antar basis data lokal tanpa query batch berkala.
Mengapa Sistem Ini Perlu Dibangun?
Sistem pengolahan data analitik konvensional yang mengandalkan batch ETL berkala sering memicu latensi data tinggi dan membebani database operasional. Tim membutuhkan replikasi near real-time yang stabil, efisien terhadap sumber daya CPU/RAM, serta dapat diandalkan pada volume data besar.
Data engineers, database administrators (DBA), dan tim platform analitik real-time.
Bagaimana Masalah Tersebut Diselesaikan?
Merancang arsitektur replikasi berbasis log database WAL (Write-Ahead Log) menggunakan Debezium Source Connector, Apache Kafka Broker, dan JDBC Sink Connector untuk mereplikasi perubahan data ke target PostgreSQL. Melakukan eksperimen terukur pada beban 5M, 10M, 20M, 40M, dan 80M baris dengan 5 kali replikasi per skenario di DigitalOcean Droplet, dipantau menggunakan Node Exporter, Prometheus, dan Grafana.
Apa yang Secara Spesifik Dikerjakan?
Mengonfigurasi dan mengorkestrasi container Docker untuk PostgreSQL (Source & Target), Debezium, Kafka Connect, Zookeeper/Kafka Broker, Prometheus, dan Grafana.
Menulis skrip PowerShell dan SQL untuk pengujian otomatisasi beban insert serta validasi integritas data antar database.
Membangun dashboard observabilitas di Grafana untuk memantau metrik real-time: CPU busy, RAM utilization, network traffic, dan disk I/O.
Menganalisis hasil benchmark: menemukan bahwa PeerDB lebih efisien pada beban kecil (<10M), sedangkan Debezium jauh lebih stabil dan unggul pada beban skala besar (40M–80M).
Teknologi & Peran Fungsionalnya
Bukan sekadar daftar nama tools, melainkan alasan mengapa teknologi tersebut dipakai dalam proyek ini.
Debezium Engine
Menangkap mutasi data dari PostgreSQL Write-Ahead Log (WAL)
Apache Kafka & Connect
Message broker terdistribusi pengantar event stream perubahan data
PostgreSQL (Source & Target)
Database sumber transaksi dan database target analitik (Upsert)
Grafana & Prometheus
Observabilitas real-time metrik sistem, CPU, RAM, dan latensi
Docker & DigitalOcean
Lingkungan pengujian kontainer yang konsisten dan reproducible
Keterbatasan Sistem & Pembelajaran Teknis
Refleksi objektif mengenai batasan desain eksperimen dan peluang pengembangan selanjutnya.
- •Eksperimen tugas akhir difokuskan pada beban insert-only untuk mengukur batas throughput maksimum; pengujian multi-node update/delete kompleks disarankan untuk riset lanjutan.
- •Penelitian dilakukan pada DigitalOcean droplet tunggal berkapasitas terkontrol untuk isolasi parameter metrik.
Ingin Mendiskusikan Proyek Ini?
Saya siap menjelaskan metodologi, desain data, dan kode secara lebih terperinci.
