Kembali ke Portofolio
PortfolioCDC Replication & Observability
Data Engineering & SystemsTugas Akhir ITERA & Telkom2025–2026

Replikasi Database Real-Time CDC & Benchmarking Performa (PeerDB vs Debezium)

Implementasi pipeline Change Data Capture (CDC) real-time menggunakan Debezium, Kafka, dan PostgreSQL, disertai riset komparasi empiris terhadap PeerDB pada beban 5 hingga 80 juta baris dengan pemantauan Grafana dan Prometheus.

Institusi / Konteks:Institut Teknologi Sumatera (Tugas Akhir) & PT Telkom Indonesia
Peran Farrel:Data Engineer / Researcher

Beban Pengujian

5M – 80M Baris Data

Replikasi Eksperimen

5x per Skenario

Temuan Beban Ringan

PeerDB (~43-81s pada 5-10M)

Temuan Beban Berat

Debezium (Stabil hingga 80M)

Hasil Nyata & Tampilan Sistem

Tangkapan layar hasil produksi atau prototipe sistem yang dibangun.

Grafana Observability Dashboard: Real-time monitoring of CPU load, RAM used (43.4%), swap memory, and disk space during CDC simulation.

Gambar 1: Dashboard Observabilitas Grafana: Memantau CPU load, RAM used (43.4%), swap memory, dan disk space saat simulasi replikasi berlangsung.

CDC Pipeline Architecture: PSQL Source -> WAL -> Debezium Source Connector -> Event CDC (JSON) -> Kafka Broker -> JDBC Sink -> Target.

Gambar 2: Diagram Arsitektur Alur CDC: PSQL Source -> WAL -> Debezium Source Connector -> Event CDC (JSON) -> Kafka Broker -> JDBC Sink -> Target.

Debezium Replication Concept: Near real-time synchronization between local databases avoiding polling overhead.

Gambar 3: Konsep Replikasi Debezium: Sinkronisasi real-time antar basis data lokal tanpa query batch berkala.

Masalah & Kebutuhan

Mengapa Sistem Ini Perlu Dibangun?

Sistem pengolahan data analitik konvensional yang mengandalkan batch ETL berkala sering memicu latensi data tinggi dan membebani database operasional. Tim membutuhkan replikasi near real-time yang stabil, efisien terhadap sumber daya CPU/RAM, serta dapat diandalkan pada volume data besar.

Target Pengguna / Pemangku Kepentingan

Data engineers, database administrators (DBA), dan tim platform analitik real-time.

Solusi & Pendekatan Teknis

Bagaimana Masalah Tersebut Diselesaikan?

Merancang arsitektur replikasi berbasis log database WAL (Write-Ahead Log) menggunakan Debezium Source Connector, Apache Kafka Broker, dan JDBC Sink Connector untuk mereplikasi perubahan data ke target PostgreSQL. Melakukan eksperimen terukur pada beban 5M, 10M, 20M, 40M, dan 80M baris dengan 5 kali replikasi per skenario di DigitalOcean Droplet, dipantau menggunakan Node Exporter, Prometheus, dan Grafana.

Kontribusi Pribadi Farrel

Apa yang Secara Spesifik Dikerjakan?

1

Mengonfigurasi dan mengorkestrasi container Docker untuk PostgreSQL (Source & Target), Debezium, Kafka Connect, Zookeeper/Kafka Broker, Prometheus, dan Grafana.

2

Menulis skrip PowerShell dan SQL untuk pengujian otomatisasi beban insert serta validasi integritas data antar database.

3

Membangun dashboard observabilitas di Grafana untuk memantau metrik real-time: CPU busy, RAM utilization, network traffic, dan disk I/O.

4

Menganalisis hasil benchmark: menemukan bahwa PeerDB lebih efisien pada beban kecil (<10M), sedangkan Debezium jauh lebih stabil dan unggul pada beban skala besar (40M–80M).

Teknologi & Peran Fungsionalnya

Bukan sekadar daftar nama tools, melainkan alasan mengapa teknologi tersebut dipakai dalam proyek ini.

Debezium Engine

Menangkap mutasi data dari PostgreSQL Write-Ahead Log (WAL)

Apache Kafka & Connect

Message broker terdistribusi pengantar event stream perubahan data

PostgreSQL (Source & Target)

Database sumber transaksi dan database target analitik (Upsert)

Grafana & Prometheus

Observabilitas real-time metrik sistem, CPU, RAM, dan latensi

Docker & DigitalOcean

Lingkungan pengujian kontainer yang konsisten dan reproducible

Keterbatasan Sistem & Pembelajaran Teknis

Refleksi objektif mengenai batasan desain eksperimen dan peluang pengembangan selanjutnya.

  • •Eksperimen tugas akhir difokuskan pada beban insert-only untuk mengukur batas throughput maksimum; pengujian multi-node update/delete kompleks disarankan untuk riset lanjutan.
  • •Penelitian dilakukan pada DigitalOcean droplet tunggal berkapasitas terkontrol untuk isolasi parameter metrik.

Ingin Mendiskusikan Proyek Ini?

Saya siap menjelaskan metodologi, desain data, dan kode secara lebih terperinci.