Abstract
Abstract: Digital fraud through short messages has become a national problem in Indonesia; the Indonesia Anti-Scam Centre recorded 637,055 reports with losses of IDR 9.1 trillion up to July 2026. Scam messages are hard to filter with keywords because perpetrators keep changing wording and phone numbers, while official promotional messages share similar linguistic patterns. This study aims to optimize a three-class classifier (normal, fraud, promotion) for Indonesian messages by combining XGBoost, SMOTE, and Bayesian Optimization based on the Tree-structured Parzen Estimator (TPE), and to compare TPE with Grid Search and Random Search under an equal budget of 25 trials. Messages were normalized (URLs, phone numbers, amounts, and slang) and represented with combined word and character n-gram TF-IDF features. On 2,320 messages, XGBoost + SMOTE + TPE achieved a macro F1 of 0.9555, an accuracy of 96.34%, and a fraud-class recall of 0.9507, slightly higher than default XGBoost (F1 0.9531) and Grid Search (F1 0.9529), with a much lighter model that trained 3.2 times faster. Grid Search showed overfitting to the validation folds. The ablation study showed that SMOTE did not help under moderate class imbalance (F1 without SMOTE 0.9581), and Multinomial Naïve Bayes remained the best model (F1 0.9693). Most errors occurred between fraud and promotional messages. Keywords: Digital Fraud, Text Classification, XGBoost, Bayesian Optimization, SMOTE Abstrak: Penipuan digital melalui pesan singkat telah menjadi masalah nasional; Indonesia Anti-Scam Centre mencatat 637.055 laporan dengan kerugian Rp9,1 triliun hingga Juli 2026. Pesan penipuan sulit disaring dengan kata kunci karena pelaku terus mengubah variasi kata dan nomor telepon, sementara pesan promosi resmi memiliki pola bahasa yang mirip. Penelitian ini bertujuan mengoptimasi model klasifikasi tiga kelas (normal, penipuan, promo) untuk pesan berbahasa Indonesia dengan menggabungkan XGBoost, SMOTE, dan Bayesian Optimization berbasis Tree-structured Parzen Estimator (TPE), serta membandingkan TPE dengan Grid Search dan Random Search pada anggaran yang sama, yaitu 25 percobaan. Pesan dinormalisasi (tautan, nomor telepon, nominal, dan kata tidak baku) lalu direpresentasikan dengan fitur TF-IDF gabungan n-gram kata dan karakter. Pada 2.320 pesan, XGBoost + SMOTE + TPE mencapai F1-macro 0,9555, akurasi 96,34%, dan recall kelas penipuan 0,9507, sedikit lebih tinggi daripada XGBoost default (F1 0,9531) dan Grid Search (F1 0,9529), dengan model yang jauh lebih ringan dan waktu pelatihan 3,2 kali lebih cepat. Grid Search menunjukkan gejala overfitting terhadap fold validasi. Uji ablasi menunjukkan SMOTE tidak membantu pada ketidakseimbangan kelas moderat (F1 tanpa SMOTE 0,9581), dan Multinomial Naïve Bayes tetap menjadi model terbaik (F1 0,9693). Sebagian besar kesalahan terjadi antara pesan penipuan dan promo. Kata Kunci: Penipuan Digital, Klasifikasi Teks, XGBoost, Bayesian Optimization, SMOTE.
