Abstract:Abstract: Manual meeting documentation risks losing important information due to cognitive fatigue. Although automated summarization models have evolved, integrated end-to-end systems for Indonesian spoken language remain…
n highly limited. This study aims to design and evaluate an end-to-end automated meeting summarization architecture that directly integrates Automatic Speech Recognition (ASR) via OpenAI Whisper for transcription and the IndoT5 language model for abstractive summarization. IndoT5 was fine-tuned using a dataset of 486 Indonesian spoken language transcript pairs. Testing was conducted on a CPU infrastructure using MP4, MP3, and WAV formats. Results show the optimal fine-tuning configuration significantly improved accuracy, achieving ROUGE-1 (0.4167), ROUGE-2 (0.1973), and ROUGE-L (0.2701) scores. Computationally, the system achieved a Real-Time Factor below 1, processing data faster than the actual recording duration. Conclusively, integrating Whisper and IndoT5 shows potential in producing coherent meeting summaries with lightweight computational overhead, making it viable for local infrastructure implementation to ensure data privacy.
Keywords: abstractive summarization; ASR; end-to-end pipeline; IndoT5; real-time factor
Abstrak: Dokumentasi rapat manual rentan menghilangkan informasi penting akibat keterbatasan kognitif. Meskipun model peringkas otomatis telah berkembang, implementasi sistem terintegrasi (end-to-end) khusus percakapan lisan berbahasa Indonesia masih sangat terbatas. Penelitian ini bertujuan merancang dan mengevaluasi arsitektur peringkas rapat otomatis end-to-end yang mengintegrasikan langsung Automatic Speech Recognition (ASR) melalui OpenAI Whisper untuk transkripsi dan model bahasa IndoT5 untuk peringkasan abstraktif. Adaptasi domain dilakukan melalui fine-tuning IndoT5 menggunakan 486 pasang dataset transkrip lisan berbahasa Indonesia. Pengujian pada infrastruktur CPU menggunakan format MP4, MP3, dan WAV. Hasil pengujian menunjukkan konfigurasi fine-tuning optimal berhasil meningkatkan akurasi, dengan skor ROUGE-1 (0,4167), ROUGE-2 (0,1973), dan ROUGE-L (0,2701). Sistem mendemonstrasikan efisiensi komputasi dengan nilai Real-Time Factor di bawah 1, mengindikasikan waktu pemrosesan lebih cepat dari durasi rekaman asli. Kesimpulannya, integrasi Whisper dan IndoT5 menunjukkan potensi dalam menghasilkan ringkasan yang koheren dengan beban komputasi ringan, sehingga layak diimplementasikan pada infrastruktur lokal organisasi untuk menjaga privasi data.
Kata kunci: ASR; end-to-end pipeline; IndoT5; peringkasan abstraktif; real-time factor
Abstract:Abstract: Accurate forecasts of tea harvest production are important for workforce planning, factory operations, and marketing decisions, yet conventional estimation in plantations often relies on field experience and can…
n be biased and less adaptive to changing conditions. This study aims to develop a Random Forest Regression model to predict tea harvest production at the Bah Butong tea plantation using historical operational and climate-related data. The dataset consists of 60 monthly records (2020–2024) with six predictor variables: rainfall (mm), number of rainy days, pest level, weed level, number of harvested trees and land area. Data were split into 80% training (48 samples) and 20% testing (12 samples). Model hyperparameters were optimized using RandomizedSearchCV with RepeatedKFold cross-validation (5 folds, 3 repeats). The tuned model achieved MSE of 668,980,524.45, RMSE of 25,864.66 kg, MAE of 19,838.69 kg, and MAPE of 7.59% on the test set. The results indicate that the model can provide practical production estimates, with errors averaging about 7–8% of the actual production. Feature importance analysis shows that the number of harvested tea bushes and cultivated area contribute most to predictions. Future work should extend the historical period and incorporate time-based features (seasonality/lag) for improved forecasting.
Keywords: hyperparameter tuning; production prediction; random forest; regression; tea harvest
Abstrak: Perkiraan akurat produksi panen teh sangat penting untuk perencanaan tenaga kerja, operasional pabrik, dan keputusan pemasaran, namun estimasi konvensional di perkebunan seringkali bergantung pada pengalaman lapangan dan dapat bias serta kurang adaptif terhadap perubahan kondisi. Studi ini bertujuan untuk mengembangkan model Regresi Random Forest untuk memprediksi produksi panen teh di perkebunan teh Bah Butong menggunakan data operasional dan data terkait iklim historis. Dataset terdiri dari 60 catatan bulanan (2020–2024) dengan enam variabel prediktor: curah hujan (mm), jumlah hari hujan, tingkat hama, tingkat gulma, jumlah pokok panen, dan luas lahan. Data dibagi menjadi 80% data pelatihan (48 sampel) dan 20% data pengujian (12 sampel). Parameter model dioptimalkan menggunakan RandomizedSearchCV dengan validasi silang RepeatedKFold (5 lipatan, 3 pengulangan). Model yang telah disempurnakan mencapai MSE sebesar 668.980.524,45, RMSE sebesar 25.864,66 kg, MAE sebesar 19.838,69 kg, dan MAPE sebesar 7,59% pada set data uji. Hasil tersebut menunjukkan bahwa model dapat memberikan estimasi produksi yang praktis, dengan kesalahan rata-rata sekitar 7–8% dari produksi aktual. Analisis kepentingan fitur menunjukkan bahwa jumlah semak teh yang dipanen dan luas lahan budidaya paling berkontribusi pada prediksi. Pekerjaan selanjutnya harus memperpanjang periode historis dan menggabungkan fitur berbasis waktu (musiman/lag) untuk peramalan yang lebih baik.
Kata kunci: panen teh; prediksi produksi; random forest; regresi; tuning parameter
Abstract:Abstract: Rehabilitation programs are essential in correctional systems to equip inmates with the skills and behavioral readiness required for social reintegration. However, rehabilitation program assignment in many correctional…
ectional institutions remains dependent on manual and subjective assessments, which may result in inconsistent decisions. This study develops a Random Forest–based prediction system to support objective and data-driven rehabilitation program determination. A quantitative approach was applied using historical inmate data from January 2023 to January 2025, comprising 2,023 records. The research process included data preprocessing, an 80:20 training–testing split, model training, and performance evaluation using accuracy, precision, recall, and F1-score metrics. The results show that the model achieved an accuracy of 86.17% during training in Google Colab and 68.83% when deployed within the application system. This performance gap reflects real-world deployment and computational constraints rather than model failure. The proposed system provides consistent and objective rehabilitation program recommendations, thereby supporting more effective rehabilitation planning and decision-making in correctional institutions.
Keywords: correctional institutions; inmate rehabilitation programs; machine learning; random Forest; prediction system
Abstrak: Program pembinaan narapidana memiliki peran penting dalam sistem pemasyarakatan untuk membekali warga binaan dengan keterampilan serta kesiapan perilaku dalam proses reintegrasi ke masyarakat. Namun, pada banyak lembaga pemasyarakatan, penentuan program pembinaan masih bergantung pada penilaian manual yang bersifat subjektif, sehingga berpotensi menimbulkan ketidakkonsistenan dalam pengambilan keputusan. Penelitian ini mengembangkan sistem prediksi program pembinaan narapidana berbasis algoritma Random Forest guna mendukung pengambilan keputusan yang objektif dan berbasis data. Pendekatan kuantitatif diterapkan menggunakan data historis narapidana periode Januari 2023 hingga Januari 2025 sebanyak 2.023 data. Tahapan penelitian meliputi prapemrosesan data, pembagian data latih dan uji dengan rasio 80:20, pelatihan model, serta evaluasi performa menggunakan metrik akurasi, precision, recall, dan F1-score. Hasil penelitian menunjukkan bahwa model mencapai akurasi sebesar 86,17% pada tahap pelatihan di Google Colab dan 68,83% saat diimplementasikan pada sistem aplikasi. Perbedaan performa tersebut mencerminkan keterbatasan lingkungan operasional, bukan kegagalan model. Secara keseluruhan, sistem yang dikembangkan mampu memberikan rekomendasi program pembinaan yang lebih objektif dan konsisten, sehingga mendukung perencanaan pembinaan yang lebih efektif.
Kata kunci: mesin pembelajaran; program pembinaan narapidana; random Forest; sistem pemasyarakatan; sistem prediksi
Abstract:Abstract: Academic achievement mapping is an important process in higher education to support effective academic monitoring and guidance. In practice, student grouping is often conducted manually by academic staff using…
simple criteria such as Grade Point Average (GPA) thresholds and subjective judgment, without systematic data analysis. This study aims to apply the Fuzzy C-Means (FCM) clustering algorithm to objectively group students based on their academic achievement levels. The dataset consists of academic records from 179 sixth-semester students of the Computer Science Study Program at Universitas Islam Negeri Sumatera Utara, where 160 eligible students are processed in the FCM calculation. Three variables are used: cumulative GPA, total completed credits, and the total number of low grades (D/E). The FCM algorithm automatically performs the mapping and groups students into three categories, namely excellent, stable, and at-risk students. Cluster quality is evaluated using the Silhouette Score and Davies–Bouldin Index, showing satisfactory clustering performance. The results indicate that the proposed approach provides a data-driven and objective basis for academic decision support.
Keywords: academic achievement; clustering; fuzzy c-means; student
Abstrak: Pemetaan pencapaian akademik mahasiswa merupakan proses penting dalam pendidikan tinggi untuk mendukung pemantauan dan pembinaan akademik yang tepat sasaran. Dalam praktiknya, pengelompokan mahasiswa masih sering dilakukan secara manual oleh pihak akademik berdasarkan kriteria sederhana, seperti batasan Indeks Prestasi Kumulatif (IPK) dan penilaian subjektif, tanpa analisis data yang sistematis. Penelitian ini bertujuan menerapkan algoritma Fuzzy C-Means (FCM) untuk mengelompokkan mahasiswa secara objektif berdasarkan tingkat pencapaian akademik. Data penelitian berasal dari 179 mahasiswa semester enam Program Studi Ilmu Komputer Universitas Islam Negeri Sumatera Utara, dengan 160 mahasiswa memenuhi kriteria dan diproses menggunakan algoritma FCM. Variabel yang digunakan meliputi IPK kumulatif, jumlah SKS yang telah ditempuh, dan total nilai rendah (D/E). Proses pemetaan sepenuhnya dilakukan oleh algoritma FCM dan menghasilkan tiga kategori mahasiswa, yaitu unggul, stabil, dan berisiko. Evaluasi menggunakan Silhouette Score dan Davies–Bouldin Index menunjukkan kualitas pengelompokan yang cukup baik.
Kata kunci: fuzzy c-means; clustering; mahasiswa; pencapaian akademik
Abstract:Abstract: The materials sector is one of the stock markets sectors that attracts investors due to the high level of construction activity in Indonesia, which supports long-term growth. Stock price movements are influenced…
d by various factors, requiring investors to determine the appropriate timing for buying, selling, or holding stocks. Therefore, this study aims to predict stock prices in the materials sector using a combination of CNN–BiLSTM algorithms. The research data were obtained from Yahoo Finance and processed through min–max normalization, data splitting, sliding window, model implementation, and evaluation stages. Testing was conducted on INTP and SMGR stocks with data split scenarios ranging from 60:40 to 90:10. The results show that CNN–BiLSTM performs best with a 90:10 data split, with minimum MSE and MAPE values of 0.000153 and 2.471% for INTP, and 0.000199 and 2.208% for SMGR, respectively. These findings indicate that increasing the proportion of training data improves the model's ability to learn historical patterns and produce more stable predictions.
Keywords: CNN-BILSTM; materials sector; stock
Abstrak: Sektor materials merupakan salah satu sektor saham yang diminati investor karena tingginya aktivitas pembangunan di Indonesia yang mendorong pertumbuhan jangka panjang. Pergerakan harga saham dipengaruhi oleh berbagai faktor sehingga investor perlu menentukan waktu transaksi yang tepat. Oleh karena itu, penelitian ini bertujuan memprediksi harga saham sektor materials menggunakan kombinasi algoritma CNN–BiLSTM. Data penelitian diperoleh dari Yahoo Finance dan diproses melalui tahapan normalisasi min–max, pembagian data, sliding window, implementasi model, serta evaluasi. Pengujian dilakukan pada saham INTP dan SMGR dengan skenario pembagian data 60:40 hingga 90:10. Hasil menunjukkan bahwa CNN–BiLSTM menghasilkan performa terbaik pada pembagian data 90:10, dengan nilai MSE dan MAPE minimum masing-masing sebesar 0.000153 dan 2.471% untuk INTP, serta 0.000199 dan 2.208% untuk SMGR. Temuan ini mengindikasikan bahwa peningkatan porsi data latih meningkatkan kemampuan model dalam mempelajari pola historis dan menghasilkan prediksi yang lebih stabil.
Kata kunci: CNN-BILSTM; saham; sektor materials
Abstract:Abstract: Malaria remains a major global health problem, particularly in tropical countries such as Indonesia. Accurate early diagnosis is essential for reducing malaria-related morbidity and mortality. Conventional microscopic…
oscopic examination is time-consuming, highly dependent on expert personnel, and prone to human error. This study compares the performance of two Convolutional Neural Network (CNN) architectures, ResNet-50 and DenseNet-121, for malaria image classification. The Cell Images for Malaria dataset provided by the National Institutes of Health (NIH) through Kaggle was used, consisting of 27,558 microscopic blood cell images categorized into Parasitized and Uninfected classes. The dataset was divided into 80% training data and 20% testing data. Image preprocessing included resizing to 224 × 224 pixels, normalization, labeling, and data augmentation using RandomFlip, RandomRotation, RandomZoom, and RandomContrast. Experimental results showed that the ResNet-50 model trained for 100 epochs achieved the highest performance, with an accuracy of 95.54% and precision, recall, and F1-score of 0.96. The confusion matrix indicated 5,272 correctly classified images out of 5,510 testing samples. These findings demonstrate that ResNet-50 outperformed DenseNet-121 and has strong potential for supporting accurate, reliable, and efficient computer-aided malaria diagnosis based on microscopic blood smear images.
Keywords: computer-aided diagnosis; convolutional neural network (CNN); densenet-121; early detection; image classification; malaria; microscopic blood smear images; resnet-50;
Abstrak : Malaria masih menjadi masalah kesehatan global yang serius, terutama di negara tropis seperti Indonesia. Diagnosis dini yang akurat sangat penting untuk menurunkan angka morbiditas dan mortalitas. Metode konvensional berupa pemeriksaan mikroskopis memiliki keterbatasan karena memerlukan waktu yang relatif lama, bergantung pada tenaga ahli, dan berpotensi menimbulkan kesalahan manusia. Penelitian ini bertujuan membandingkan kinerja arsitektur Convolutional Neural Network (CNN) yaitu ResNet-50 dan DenseNet-121 dalam klasifikasi citra malaria. Dataset yang digunakan berasal dari Cell Images for Malaria yang disediakan oleh National Institutes of Health (NIH) melalui platform Kaggle, terdiri dari 27.558 citra dengan pembagian 80% data latih, 20% data validasi. Tahap praproses meliputi cleaning, resizing citra menjadi 224×224 piksel, normalisasi, labeling, serta data augmentasi menggunakan RandomFlip, RandomRotation, RandomZoom, dan RandomContrast. Hasil pengujian menunjukkan bahwa model ResNet-50 pada epoch 100 memperoleh akurasi sebesar 95,54% dengan nilai precision, recall, dan F1-score masing-masing sebesar 0,96. Confusion matrix menunjukkan jumlah prediksi benar sebanyak 5.272 dari total 5.510 data uji. Hasil ini menunjukkan bahwa arsitektur CNN mampu mengklasifikasikan citra malaria dengan tingkat akurasi yang tinggi dan memiliki kemampuan generalisasi yang baik terhadap data baru. Penelitian ini memberikan kontribusi dalam evaluasi performa arsitektur CNN untuk mendukung pengembangan sistem diagnosis malaria berbasis citra mikroskopis yang lebih cepat dan akurat.
Kata kunci: convolutional neural network (CNN); citra mikroskopis hapusan darah; densenet-121; diagnosis berbantuan komputer; deteksi dini; klasifikasi citra; malaria; resnet-50
Abstract:Abstract: The rapid degradation of mangrove ecosystems threatens coastal biodiversity, shoreline stability, and carbon sequestration capacity, particularly in areas experiencing intense human activity. However, community-based…
-based participatory mangrove monitoring remains limited due to the lack of accessible and user-friendly digital tools. This study aims to design an intuitive mobile application for mangrove tree detection and participatory ecological monitoring using a User-Centered Design (UCD) approach. The research was conducted iteratively through user needs analysis, prototype development, and usability evaluation involving local governments, conservation practitioners, and non-expert users. The proposed application integrates machine learning for automated mangrove recognition with geospatial visualization and real-time feedback to support field-based monitoring. Usability evaluation using the System Usability Scale (SUS) yielded an overall score of 82.3, categorized as excellent usability, indicating high user satisfaction and intuitive interaction. The results demonstrate that integrating UCD and machine learning enhances usability, user engagement, and the accuracy of mangrove documentation under real field conditions. Overall, this study presents a field-ready, user-centered mobile solution that bridges usability engineering and participatory mangrove monitoring as a replicable model for inclusive ecological application development.
Keywords: Carbon sequestration; mangrove monitoring; mobile application; user-centered design; usability evaluation
Abstrak: Degradasi ekosistem mangrove yang semakin cepat mengancam keanekaragaman hayati pesisir, stabilitas garis pantai, dan kapasitas sekuestrasi karbon, terutama di wilayah dengan aktivitas manusia yang intens. Namun, pemantauan mangrove secara partisipatif berbasis komunitas masih terbatas akibat kurangnya perangkat digital yang mudah diakses dan ramah pengguna. Penelitian ini bertujuan merancang aplikasi mobile yang intuitif untuk deteksi pohon mangrove dan pemantauan ekologi partisipatif dengan menggunakan pendekatan User-Centered Design (UCD). Penelitian dilakukan secara iteratif melalui analisis kebutuhan pengguna, pengembangan prototipe, dan evaluasi kegunaan dengan melibatkan pemerintah daerah, praktisi konservasi, serta pengguna non-ahli. Aplikasi yang diusulkan mengintegrasikan pembelajaran mesin untuk pengenalan mangrove secara otomatis dengan visualisasi geospasial dan umpan balik waktu nyata guna mendukung pemantauan di lapangan. Evaluasi kegunaan menggunakan System Usability Scale (SUS) menghasilkan skor keseluruhan sebesar 82,3 yang termasuk dalam kategori kegunaan sangat baik, menunjukkan tingkat kepuasan pengguna yang tinggi dan interaksi yang intuitif. Hasil penelitian menunjukkan bahwa integrasi UCD dan pembelajaran mesin meningkatkan kegunaan, keterlibatan pengguna, serta akurasi dokumentasi mangrove dalam kondisi lapangan. Secara keseluruhan, penelitian ini menyajikan solusi mobile berbasis UCD yang siap digunakan di lapangan dan menjembatani rekayasa kegunaan dengan pemantauan mangrove partisipatif sebagai model replikatif bagi pengembangan aplikasi ekologi yang inklusif.
Kata kunci: Carbon sequestration; mangrove monitoring; mobile application; user-centered design; usability evaluation
Abstract:Abstract: Accurate bone age estimation is essential for monitoring pediatric growth, diagnosing endocrine disorders, and supporting clinical decision-making. Although deep learning has improved prediction accuracy, limited…
ed studies have systematically examined how increasing model depth affects performance and reliability. This study evaluates the effectiveness of progressively deeper convolutional neural networks, specifically EfficientNet variants B0 to B5, for bone age estimation from hand radiographs. Experiments were conducted using 12,611 hand X-ray images from the RSNA Pediatric Bone Age Challenge dataset on Kaggle. To ensure fair comparison, all models were trained using a unified and consistent training pipeline. Model performance was evaluated using Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE), Concordance Correlation Coefficient (CCC), and Pearson correlation coefficient. The results show a consistent improvement in prediction accuracy as model depth increases. Among the evaluated models, EfficientNet-B5 achieved the best performance, with an MAE of 21.5 months, MAPE of 6.23%, CCC of 0.9148, and Pearson’s r of 0.9203. These findings confirm that model scaling plays a critical role in enhancing prediction robustness and clinical reliability. Future work should emphasize external validation across diverse populations and incorporate interpretability techniques, such as Grad-CAM, to improve clinical transparency and trust.
Keywords: bone age prediction; deep learning; model evaluation; clinical validation
Abstrak: Estimasi usia tulang yang akurat sangat penting untuk memantau pertumbuhan anak, mendiagnosis gangguan endokrin, dan mendukung pengambilan keputusan klinis. Meskipun pembelajaran mendalam telah meningkatkan akurasi prediksi, studi yang secara sistematis meneliti bagaimana peningkatan kedalaman model memengaruhi kinerja dan keandalan masih terbatas. Studi ini mengevaluasi efektivitas jaringan saraf konvolusional yang semakin dalam, khususnya varian EfficientNet B0 hingga B5, untuk estimasi usia tulang dari radiografi tangan. Eksperimen dilakukan menggunakan 12.611 gambar sinar-X tangan dari dataset RSNA Pediatric Bone Age Challenge di Kaggle. Untuk memastikan perbandingan yang adil, semua model dilatih menggunakan alur pelatihan yang terpadu dan konsisten. Kinerja model dievaluasi menggunakan Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE), Concordance Correlation Coefficient (CCC), dan koefisien korelasi Pearson. Hasil menunjukkan peningkatan yang konsisten dalam akurasi prediksi seiring dengan peningkatan kedalaman model. Di antara model yang dievaluasi, EfficientNet-B5 mencapai kinerja terbaik, dengan MAE sebesar 21,5 bulan, MAPE sebesar 6,23%, CCC sebesar 0,9148, dan Pearson’s r sebesar 0,9203. Temuan ini menegaskan bahwa penskalaan model memainkan peran penting dalam meningkatkan optimasi prediksi dan keandalan klinis. Penelitian selanjutnya dapat menekankan validasi eksternal di berbagai populasi dan menggabungkan teknik interpretasi, seperti Grad-CAM, untuk meningkatkan transparansi dan kepercayaan klinis.
Kata kunci: prediksi usia tulang; deep learning; evaluasi model; validasi klinis
Abstract:Abstract: Understanding students’ emotional conditions is important for evaluating engagement and learning atmosphere in classroom environments. However, conventional evaluation methods are often subjective and difficult…
lt to apply in real time. Therefore, this study proposes a real-time multi-face emotion detection system designed for classroom learning environments. The system integrates a CNN-based Tiny Face Detector for multi-scale face localization with a convolutional neural network to classify seven facial emotions: angry, disgust, fear, happy, sad, surprise, and neutral. Experimental evaluation was conducted using classroom video data under varying lighting conditions, face orientations, partial occlusions, and different numbers of detected faces per frame. The proposed system achieves stable real-time performance with processing speeds ranging from 10–20 FPS, depending on face density. The results show higher recognition performance for expressive emotions, while subtle emotions remain more challenging. Overall classification accuracy reaches above 80% when emotion predictions are aggregated across multiple faces and time windows. These results indicate that the proposed system is suitable for objective analysis of emotional dynamics in classroom environments and supports the deployment of lightweight emotion-aware monitoring systems for educational applications.
Keywords: classroom monitoring; convolutional neural network; facial emotion recognition; multi-face detection; tiny face detector.
Abstrak: Pemahaman terhadap kondisi emosional mahasiswa penting untuk mengevaluasi keterlibatan dan suasana pembelajaran di kelas. Namun, metode evaluasi konvensional umumnya bersifat subjektif dan sulit diterapkan secara real-time. Oleh karena itu, penelitian ini mengusulkan sistem deteksi emosi multi-wajah secara real-time yang dirancang untuk lingkungan pembelajaran di kelas. Sistem mengintegrasikan Tiny Face Detector berbasis CNN untuk pelokalan wajah multi-skala dengan jaringan saraf konvolusional untuk mengklasifikasikan tujuh emosi wajah, yaitu marah, jijik, takut, senang, sedih, terkejut, dan netral. Evaluasi eksperimen dilakukan menggunakan data video kelas dengan variasi kondisi pencahayaan, orientasi wajah, oklusi parsial, serta jumlah wajah yang berbeda dalam satu frame. Sistem menunjukkan kinerja real-time yang stabil dengan kecepatan pemrosesan antara 10–20 FPS, bergantung pada kepadatan wajah. Hasil pengujian menunjukkan kinerja yang lebih baik pada emosi ekspresif, sementara emosi dengan ciri halus lebih menantang untuk dikenali. Akurasi klasifikasi keseluruhan mencapai di atas 80% ketika hasil emosi diagregasi berdasarkan banyak wajah dan interval waktu. Hasil ini menunjukkan bahwa sistem yang diusulkan berpotensi digunakan untuk analisis objektif dinamika emosi di kelas serta mendukung pemantauan lingkungan pembelajaran berbasis kecerdasan buatan.
Kata kunci: pengenalan emosi wajah; deteksi multi-wajah; Tiny Face Detector; jaringan saraf konvolusional; pemantauan kelas.
Abstract:Abstract: This study discusses the optimization of RAG for a FAQ system in the field of information technology product security certification at BSSN. Although LLM generate reliable responses, they often lack up-to-date…
and domain-specific knowledge, which can be addressed through the RAG approach. This research aims to optimize a domain-specific RAG system by improving embedding performance, enhancing prompt robustness, and increasing retrieval accuracy. The research methods consist of three stages. The first stage involves fine-tuning the bge-m3 embedding model and evaluating its performance using MRR, Recall, and AUC. The second stage applies prompt engineering techniques, namely the SRSM and Autodefense, to mitigate direct-injection and escape-character prompt injection attacks. The third stage evaluates the proposed RAG system using Precision, Recall, and F1-Score metrics against four baseline models. The results of research show that the fine-tuned embedding model achieves higher performance than the original model, with MRR@1 and Recall@1 values of 0.80 and an AUC@100 of 0.7023. In addition, the proposed prompt engineering techniques demonstrate robustness against prompt injection attacks, while the overall RAG system attains a perfect Precision, Recall, and F1-Score of 1.00. In conclusion, the proposed approach effectively enhances retrieval accuracy, embedding quality, and system security, resulting in a more reliable RAG-based FAQ system for information technology product security certification.
Keywords: embedding fine-tuning; large language model; prompt engineering; prompt injection mitigation; retrieval-augmented generation
Abstrak: Studi ini membahas optimasi RAG untuk sistem FAQ di bidang sertifikasi keamanan produk teknologi informasi di BSSN. Meskipun LLM menghasilkan respons yang andal, mereka seringkali kurang memiliki pengetahuan terkini dan spesifik domain, yang dapat diatasi melalui pendekatan RAG. Penelitian ini bertujuan untuk mengoptimalkan sistem RAG spesifik domain dengan meningkatkan kinerja embedding, meningkatkan ketahanan prompt dan meningkatkan akurasi pengambilan. Metode penelitian terdiri dari tiga tahap. Tahap pertama melibatkan fine-tuning model embedding bge-m3 dan mengevaluasi kinerjanya menggunakan Mean Reciprocal Rank (MRR), Recall, dan AUC. Tahap kedua menerapkan teknik rekayasa prompt, yaitu Self- SRSM dan Autodefense, untuk mengurangi serangan direct-injection dan escape-character prompt injection. Tahap ketiga mengevaluasi sistem RAG yang diusulkan menggunakan metrik Presisi, Recall, dan F1-Score terhadap empat model dasar. Hasil penelitian menunjukkan bahwa model embedding yang disempurnakan mencapai kinerja yang lebih tinggi daripada model asli, dengan nilai MRR@1 dan Recall@1 sebesar 0,80 dan AUC@100 sebesar 0,7023. Selain itu, teknik rekayasa prompt yang diusulkan menunjukkan ketahanan terhadap serangan injeksi prompt, sementara sistem RAG secara keseluruhan mencapai Presisi, Recall, dan F1-Score sempurna sebesar 1,00. Kesimpulannya, pendekatan yang diusulkan secara efektif meningkatkan akurasi pengambilan, kualitas embedding dan keamanan sistem, menghasilkan sistem FAQ berbasis RAG yang lebih andal untuk sertifikasi keamanan produk teknologi informasi.
Kata kunci: penyempurnaan embedding; model bahasa besar; rekayasa prompt; mitigasi injeksi prompt; retrieval-augmented generation