Abstract:Abstract: This study discusses the optimization of RAG for a FAQ system in the field of information technology product security certification at BSSN. Although LLM generate reliable responses, they often lack up-to-date…
and domain-specific knowledge, which can be addressed through the RAG approach. This research aims to optimize a domain-specific RAG system by improving embedding performance, enhancing prompt robustness, and increasing retrieval accuracy. The research methods consist of three stages. The first stage involves fine-tuning the bge-m3 embedding model and evaluating its performance using MRR, Recall, and AUC. The second stage applies prompt engineering techniques, namely the SRSM and Autodefense, to mitigate direct-injection and escape-character prompt injection attacks. The third stage evaluates the proposed RAG system using Precision, Recall, and F1-Score metrics against four baseline models. The results of research show that the fine-tuned embedding model achieves higher performance than the original model, with MRR@1 and Recall@1 values of 0.80 and an AUC@100 of 0.7023. In addition, the proposed prompt engineering techniques demonstrate robustness against prompt injection attacks, while the overall RAG system attains a perfect Precision, Recall, and F1-Score of 1.00. In conclusion, the proposed approach effectively enhances retrieval accuracy, embedding quality, and system security, resulting in a more reliable RAG-based FAQ system for information technology product security certification.
Keywords: embedding fine-tuning; large language model; prompt engineering; prompt injection mitigation; retrieval-augmented generation
Abstrak: Studi ini membahas optimasi RAG untuk sistem FAQ di bidang sertifikasi keamanan produk teknologi informasi di BSSN. Meskipun LLM menghasilkan respons yang andal, mereka seringkali kurang memiliki pengetahuan terkini dan spesifik domain, yang dapat diatasi melalui pendekatan RAG. Penelitian ini bertujuan untuk mengoptimalkan sistem RAG spesifik domain dengan meningkatkan kinerja embedding, meningkatkan ketahanan prompt dan meningkatkan akurasi pengambilan. Metode penelitian terdiri dari tiga tahap. Tahap pertama melibatkan fine-tuning model embedding bge-m3 dan mengevaluasi kinerjanya menggunakan Mean Reciprocal Rank (MRR), Recall, dan AUC. Tahap kedua menerapkan teknik rekayasa prompt, yaitu Self- SRSM dan Autodefense, untuk mengurangi serangan direct-injection dan escape-character prompt injection. Tahap ketiga mengevaluasi sistem RAG yang diusulkan menggunakan metrik Presisi, Recall, dan F1-Score terhadap empat model dasar. Hasil penelitian menunjukkan bahwa model embedding yang disempurnakan mencapai kinerja yang lebih tinggi daripada model asli, dengan nilai MRR@1 dan Recall@1 sebesar 0,80 dan AUC@100 sebesar 0,7023. Selain itu, teknik rekayasa prompt yang diusulkan menunjukkan ketahanan terhadap serangan injeksi prompt, sementara sistem RAG secara keseluruhan mencapai Presisi, Recall, dan F1-Score sempurna sebesar 1,00. Kesimpulannya, pendekatan yang diusulkan secara efektif meningkatkan akurasi pengambilan, kualitas embedding dan keamanan sistem, menghasilkan sistem FAQ berbasis RAG yang lebih andal untuk sertifikasi keamanan produk teknologi informasi.
Kata kunci: penyempurnaan embedding; model bahasa besar; rekayasa prompt; mitigasi injeksi prompt; retrieval-augmented generation
Abstract:Abstract: The Presidential general election on 2019 became one of the most popular topics on twitter nowdays. The society give their opinion about the pair of candidates that they are support through the social media.…
ia. This research was predicts about the society sentimens toward the candidates of President and Vice President of Republic of Indonesia. The data was used based on the tweet on the @jokowi twitter account. The retrieval of data by using the Tweepy library with the Python 2.7 programming language. This research was classified became of two of society sentiments classes, namely positive and negative. The modeling was used of the weighting method Unigram, Bigram, Trigram, N-Gram (1-2) and N-Gram (1-3) that used the Naïve Bayes Algorithm on the Weka Application. The modeling data was used by the dataset of 646 sentences. The highest results of this reseach were obtained by Unigram Weighting, namely: 81.4% accuracy, 81.5% precision, 81.3% recall with a time of 0.3 s.
Keywords: classification, naïve bayes, 2019 presidential election, twitter, unigram
Abstrak: Pemilihan Umum tentang Pilpres 2019 menjadi salah satu topik yang ramai diperbincangkan di Twitter. Adu pendapat di sosial media oleh masyarakat mengandung opini terhadap pasangan calon yang didukungnya. Penelitian ini memprediksi sentimen masyarakat kepada pasangan calon Presiden dan Wakil Presiden Republik Indonesia. Data yang digunakan adalah tweet yang ada pada akun Twitter @jokowi. Pengambilan data menggunakan library Tweepy dengan bahasa pemrograman Python 2.7. Penelitian ini mengklasifikasi sentimen masyarakat menjadi 2 kelas, yaitu positif dan negatif. Kemudian dilakukan pemodelan dengan metode pembobotan Unigram, Bigram, Trigram, N-Gram (1-2) Dan N-Gram (1-3) menggunakan Algoritme Naïve Bayes pada Aplikasi Weka. Pembuatan model menggunakan dataset yang berjumlah 646 kalimat. Hasil tertinggi yang diperoleh pada penelitian ini adalah dengan menggunakan Pembobotan Unigram, yaitu : akurasi 81,4%, presisi 81,5 % , recall 81,3 % dengan catatan waktu 0,3s.
Kata kunci: klasifikasi, naïve bayes, pilpres 2019, twitter, unigram.
Abstract:PT. Almabrur Nadia Insani Kota Jambi masih menghadapi kendala dalam proses pendaftaran dan pengelolaan data konsumen yang dilakukan secara manual, sehingga menyebabkan pencarian data kurang efektif dan berisiko terjadi kesalahan…
esalahan maupun duplikasi data. Kegiatan magang ini bertujuan untuk menganalisis proses yang berjalan serta merancang sistem informasi pengelolaan data konsumen yang lebih efektif. Metode yang digunakan adalah metode deskriptif dengan pendekatan kualitatif melalui observasi, wawancara, dokumentasi, dan studi pustaka. Perancangan sistem dilakukan menggunakan flowchart dan UML. Hasil kegiatan menunjukkan bahwa sistem yang dirancang mampu membantu pengelolaan data konsumen secara lebih terstruktur, mempercepat pencarian data, serta mendukung pembuatan laporan dengan lebih mudah.
PT. Almabrur Nadia Insani Jambi City still faces challenges in the consumer registration and data management processes, which are carried out manually, resulting in inefficient data retrieval and increasing the risk of errors and data duplication. This internship aimed to analyze the existing processes and design a more effective consumer data management information system. The study employed a descriptive method with a qualitative approach through observation, interviews, documentation, and literature review. The system was designed using Unified Modeling Language (UML). The results indicate that the proposed system can support more structured consumer data management, accelerate data retrieval, and facilitate report generation more efficiently.
Abstract:Kantor Desa Prapat Janji menghadapi berbagai permasalahan dalam pengelolaan administrasi dan tata kelola pemerintahan desa, seperti pencatatan data yang masih dilakukan secara manual, keterlambatan pelayanan administrasi,…
, kesulitan dalam pencarian arsip, serta belum optimalnya pemanfaatan teknologi informasi dalam mendukung pelayanan publik. Kegiatan pengabdian kepada masyarakat ini bertujuan untuk meningkatkan efektivitas administrasi desa melalui penerapan sistem informasi administrasi desa serta penguatan kapasitas aparatur dalam pengelolaan tata kelola berbasis digital. Metode yang digunakan meliputi observasi, identifikasi kebutuhan, pelatihan, pendampingan, dan evaluasi implementasi sistem. Hasil sementara menunjukkan bahwa penerapan sistem informasi mampu meningkatkan kecepatan pengolahan data administrasi sebesar 75%, mempercepat proses pencarian arsip hingga 80%, serta meningkatkan kompetensi aparatur desa dalam penggunaan teknologi informasi sebesar 85% berdasarkan hasil pre-test dan post-test. Selain itu, tingkat kepuasan perangkat desa terhadap penggunaan sistem mencapai 88%. Implementasi ini diharapkan mampu mewujudkan pelayanan publik yang lebih efektif, efisien, transparan, dan akuntabel di Desa Prapat Janji.
The Prapat Janji Village Office faces several challenges in managing administrative processes and village governance, including manual data recording, delays in administrative services, difficulties in document retrieval, and the suboptimal utilization of information technology to support public services. This community service program aims to improve the effectiveness of village administration through the implementation of a village administrative information system and the strengthening of village officials’ capacity in managing digital-based governance. The methods employed include observation, needs assessment, training, mentoring, and system implementation evaluation. Preliminary results indicate that the implementation of the information system has increased the efficiency of administrative data processing by 75%, accelerated document retrieval processes by up to 80%, and enhanced the information technology competencies of village officials by 85%, based on pre-test and post-test evaluations. Furthermore, the satisfaction level of village staff regarding the use of the system reached 88%. The implementation is expected to promote more effective, efficient, transparent, and accountable public services in Prapat Janji Village.
Efitra, Dian Agus Saputra, M. Iqbal, Elni Dwi Putri, Mia Faradila, Nur Asiya, Riska Fitria Rahmadani, Tiara Adiga Ramadhan, Reffy Angelina, David Ardi Nugrah
Abstract:Kantor Wilayah Kementerian Agama Provinsi Jambi masih menggunakan buku tamu fisik dalam pencatatan kunjungan sehingga menimbulkan kendala dalam pencarian data, penyimpanan informasi, dan pembuatan laporan. Penelitian ini…
bertujuan merancang Sistem Informasi Buku Tamu Berbasis Web untuk meningkatkan efisiensi pengelolaan data tamu. Metode pengembangan yang digunakan adalah Waterfall yang meliputi analisis kebutuhan, perancangan, implementasi, pengujian, dan pemeliharaan. Sistem dikembangkan menggunakan framework Laravel, bahasa pemrograman PHP, dan basis data MySQL. Pengujian dilakukan menggunakan Black Box Testing. Hasil penelitian menunjukkan bahwa sistem mampu mengelola data tamu secara digital, mempercepat pencarian data, dan menghasilkan laporan kunjungan secara otomatis serta terstruktur.
The Regional Office of the Ministry of Religious Affairs of Jambi Province still uses a manual guest book for recording visitor data, resulting in difficulties in data retrieval, information storage, and report generation. This study aims to design a web-based guest book information system to improve the efficiency of guest data management. The system was developed using the Waterfall method, which consists of requirements analysis, system design, implementation, testing, and maintenance stages. The application was built using the Laravel framework, PHP programming language, and MySQL database. Black Box Testing was conducted to ensure that all system functions operated according to user requirements. The results show that the system is capable of managing guest data digitally, accelerating data retrieval, and generating visitor reports automatically and systematically.
Abstract:Posyandu ialah layanan kesehatan masyar akat yang berperan krusial dalam pemantauan kesehatan ibu hamil, balita, serta lansia. Di Posyandu Puspa Indah 2 Kota Tangerang Selatan, pengelolaan data masih memakai buku register…
r dan KMS secara manual sehingga pencatatan maupun pencarian data berlangsung kurang efisien serta rentan terjadi kesalahan dan kehilangan data. Kajian ini ditujukan guna merancang serta membangun Sistem Posyandu Pintar berbasis web yang mendukung pengelolaan data secara digital serta terintegrasi. Pengumpulan data dilaksanakan melalui observasi, wawancara, serta studi pustaka. Sistem dilakukan pengembangan memakai framework Laravel, bahasa pemrograman PHP, basis data MySQL, serta Bootstrap menjadi antarmuka pengguna. Hasil kajian memperlihatkan bahwasannya sistem yang dibangun bisa membantu kader Posyandu mengelola data balita, lansia, kader, serta pemeriksaan kesehatan secara lebih cepat dan akurat, sekaligus memudahkan pembuatan laporan otomatis. Hasil pengujian juga mengindikasikan tiap fitur utama, meliputi login, tambah data, ubah data, hapus data, serta cetak laporan, berfungsi selaras keperluan pengguna.
Integrated Health Post (Posyandu) is a public health service that plays a crucial role in monitoring the health of pregnant women, toddlers, and the elderly. However, data management at Posyandu Puspa Indah 2 in South Tangerang City is still done manually using register books and Health Cards (KMS). This slows down the recording and retrieval process and risks errors and data loss. This reserach was conducted to design and develop a web-based Posyandu Pintar system that facilitates integrated and digitalized data management. The research utilized observation, interviews, and literature review as the primary data collection methods. The system was developed using the Laravel framework, PHP as the programming language, MySQL as the database management system, and Bootstrap for interface design. The results demonstrate that the system effectively supports Posyandu cadres in managing toddler data, the elderly, cadres, and health checks more quickly and accurately, while simplifying the automated reporting process. Testing results show that all key features, such as logging in, adding data, editing data, deleting data, and printing reports, function well according to user needs.