Abstract:Abstract: This study discusses the optimization of RAG for a FAQ system in the field of information technology product security certification at BSSN. Although LLM generate reliable responses, they often lack up-to-date…
and domain-specific knowledge, which can be addressed through the RAG approach. This research aims to optimize a domain-specific RAG system by improving embedding performance, enhancing prompt robustness, and increasing retrieval accuracy. The research methods consist of three stages. The first stage involves fine-tuning the bge-m3 embedding model and evaluating its performance using MRR, Recall, and AUC. The second stage applies prompt engineering techniques, namely the SRSM and Autodefense, to mitigate direct-injection and escape-character prompt injection attacks. The third stage evaluates the proposed RAG system using Precision, Recall, and F1-Score metrics against four baseline models. The results of research show that the fine-tuned embedding model achieves higher performance than the original model, with MRR@1 and Recall@1 values of 0.80 and an AUC@100 of 0.7023. In addition, the proposed prompt engineering techniques demonstrate robustness against prompt injection attacks, while the overall RAG system attains a perfect Precision, Recall, and F1-Score of 1.00. In conclusion, the proposed approach effectively enhances retrieval accuracy, embedding quality, and system security, resulting in a more reliable RAG-based FAQ system for information technology product security certification.
Keywords: embedding fine-tuning; large language model; prompt engineering; prompt injection mitigation; retrieval-augmented generation
Abstrak: Studi ini membahas optimasi RAG untuk sistem FAQ di bidang sertifikasi keamanan produk teknologi informasi di BSSN. Meskipun LLM menghasilkan respons yang andal, mereka seringkali kurang memiliki pengetahuan terkini dan spesifik domain, yang dapat diatasi melalui pendekatan RAG. Penelitian ini bertujuan untuk mengoptimalkan sistem RAG spesifik domain dengan meningkatkan kinerja embedding, meningkatkan ketahanan prompt dan meningkatkan akurasi pengambilan. Metode penelitian terdiri dari tiga tahap. Tahap pertama melibatkan fine-tuning model embedding bge-m3 dan mengevaluasi kinerjanya menggunakan Mean Reciprocal Rank (MRR), Recall, dan AUC. Tahap kedua menerapkan teknik rekayasa prompt, yaitu Self- SRSM dan Autodefense, untuk mengurangi serangan direct-injection dan escape-character prompt injection. Tahap ketiga mengevaluasi sistem RAG yang diusulkan menggunakan metrik Presisi, Recall, dan F1-Score terhadap empat model dasar. Hasil penelitian menunjukkan bahwa model embedding yang disempurnakan mencapai kinerja yang lebih tinggi daripada model asli, dengan nilai MRR@1 dan Recall@1 sebesar 0,80 dan AUC@100 sebesar 0,7023. Selain itu, teknik rekayasa prompt yang diusulkan menunjukkan ketahanan terhadap serangan injeksi prompt, sementara sistem RAG secara keseluruhan mencapai Presisi, Recall, dan F1-Score sempurna sebesar 1,00. Kesimpulannya, pendekatan yang diusulkan secara efektif meningkatkan akurasi pengambilan, kualitas embedding dan keamanan sistem, menghasilkan sistem FAQ berbasis RAG yang lebih andal untuk sertifikasi keamanan produk teknologi informasi.
Kata kunci: penyempurnaan embedding; model bahasa besar; rekayasa prompt; mitigasi injeksi prompt; retrieval-augmented generation
Abstract:Abstract: The rapid expansion of digital learning environments has increased students’ reliance on Learning Management Systems (LMS), including SPOT UPI. However, limited studies have examined the platform’s overall user…
user experience across all User Experience Questionnaire (UEQ) dimensions. This study aims to evaluate the user experience (UX) of SPOT UPI, identify its strengths and weaknesses, and provide recommendations for system improvement. A quantitative-dominant mixed-method design was applied, involving 81 student respondents for the UEQ survey and two participants for follow-up semi-structured interviews selected through purposive sampling. The UEQ data were analyzed to generate mean scores for six UX dimensions, while interview data were thematically analyzed to support the interpretation of quantitative findings. The results indicate that Perspicuity (1.05) and Efficiency (0.78) achieved the highest scores, reflecting adequate clarity and functionality. In Contrast, Stimulation (0.50) and Novelty (-0.15) were the lowest, indicating limited engagement and innovation. Overall, pragmatic quality (0.84) outperformed hedonic quality (0.17), suggesting that users value functionality more than enjoyment. In conclusion, SPOT UPI is generally usable but lacks aesthetic appeal, emotional engagement, and innovative features, highlighting the need for interface redesign and performance optimization to enhance the overall learning experience.
Keywords: learning management system; user experience; user experience questionnaire
Abstrak: Perkembangan pembelajaran digital membuat mahasiswa semakin bergantung pada Learning Management System (LMS), termasuk SPOT UPI. Meski digunakan secara luas, evaluasi pengalaman pengguna secara komprehensif berdasarkan seluruh dimensi User Experience Questionnaire (UEQ) masih belum banyak dilakukan. Penelitian ini bertujuan untuk mengevaluasi user experience (UX) pada SPOT UPI, mengidentifikasi keunggulan dan kelemahannya, serta memberikan rekomendasi perbaikan sistem. Penelitian menggunakan desain penelitian mixed-method dominan kuantitatif, melibatkan 81 responden pada survei UEQ dan dua partisipan pada wawancara semi-terstruktur yang dipilih melalui purposive sampling. Data UEQ dianalisis untuk memperoleh nilai rata-rata pada enam dimensi UX, sedangkan data wawancara dianalisis secara tematik untuk memperkaya interpretasi temuan kuantitatif. Hasil menunjukkan bahwa Perspicuity (1,05) dan Efficiency (0,78) menjadi dimensi dengan skor tertinggi, mencerminkan bahwa SPOT UPI mudah dipahami dan cukup membantu dalam menyelesaikan tugas. Sebaliknya, Stimulation (0,50) dan Novelty (-0,15) memperoleh skor terendah, menandakan rendahnya tingkat keterlibatan dan inovasi yang dirasakan pengguna. Secara keseluruhan, pragmatic quality (0,84) lebih tinggi dibandingkan hedonic quality (0,17), menunjukkan bahwa pengguna lebih mengutamakan aspek fungsional daripada kenyamanan emosional. Temuan tersebut mengindikasikan bahwa SPOT UPI sudah layak digunakan secara fungsional, tetapi masih memerlukan peningkatan pada interface, pengalaman visual, dan fitur inovatif agar dapat memberikan pengalaman belajar digital yang lebih menarik dan optimal.
Kata kunci: learning management system; pengalaman pengguna; user experience questionnaire
Abstract:Abstract: The rapid growth of the digital music industry requires accurate music genre classification systems to enhance user experience in streaming services. This study compares a domain-specific Long Short-Term Memory…
(LSTM) network with three Large Language Models (LLMs)—HuBERT, WavLM, and WAV2Vec 2.0—for Music Genre Classification (MGC). The LSTM model was trained using Mel-spectrograms transformed from the GTZAN dataset, while the LLMs were fine-tuned using a smaller set of raw audio samples due to computational constraints. All models were tested on datasets with identical genre labels to ensure a fair evaluation. Results show that the LSTM model achieved the highest accuracy of 97.10%, outperforming HuBERT (86.00%), WavLM (83.00%), and WAV2Vec 2.0 (80.00%). The LSTM demonstrated superior generalization and stability without overfitting, while the LLMs struggled to differentiate between genres with similar acoustic characteristics. These findings indicate that general-purpose pre-trained models, although powerful, are less effective in music-specific tasks due to domain mismatch. Therefore, incorporating music-specific features and architectures remains essential for achieving higher accuracy and reliability in automatic genre classification systems.
Keywords: audio large language models; comparative deep learning; music genre classification.
Abstrak: Pertumbuhan industri musik digital yang pesat menuntut sistem klasifikasi genre musik yang akurat untuk meningkatkan pengalaman pengguna dalam layanan streaming. Penelitian ini dilatarbelakangi oleh perkembangan pesat model pembelajaran mendalam, khususnya jaringan LSTM dan model bahasa berskala besar LLM seperti HuBERT, WavLM, dan WAV2Vec 2.0, yang telah menunjukkan kemampuan representasi audio yang kuat. Tujuan penelitian ini ini membandingkan jaringan Long Short-Term Memory (LSTM) khusus domain dengan tiga model Large Language Models (LLM)—HuBERT, WavLM, dan WAV2Vec 2.0—untuk tugas Klasifikasi Genre Musik (MGC). Metode penelitian melibatkan pelatihan LSTM menggunakan data Mel-spectrogram hasil transformasi dari dataset GTZAN, sementara LLM disesuaikan (fine-tuning) menggunakan data audio mentah dalam jumlah lebih kecil karena keterbatasan komputasi. Seluruh model diuji pada dataset dengan label genre yang sama untuk memastikan evaluasi yang adil. Hasil penelitian menunjukkan bahwa model LSTM mencapai akurasi tertinggi sebesar 97,10%, sedangkan model HuBERT, WavLM, dan WAV2Vec 2.0 masing-masing memperoleh 86,00%, 83,00%, dan 80,00%. Model LSTM menunjukkan kemampuan generalisasi yang lebih baik tanpa overfitting, sedangkan model LLM cenderung kesulitan membedakan genre dengan karakteristik akustik yang mirip. Kesimpulan penelitian ini adalah ketidaksesuaian domain secara signifikan membatasi performa model umum saat diterapkan pada tugas berbasis musik. Oleh karena itu, penggunaan fitur dan arsitektur khusus musik sangat penting dalam membangun sistem klasifikasi genre yang lebih akurat.
Kata kunci: klasifikasi genre musik; model bahasa besar; perbandingan pembelajaran mendalam.
Abstract:Abstract: Recommendation systems are becoming increasingly important with the growth of streaming platforms. The purpose of this study is to compare the performance of Content-Based Filtering, Neural Collaborative Filtering,…
ing, and a combination of both in a movie recommendation system. The method used in this study involves retrieving movie details from the TMDB API and ratings from the MovieLens 32M Dataset (2010-2023). Each model's performance is evaluated using evaluation metrics such as RMSE and MAE. The results of this study indicate that Neural Collaborative Filtering achieves the best prediction performance (RMSE = 0.785423, MAE = 0.581262), followed by the hybrid model (RMSE = 0.800863, MAE = 0.660872), while Content-Based Filtering produces low performance and limits the capabilities of the hybrid model. In conclusion, these findings highlight the superiority of latent feature-based models such as NCF that learn directly from user interaction patterns over content-based approaches in the context of modern recommendation systems.
Keywords: content-based filtering; hybrid filtering; movie recommendation; neural collaborative filtering.
Abstrak: Sistem rekomendasi menjadi semakin penting seiring berkembangnya platform streaming. Tujuan dari penelitian ini adalah membandingkan kinerja Content-Based Filtering, Neural Collaborative Filtering dan kombinasi keduanya dalam sistem rekomendasi film. Metode yang digunakan dalam penelitian ini melibatkan pengambilan detail film dari TMDB API dan rating dari dataset MovieLens 32M Dataset (2010-2023). Setiap peforma model dievaluasi dengan menggunakan metrik evaluasi seperti RMSE dan MAE. Hasil dari penelitian ini menunjukkan bahwa Neural Collaborative Filtering mencapai kinerja prediksi terbaik (RMSE = 0.785423, MAE = 0.581262), diikuti oleh model hybrid (RMSE = 0.800863, MAE = 0.660872), sementara Content-Based Filtering menghasilkankan peforma yang rendah dan membatasi kemampuan model hybrid. Kesimpulannya, penelitian ini menyoroti superiotas model berbasis latent feature seperti NCF yang belajar langsung dari pola interaksi pengguna dibandingkan pendekatan berbasis konten dalam konteks sistem rekomendasi modern.
Kata kunci: content-based filtering; hybrid filtering; neural collaborative filtering; rekomendasi film.
Abstract:Abstract: Face recognition based on deep learning has become an important technology in many areas. However, these systems often face challenges in real-world conditions, such as when the face is partially covered by accessories…
essories such as masks or glasses. This study aims to evaluate the effect of data augmentation by adding facial accessories (masks, glasses, and a combination of both) and geometric augmentation on the accuracy of face recognition systems. There are three types of datasets used in this method: the original dataset (category 1), the dataset with facial accessories augmentation (category 2), and the dataset with geometric augmentation (category 3). Data augmentation was performed on the training dataset to increase diversity, followed by the face detection process using SCRFD and feature extraction with ArcFace. The model was then trained using Multi-Layer Perceptron (MLP). Based on the results, adding face accessories (category 2) made the model a lot more accurate, hitting 99% accuracy. In category 3, adding geometric features improved accuracy to 91%. Other evaluation metrics, such as precision, recall, and F1-score, also showed improvement after augmentation. This study concludes that facial accessories augmentation is more effective in improving the accuracy and robustness of face recognition models compared to geometric augmentation.
Keywords: augmentation; deep learning; face recognition; glasses.
Abstrak: Pengenalan wajah berbasis deep learning telah menjadi salah satu teknologi penting dalam berbagai aplikasi. Namun, sistem ini sering kali menghadapi tantangan dalam kondisi dunia nyata, seperti saat wajah tertutup sebagian oleh aksesori seperti masker atau kacamata. Penelitian ini bertujuan untuk mengevaluasi pengaruh augmentasi data dengan menambahkan aksesori wajah (masker, kacamata, dan kombinasi keduanya) serta augmentasi geometris terhadap akurasi sistem pengenalan wajah. Metode yang digunakan melibatkan tiga kategori dataset: dataset asli tanpa augmentasi (kategori 1), dataset dengan augmentasi aksesoris wajah (kategori 2), dan dataset dengan augmentasi geometris (kategori 3). Augmentasi data dilakukan pada dataset pelatihan untuk meningkatkan keberagaman, diikuti dengan proses deteksi wajah menggunakan SCRFD dan ekstraksi fitur dengan ArcFace. Model kemudian dilatih menggunakan Multi-Layer Perceptron (MLP). Hasil penelitian menunjukkan bahwa augmentasi aksesoris wajah (kategori 2) memberikan peningkatan signifikan pada akurasi model, mencapai 99%, sedangkan kategori 3 dengan augmentasi geometris mencapai akurasi 91%. Metrik evaluasi lainnya, seperti precision, recall, dan F1-score, juga menunjukkan peningkatan setelah augmentasi. Penelitian ini menyimpulkan bahwa augmentasi aksesoris wajah lebih efektif dalam meningkatkan akurasi dan ketahanan model pengenalan wajah dibandingkan dengan augmentasi geometris.
Kata kunci: augmentasi; deep learning; kacamata; pengenalan wajah.
Abstract:Abstract: Mosques are places of jamaah and centers of social and economic activity for Muslims. Still, in the process of managing their activities, DKM administrators often face challenges related to efficiency, integration,…
ion, and transparency of information. This research aims to develop a web-based Mosque Management Information System (SIMMAS) that integrates the management of ZISWAF (zakat, infaq, sadaqah, waqf), qurban, inventory, activity information, and digital payments via QRIS. Using the Rapid Application Development (RAD) method, the system was designed to be developed quickly and in alignment with user needs. The evaluation was conducted using the Customer Satisfaction Index (CSI) approach, involving 60 respondents comprising mosque administrators and congregants. The results show that all SIMMAS services received CSI scores above 85%, indicating a high level of user satisfaction, particularly with the religious lecture scheduling feature. Nevertheless, there remains room for improvement, especially in the responsiveness and empathy aspects of financial and inventory services. This research is expected to serve as a foundation for the continued development of SIMMAS to become more effective, efficient, and digitally integrated in mosque management.
Keywords: user satisfaction; mosque information system; CSI; SIMMAS; ZISWAF
Abstrak: Masjid merupakan tempat ibadah, pusat aktivitas sosial dan ekonomi umat Islam, namun dalam proses pengelolaan kegiatannya, pengurus dkm kerap menghadapi tantangan terkait efisiensi, integrasi, dan transparansi informasi Penelitian ini bertujuan untuk mengembangkan Sistem Informasi Manajemen Masjid (SIMMAS) berbasis web yang mengintegrasikan pengelolaan ZISWAF, qurban, inventaris barang, informasi kegiatan, serta pembayaran digital melalui QRIS. Dengan menerapkan metode Rapid Application Development (RAD), sistem ini dirancang agar dapat dikembangkan secara cepat dan sesuai dengan kebutuhan pengguna. Evaluasi dilakukan menggunakan pendekatan Customer Satisfaction Index (CSI), yang melibatkan 60 responden dari kalangan pengurus dan jamaah masjid. Hasil evaluasi menunjukkan bahwa seluruh layanan SIMMAS memperoleh nilai CSI di atas 85%, mencerminkan tingkat kepuasan yang tinggi, khususnya pada fitur jadwal kajian. Meski demikian, masih terdapat ruang untuk perbaikan, terutama pada aspek responsivitas dan empati dalam layanan keuangan dan pengelolaan inventaris. Penelitian ini diharapkan dapat menjadi dasar pengembangan berkelanjutan SIMMAS dalam mendukung tata kelola masjid yang lebih efektif, efisien, dan berbasis digital.
Kata Kunci: kepuasan pengguna; sistem informasi masjid; CSI; SIMMAS; ZISWAF
Abstract:Abstract: The PPKS task force at Universitas Amikom Purwokerto has been established and is actively implementing various programs. However, complaints regarding cases of sexual violence are currently managed through WhatsApp,…
sApp, with limited guidance on the complaint procedures. As a result, many students are unaware of the PPKS task force or how to report incidents, creating obstacles for both the task force in identifying cases and for students seeking to file complaints. This study aims to provide students with an effective and accessible way to report incidents of sexual violence on campus. To develop the complaint information system, the Scrum methodology was used, involving team collaboration to easily adapt to changes throughout the development process. The resulting complaint information system for the prevention and handling of sexual violence has been successfully implemented and tested with students at Universitas Amikom Purwokerto. This system enables students to submit complaints seamlessly online. Testing results indicate that the system functions as intended and meets the expected outcomes.
Keywords: information system; PPKS; complaint; student; scrum
Abstrak: Satuan tugas PPKS Universitas Amikom Purwokerto sudah berjalan dan membuat program kerja, namun dalam proses pengaduan kasus kekerasaan seksual saat ini hanya menggunakan whatsapp dan kurangnya penjelasan tentang prosedur pengaduan yang ada. Banyak mahasiswa yang belum mengetahui adanya satgas PPKS di kampus dan cara pengaduan kasus. Hal tersebut menjadi kendala bagi satuan tugas PPKS dalam mengetahui kasus yang ada dan mahasiswa saat ingin melakukan pengaduan kasus. Oleh karena itu, dibutuhkan sebuah sarana yang efektif dan mudah diakses bagi mahasiswa untuk melakukan pengaduan kasus apabila mahasiswa mengetahui tentang adanya kekerasaan seksual di lingkungan kampus. Tujuan Penelitian adalah untuk membantu memudahkan mahasiswa dalam melakukan aduan tentang adanya kasus kekerasaan seksual di lingkungan Universitas Amikom Purwokerto. Metode dalam pengembangan sistem adalah metode Scrum. Metode Scrum melibatkan keseluruhan tim yang ada di organisasi. Dengan adanya keterlibatan ini maka mudah dalam mengantisipasi perubahan yang terjadi selama pengembangan sistem. Sistem informasi pengaduan pencegahan dan penanganan tindak kekerasan seksual berhasil di terapkan dan diujikan kepada Mahasiswa Universitas Amikom Purwokerto. Dengan adanya sistem informasi pengaduan ini mahasiswa dapat dengan mudah dalam membuat aduan berbasis sistem. berdasarkan daftar uji yang dilakukan terhadap sistem yang dibuat maka dapat disimpulkan bahwa skenario yang diujikan sesuai dengan hasil yang diharapan.
Kata kunci: sistem informasi; PPKS; pengaduan; mahasiswa; scrum
Abstract:Abstract: The development of Internet of Things (IoT) technology has significantly impacted life, particularly in creating more efficient and secure smart homes. Smart homes integrate various electronic devices to enhance…
e comfort and energy efficiency. However, cost, integration complexity, and security issues remain. This study will simulate an IoT-based smart home system to analyse and evaluate device performance before real-world implementation. The simulation method involves testing connectivity and evaluating delay and packet loss using the ping method on each device. Results show the highest delay on CCTV devices at 41.8 ms and the lowest on motion detector 2 at 32.8 ms, with 0% packet loss. According to TIPHON standards, the network is rated excellent with an index of 4. The designed smart home system demonstrates optimal performance and is feasible for implementation but requires further development in configuration using AI and machine learning technologies.
Keywords: internet of things; simulation; smart home; testing
Abstrak: Perkembangan teknologi Internet of Things (IoT) telah membawa perubahan signifikan dalam kehidupan, terutama dalam pengembangan rumah pintar (smart home) yang lebih efisien dan aman. Smart home mengintegrasikan berbagai perangkat elektronik untuk meningkatkan kenyamanan dan efisiensi energi. Meskipun demikian, tantangan seperti biaya, kompleksitas integrasi, dan isu keamanan masih ada. Penelitian ini bertujuan untuk mensimulasikan sistem smart home berbasis IoT guna menganalisis dan mengevaluasi kinerja perangkat sebelum implementasi nyata. Metode simulasi yang digunakan melibatkan pengujian konektivitas dan evaluasi delay serta packet loss dengan metode ping pada setiap perangkat. Hasil menunjukkan delay tertinggi pada perangkat CCTV sebesar 41.8 ms dan terendah pada motion detector 2 sebesar 32.8 ms, dengan packet loss 0%. Berdasarkan standar TIPHON, jaringan dinilai sangat baik dengan indeks 4. Sistem smart home yang dirancang menunjukkan kinerja optimal dan layak diimplementasikan, namun masih memerlukan pengembangan lebih lanjut dalam konfigurasi menggunakan teknologi AI dan machine learning.
Keywords: internet of things; pengujian; simulasi; smart home
Abstract:Abstract: Mobile phones, as essential telecommunication devices today, are equipped with numerous features. The plethora of mobile phone models, especially gaming phones, requires consumers to be discerning in choosing a…
phone for everyday use. The problem is that many consumers do not understand how to purchase a phone that meets their specific criteria. The specifications that must be considered when selecting a gaming phone that fits within a budget and meets criteria include performance or specifications, screen quality, battery life, RAM, network connectivity, and price. A decision support system is a part of information systems designed to facilitate decision-making processes based on data or common everyday problems. The Weighted Product (WP) method is typically used in decision-making that involves multiple criteria to be considered simultaneously. Based on the WP method calculations, it was found that the recommended smartphone alternative is determined by the highest vector value (V) ranking according to user-defined criteria. The analysis results indicate that the recommended smartphone alternative is Alternative 1 with a score of 0.376, which is the Infinix GT 10 Pro, due to its comparable specifications to other models but with a more affordable price."
Keywords: decision support systems ; gaming cellphone; recommendation
Abstrak: Handphone sebagai perangkat telekomunikasi yang menjadi kebutuhan utama saat ini sudah dilengkapi dengan banyak fitur. Banyaknya keluaran jenis handphone khususnya handphone untuk game membuat konsumen harus pintar memilih handphone yang dapat digunakan setiap harinya Permasalahannya adalah konsumen banyak yang tidak paham bagaimana membeli handphone sesuai kriteria yang cocok. Adapun spesifikasi yang harus di saat akan memilih jenis handphone game yang sesuai dengan budget dan kriteria diantaranya adalah perfoma atau spesifikasi, tingkat kualitas layar, daya tahan batrai, RAM, koneksi jaringan, dan harga. Sistem pendukung keputusan merupakan bagian dari sistem informasi yang digunakan untuk memudahkan proses pengambilan keputusan berdasarkan data atau permasalahan yang sering ditemui dalam kehidupan sehari-hari. Metode Weighted Product umumnya digunakan dalam pengambilan keputusan yang melibatkan banyak kriteria yang harus dipertimbangkan secara bersamaan. Berdasarkan proses perhitungan dengan metode WP maka didapatkan bahwa alternatif smartphone yang direkomendasikan untuk dipilih adalah smartphone yang ditentukan berdasarkan peringkat nilai vektor (V) tertinggi sesuai dengan kriteria yang ditetapkan oleh pengguna. Hasil analisis menunjukkan bahwa alternatif smartphone yang direkomendasikan adalah Alternatif 1 dengan skor 0.376, yaitu Infinix GT 10 Pro karena memiliki spesifikasi yang hampir setara dengan yang lain namun dengan harga yang lebih terjangkau.
Kata kunci: handphone game; sistem penunjang keputusan; rekomendasi
Abstract:Abstract: Today, many users use online platforms rather than offline platforms for ticket bookings, involving a wide range of services such as flights, hotels, trains, buses, and entertainment. PegiPegi.com, as one of the…
e fastest growing online travel agencies in Indonesia, demonstrates success by understanding the value of technology and maintaining strong partnerships. Users of this platform often provide reviews, viewing user reviews can be done manually but this will have a less effective impact, so it needs to be done automatically with sentiment analysis. This research the Naïve Bayes method in sentiment analysis of PegiPegi.com reviews, with a focus on understanding customer satisfaction and service improvement. By combining these approaches, this research contributes to a deeper understanding of user responses to OTA services and presents the evaluation results of the Multinomial Naive Bayes classification model with an accuracy rate of 89.5%. The high precision in the Negative class demonstrates the model's ability to identify negative reviews. However, there are challenges in classifying the Neutral class, indicating the potential for further improvement. Nevertheless, the F1 score of 0.522 reflects a good balance between overall precision, recall so it can be concluded the naïve bayes algorithm is successful for performing sentiment analysis.
Keywords: Sentiment analysis; naïve bayes algorithm; pegipegi.com; playstore
Abstract: Saat ini banyak pengguna platform online dibandingkan offline untuk pemesanan tiket, yang melibatkan berbagai layanan seperti penerbangan, hotel, kereta api, bus, dan hiburan. PegiPegi.com, sebagai salah satu agen perjalanan online yang berkembang pesat di Indonesia, menunjukkan keberhasilan dengan memahami nilai teknologi dan mempertahankan kemitraan yang kuat. Pengguna platform ini sering memberikan ulasan, melihat ulasan pengguna bisa saja dilakukan secara manual tetapi hal ini akan memberikan dampak yang kurang efektif, sehingga perlu dilakukan secara otomatis dengan analisis sentiment. Penelitian ini bertujuan untuk menerapkan metode klasifikasi Naïve Bayes dalam analisis sentimen ulasan PegiPegi.com, dengan fokus pada pemahaman kepuasan pelanggan dan peningkatan layanan. Dengan menggabungkan pendekatan ini, penelitian ini berkontribusi pada pemahaman yang lebih dalam tentang tanggapan pengguna terhadap layanan OTA dan menyajikan hasil evaluasi model klasifikasi Multinomial Naive Bayes dengan tingkat akurasi 89,5%. Presisi tinggi di kelas Negatif menunjukkan kemampuan model untuk mengidentifikasi ulasan negatif. Namun, ada tantangan dalam mengklasifikasikan kelas Netral, menunjukkan potensi untuk perbaikan lebih lanjut. Namun demikian, skor F1 0,522 mencerminkan keseimbangan yang baik antara presisi keseluruhan dan daya ingat sehingga dapat disimpulkan algoritma naïve bayes berhasil untuk melakukan analisis sentimen.
Keywords: Analisis sentimen; naïve bayes; pegipegi.com; playstore