Abstract:Abstract: This study discusses the optimization of RAG for a FAQ system in the field of information technology product security certification at BSSN. Although LLM generate reliable responses, they often lack up-to-date…
and domain-specific knowledge, which can be addressed through the RAG approach. This research aims to optimize a domain-specific RAG system by improving embedding performance, enhancing prompt robustness, and increasing retrieval accuracy. The research methods consist of three stages. The first stage involves fine-tuning the bge-m3 embedding model and evaluating its performance using MRR, Recall, and AUC. The second stage applies prompt engineering techniques, namely the SRSM and Autodefense, to mitigate direct-injection and escape-character prompt injection attacks. The third stage evaluates the proposed RAG system using Precision, Recall, and F1-Score metrics against four baseline models. The results of research show that the fine-tuned embedding model achieves higher performance than the original model, with MRR@1 and Recall@1 values of 0.80 and an AUC@100 of 0.7023. In addition, the proposed prompt engineering techniques demonstrate robustness against prompt injection attacks, while the overall RAG system attains a perfect Precision, Recall, and F1-Score of 1.00. In conclusion, the proposed approach effectively enhances retrieval accuracy, embedding quality, and system security, resulting in a more reliable RAG-based FAQ system for information technology product security certification.
Keywords: embedding fine-tuning; large language model; prompt engineering; prompt injection mitigation; retrieval-augmented generation
Abstrak: Studi ini membahas optimasi RAG untuk sistem FAQ di bidang sertifikasi keamanan produk teknologi informasi di BSSN. Meskipun LLM menghasilkan respons yang andal, mereka seringkali kurang memiliki pengetahuan terkini dan spesifik domain, yang dapat diatasi melalui pendekatan RAG. Penelitian ini bertujuan untuk mengoptimalkan sistem RAG spesifik domain dengan meningkatkan kinerja embedding, meningkatkan ketahanan prompt dan meningkatkan akurasi pengambilan. Metode penelitian terdiri dari tiga tahap. Tahap pertama melibatkan fine-tuning model embedding bge-m3 dan mengevaluasi kinerjanya menggunakan Mean Reciprocal Rank (MRR), Recall, dan AUC. Tahap kedua menerapkan teknik rekayasa prompt, yaitu Self- SRSM dan Autodefense, untuk mengurangi serangan direct-injection dan escape-character prompt injection. Tahap ketiga mengevaluasi sistem RAG yang diusulkan menggunakan metrik Presisi, Recall, dan F1-Score terhadap empat model dasar. Hasil penelitian menunjukkan bahwa model embedding yang disempurnakan mencapai kinerja yang lebih tinggi daripada model asli, dengan nilai MRR@1 dan Recall@1 sebesar 0,80 dan AUC@100 sebesar 0,7023. Selain itu, teknik rekayasa prompt yang diusulkan menunjukkan ketahanan terhadap serangan injeksi prompt, sementara sistem RAG secara keseluruhan mencapai Presisi, Recall, dan F1-Score sempurna sebesar 1,00. Kesimpulannya, pendekatan yang diusulkan secara efektif meningkatkan akurasi pengambilan, kualitas embedding dan keamanan sistem, menghasilkan sistem FAQ berbasis RAG yang lebih andal untuk sertifikasi keamanan produk teknologi informasi.
Kata kunci: penyempurnaan embedding; model bahasa besar; rekayasa prompt; mitigasi injeksi prompt; retrieval-augmented generation
Abstract:Abstract: Higher education plays an essential role in improving human resource quality, one of which is through the institution’s ability to monitor and predict student graduation outcomes. This study does not focus on a…
a specific university but utilizes the publicly available Students Performance in Exams dataset from Kaggle, consisting of 1,000 student records containing mathematics, reading, and writing scores, along with demographic attributes such as gender, parental education level, lunch type, and test preparation participation. The data were processed through a feature engineering stage by adding an average score variable as an early indicator of graduation status. A predictive model was developed using the Random Forest Classifier, achieving an accuracy of 94.5%. The final model was integrated into a Streamlit-based web application to provide an accessible tool for academic stakeholders. The results indicate that the proposed model can serve as an effective decision-support tool for early evaluation of students’ likelihood of graduation.
Keywords: prediction; random forest classifier, streamlit, student graduation.
Abstrak: Pendidikan tinggi memegang peran penting dalam peningkatan kualitas sumber daya manusia, salah satunya melalui kemampuan institusi dalam memantau dan memprediksi tingkat kelulusan mahasiswa. Penelitian ini tidak berfokus pada perguruan tinggi tertentu, melainkan menggunakan dataset publik Students Performance in Exams dari Kaggle yang berisi 1.000 data mahasiswa, terdiri atas nilai matematika, membaca, menulis, serta atribut demografis seperti gender, tingkat pendidikan orang tua, jenis makan siang, dan partisipasi kursus persiapan. Data diolah melalui tahap feature engineering dengan menambahkan variabel average score sebagai indikator awal kelulusan. Model prediksi dibangun menggunakan algoritma Random Forest Classifier, yang menghasilkan tingkat akurasi sebesar 94,5%. Model ini kemudian diimplementasikan ke dalam aplikasi web berbasis Streamlit untuk memberikan layanan prediksi yang mudah diakses oleh pihak akademik. Hasil penelitian menunjukkan bahwa model mampu digunakan sebagai alat pendukung keputusan untuk melakukan evaluasi dini terhadap potensi kelulusan mahasiswa.
Kata kunci: kelulusan mahasiswa; prediksi; random forest classifier; streamlit.
Abstract:Abstract: This study aims to develop a Deep Learning-based Traffic Flow Detector to automatically and accurately observe traffic flow. Conventional traffic observation is often conducted manually or via CCTV, but it is prone…
rone to human error and difficult to use for real-time trend analysis. In this study, the YOLOv4 method is used to detect four types of vehicles (cars, motorcycles, buses, trucks). To continuously track vehicle movement and address occlusion issues, the Deep SORT algorithm is implemented. The YOLOv4 model used is a pre-trained model and was tested on seven CCTV video recordings obtained from the official website of the Pekanbaru City Transportation Department. The system was implemented on a limited device, the Nvidia Jetson Nano, as a simulation of direct CCTV integration. Test results showed a highest precision of 98%, but the maximum accuracy achieved was only 26%. This low accuracy is influenced by several factors, including video resolution, detection model quality, and lighting conditions. Nevertheless, the system demonstrates potential to support future traffic management and engineering decisions but still requires further optimization, including improving video resolution and quality, retraining the model with a more representative local dataset, using lighter and more accurate detection models, and optimizing the tracking algorithm.
Keywords: deep learning; deepsort; NVIDIA Jetson NANO; traffic flow; YOLOv4
Abstrak: Penelitian ini bertujuan mengembangkan Traffic Flow Detector berbasis Deep Learning untuk mengobservasi arus lalu lintas secara otomatis dan akurat. Observasi lalu lintas konvensional sering dilakukan secara manual atau melalui CCTV, namun rentan terhadap human error dan sulit digunakan untuk menganalisis tren secara real-time. Pada penelitian ini digunakan metode YOLOv4 untuk mendeteksi empat jenis kendaraan (mobil, motor, bus, truk). Untuk melacak pergerakan kendaraan secara berkelanjutan dan mengatasi masalah occlusion, digunakan algoritma Deep SORT. Model YOLOv4 yang digunakan merupakan pre-trained model dan diujikan pada tujuh rekaman video CCTV yang diambil dari situs resmi Dinas Perhubungan Kota Pekanbaru. Sistem ini diimplementasikan pada perangkat terbatas Nvidia Jetson Nano sebagai simulasi penerapan langsung pada CCTV. Hasil pengujian menunjukkan presisi tertinggi mencapai 98%, namun akurasi tertingginya hanya sebesar 26%. Rendahnya akurasi dipengaruhi oleh beberapa faktor seperti resolusi video, kualitas model deteksi, serta kondisi pencahayaan. Meski demikian, sistem ini menunjukkan potensi untuk membantu pengambilan keputusan dalam manajemen dan rekayasa lalu lintas di masa depan, namun masih membutuhkan optimasi lebih lanjut, seperti peningkatan kualitas video input, pelatihan ulang model dengan dataset lokal, penggunaan model deteksi yang lebih ringan dan akurat serta pengoptimalan algoritma pelacakan.
Kata kunci: deep learning deepsort; Nvidia Jetson Nano; traffic flow; YOLOv4
Abstract:Abstract: Program Indonesia Pintar (PIP) is government assistance program aimed at supporting the education of underprivileged students. However, some PIP fund recipients are misallocated, with aid given to students who…
do not fully meet the eligibility criteria, while those in greater need don’t receive it, including at SDN 014672 Tanjung Alam, Asahan Regency, North Sumatra Province. Based on this issue, a structured system is needed. The purpose of this study is to construct decision support systems for determining PIP fund recipients using Additive Ratio Assessment (ARAS) method. Data was collected using questionnaires, documentation, and observation techniques. Respondents consisted of 8 students from SDN 014672 Tanjung Alam. Criteria include number of dependents, homeownership status, attendance rate, and students final grades. System was developed using CodeIgniter 3 as framework, MySQL as database software, and InnoDB as database engine. ARAS method was applied to rank available alternatives. Based on calculations, first rank was obtained by alternative 6 (Malika Hendra As-Syifa), second rank by alternative 7 (Mutia Indah Sari), and third rank by alternative 8 (Rafa Kavindra). This study is expected to be further developed by applying other DSS methods, performing regular system maintenance, and integrating system with school data to improve accuracy and usability.
Keywords: additive ratio assessment; decision support system; smart indonesia program.
Abstrak: Program Indonesia Pintar (PIP) merupakan bantuan pemerintah untuk mendukung pendidikan siswa kurang mampu. Namun, masih ditemukan penerima anggaran PIP yang kurang tepat sasaran, di mana bantuan diberikan kepada siswa yang kurang memenuhi kriteria, sementara siswa yang lebih membutuhkan tidak menerimanya, termasuk di SDN 014672 Tanjung Alam, Kabupaten Asahan, Provinsi Sumatera Utara. Berdasarkan permasalahan tersebut, dibutuhkan sebuah sistem terstruktur. Tujuan penelitian ini untuk membangun sistem pendukung keputusan penetapan pemeroleh anggaran PIP menggunakan metode Additive Ratio Assessment (ARAS). Data dikumpulkan dengan teknik angket, dokumentasi, dan observasi. Responden adalah 8 siswa SDN 014672 Tanjung Alam. Kriteria meliputi jumlah tanggungan orang tua, status kepemilikan rumah, tingkat kehadiran, dan nilai akhir siswa. Sistem dirancang menggunakan CodeIgniter 3 sebagai framework, MySQL sebagai database software, dan InnoDB sebagai database engine. Perhitungan dengan metode ARAS digunakan untuk merangking alternatif yang ada. Berdasarkan perhitungan yang dilakukan, peringkat pertama diperoleh oleh alternatif 6 yakni Malika Hendra As-Syifa, peringkat kedua diperoleh oleh alternatif 7 yakni Mutia Indah sari, dan peringkat ketiga diperoleh oleh alternatif 8 yakni Rafa Kavindra. Penelitian ini diharapkan dapat dikembangkan lebih lanjut dengan menerapkan metode Sistem Pendukung Keputusan (SPK) lainnya, melakukan pemeliharaan sistem secara berkala, serta mengintegrasikan sistem dengan data sekolah untuk meningkatkan keakuratan dan kemudahan penggunaan.
Kata kunci: additive ratio assessment; program indonesia pintar; sistem pendukung keputusan
Abstract:Abstract: Based on observations and analysis of the current information system and website of the Unilak waste bank, it can be concluded that it is necessary to develop the software and information management system of this…
his waste bank. The application does not yet support the transaction needs at the waste bank. Although there are features, they don’t run as they should. This was also complained about by the director and staff of the Unilak waste bank. Therefore, this study was conducted to design a waste bank transaction management information system and software that will support its business processes, starting from calculating waste prices, managing customer savings to final reports. The research method used is qualitative, using information system analysis techniques and websites that are currently running at the Unilak waste bank. While for the SDLC (software development life cycle) development method, the XP Agile Methodologies cycle is used which is simpler and can be completed in a short time. There are 4 stages, namely Planning (requirements), design, implementation and testing. This study resulted in a customer transaction system design and software development that can help manage customer transaction activities at the Unilak waste bank.
Keywords: costumer; savings; software engineering; waste bank.
Abstrak: Berdasarkan observasi dan analisis terhadap sistem informasi dan website bank sampah Unilak yang berjalan saat ini, dapat disimpulkan bahwa perlu dilakukan pengembangan terhadap perangkat lunak maupun sistem informasinya. Aplikasi belum mendukung kebutuhan transaksi di bank sampah. Meskipun ada fitur-fiturnya, namun tidak berjalan sebagaimana mestinya. Hal ini juga dikeluhkan oleh direktur dan pengelola bank sampah Unilak. Maka penelitian ini dilaksanakan untuk merancang sistem informasi transaksi nasabah bank sampah dan perangkat lunak yang akan mendukung proses bisnisnya, yaitu mulai dari perhitungan harga sampah, pengelolaan tabungan nasabah hingga laporan akhir. Metode penelitian yang digunakan adalah kualitatif, menggunakan teknik analisis sistem informasi dan website yang sedang berjalan di bank sampah Unilak. Sedangkan untuk metode pengembangan SDLC (software development life cycle) menggunakan siklus XP Agile Methodologies yang lebih sederhana dan bisa diselesaikan dalam waktu singkat. Terdapat 4 tahap yaitu planning (requirements), analys, design, dan implementation. Penelitian ini menghasilkan rancangan sistem transaksi nasabah dan pengembangan perangkat lunak yang dapat membantu pengelolaan aktivitas transaksi nasabah di bank sampah Unilak.
Kata kunci: bank sampah; nasabah; rekayasa perangkat lunak; tabungan.
Abstract:Abstract: Used motorbikes are motorized vehicles that are used by many people in various cicles. For someone who is a prospective buyer of a used motorbike, before coming to the place of puchase they have several choices…
based on several criteria that have been determined according to the used motorbike they want to buy. A problem that often occurs for prospective buyers is the difficulty in determination which used motorbike is superior from several choices based on predetermined criteria. This results in potential buyers feeling confused in making their choice. The difficulty in determining used motorbikes is the reason this research was conducted. In this case, the decision support system will be used as a tool in providing superior used motorbike choices for potential buyers. The method offered in this research is to use a combination of the CoCoSo and SAW algorithms. The criteria for determination a used motorbike consist of 8 criteria namely mileage, price, brand, accessories, tire condition, body condition, engine condition and completeness of documents. In the results of this decision support system research, ranking results using a combination of CoCoSo and SAW methods show that the red Suzuki F1 alternative (A39) is ranked with the highest score.
Keywords: combined compromise solution; decision support system; simple additive weighting
Abstrak: Sepeda motor bekas merupakan kendaraan bermotor yang digunakan oleh sebagian banyak masyarakat dalam berbagai kalangan. Bagi seseorang calon pembeli sepeda motor bekas, sebelum datang ke tempat pembelian mereka memiliki beberapa ketentuan pilihan yang berdasarkan pada beberapa kriteria yang telah ditentukan sesuai dengan sepeda motor bekas yang ingin dibeli. Permasalahan yang sering kali terjadi bagi calon pembeli ialah kesulitan dalam menentukan sepeda motor bekas mana yang unggul dari beberapa alternatif pilihan berdasarkan kriteria yang telah ditentukan sebelumnya. Hal ini mengakibatkan, calon pembeli merasa kebingungan dalam menentukan pilihannya. Kesulitan dalam penentuan sepeda motor bekas tersebut menjadi alasan penelitian ini dilakukan. Dalam hal ini sistem pendukung keputusan akan digunakan sebagai alat bantu dalam memberikan pilihan sepeda motor bekas yang unggul bagi calon pembeli. Metode yang ditawarkan dalam penelitian ini yaitu dengan menggunakan kombinasi algoritma CoCoSo dan SAW. Kriteria-kriteria dalam penentuan sepeda motor bekas terdiri dari 8 kriteria yaitu jarak tempuh, harga, merek, aksesoris, kondisi ban, kondisi body, kondisi mesin dan kelengkapan surat. Dalam hasil penelitian sistem pendukung keputusan ini, memberikan hasil perangkingan dengan kombinasi metode CoCoSo dan SAW menunjukkan bahwa alternatif Suzuki F1 merah (A39) adalah peringkat dengan nilai tertinggi.
Kata kunci : combined compromise solution; simple additive weighting; sistem pendukung keputusan
Abstract:Abstract: The Healthy Food Supplier App, which introduces groundbreaking innovations to increase public access to and delivery of healthy food, has emerged as a new phenomenon in the food sector. This research intends to…
examine and describe how the use of healthy food suppliers contributes to improving public health by making healthy food accessible to obtain and deliver it quickly. The development of mobile applications with the aim of providing healthy food and ingredients for the community is the subject of this research. The aim of this app is to provide original responses to issues related to raising awareness of quality of life and the value of nutritious food in everyday life. The User Centered Design (UCD) method needs to be applied to categorize various user information needs and package them into a mobile application design model. The results of the application design showed that the interface design for the pioneer food and health food raw material application was successfully created using the implementation of the UCD method with a number of revisions that have been updated since the evaluation as one of the feature developments in the application. The food recording feature and personalized recommendations implemented in this mobile application provide users with awareness and guidance in adopting healthier eating patterns.
Keywords: Design Interface; Mobile Applications; Requirements Engineering; User-Centered Design
Abstrak: Aplikasi Pemasok Makanan Sehat yang memperkenalkan inovasi terobosan untuk meningkatkan akses publik ke dan pengiriman makanan sehat, telah muncul sebagai fenomena baru di sektor makanan. Penelitian ini bermaksud untuk mengkaji dan mendeskripsikan bagaimana penggunaan pemasok makanan sehat berkontribusi dalam peningkatan kesehatan masyarakat dengan membuat makanan sehat dapat diakses untuk mendapatkan dan mengantarkannya dengan cepat. Pengembangan aplikasi mobile dengan tujuan menyediakan makanan dan bahan makanan sehat bagi masyarakat menjadi pokok bahasan penelitian ini. Tujuan dari aplikasi ini adalah untuk memberikan tanggapan orisinal terhadap masalah yang terkait dengan peningkatan kesadaran kualitas hidup dan nilai makanan bergizi dalam kehidupan sehari-hari. Metode User Centered Design (UCD) perlu diterapkan untuk mengkategorikan berbagai kebutuhan informasi pengguna dan mengemasnya ke dalam model desain aplikasi mobile. Hasil perancangan aplikasi didapatkan bahwa desain antarmuka aplikasi pelopor makanan dan bahan baku makanan kesehatan berhasil dibuat dengan menggunakan implementasi metode UCD dengan sejumlah revisi yang sudah diperbarui sejak evaluasi sebagai salah satu pengembangan fitur pada aplikasi. Fitur pencatatan makanan dan rekomendasi personal yang diterapkan pada aplikasi mobile ini memberikan pengguna kesadaran dan panduan dalam mengadopsi pola makan yang lebih sehat.
Kata Kunci: Design Interface; Mobile Applications; Requirements Engineering; User-Centered Design
Abstract:Abstract: Motorcycles are the main and affordable choice for the majority of Indonesian people, two-wheeled vehicles are chosen as the transportation that is commonly used. Indonesia has many motorcycle users, in 2019 there…
ere were 112,771,136 units. In 2020 there were 115. 023. 039 units, and in 2021 there were 120 .042 .298 units. The many motorcycles, increasing the theft of motorcycles (curanmor), and accidents caused by underage use. The purpose of conducting research to minimize theft, and the use of motorbikes by minors, this research uses quantitative methods. The results of the study found that when the user places the KTP on RC522, the condition of relay 1 will become NC to turn on the motorcycle's ignition system, then relay 2 will turn on the motorcycle's starter for 5 seconds, then it will turn off automatically. for relays, arduino provides pure 5VDC voltage. The conclusion from this study , RFID cards and KTP is have different serials, and different numbers, RFID cards have a serial combination of 9 numbers and letters, while KTP has a serial combination of 27 numbers and letters.
Keywords: KTP; microcontroller arduino; sepeda motor; start enggine.
Abstrak : Sepeda motor menjadi pilihan utama dan terjangkau untuk mayoritas masyarakat Indonesia, kendaraan roda dua dipilih sebagai transportasi yang umum digunakan. Indonesia memiliki banyak pengguna sepeda motor, tahun 2019 sebanyak 112. 771. 136 unit. Tahun 2020 sebanyak 115. 023. 039 unit, dan tahun 2021 sebanyak 120 .042 .298 unit. Banyak nya sepeda motor, meningkatkan pencurian sepeda motor (curanmor), dan kecelakaan yang diakibatkan penggunaan dibawah umur. Tujuan dilakukannya penelitian untuk meminimalisir curanmor, dan pemakaian sepeda motor oleh anak dibawah umur, penelitian ini menggunakan metode kuantitatif. Hasil penelitian mendapati ketika user meletakan KTP pada RC522, maka kondisi relay 1 akan menjadi NC untuk menyalakan sistem pengapian sepeda motor, kemudian relay 2 akan menyalakan stater sepeda motor selama 5 detik, kemudian akan mati secara otomatis. untuk relay, arduino memberikan tegangan 5VDC murni. Kesimpulan dari penelitian ini,kartu RFID dan KTP memiliki serial yang berbeda, dan jumlah yang berbeda, kartu RFID memiliki serial kombinasi 9 angka dan huruf, sementara untuk KTP memiliki serial kombinasi 27 angka dan huruf.
Kata Kunci : KTP; microcontroller arduino; sepeda motor; start enggine.
Abstract:Abstract : Air conditioner is an important component in a room nowadays. Due to its function as a regulator of air circulation in a room that was previously hot and stuffy, it becomes cool and comfortable. STMIK Royal Kisaran…
saran which is one of the tertiary institutions in the field of computers which has lots of air conditioners in each room, both in the theory room and in the laboratory room. Where the control and monitoring is still done manually, namely through a switch or remote control . This becomes a problem that arises when there is negligence in extinguishing it or in the ignition process. So we need a system that can turn on the air conditioner in every theoretical room or laboratory room remotely. So that the work feels lighter and more effective. In designing this control system, a NodeMCU ESP8266 module is used, which acts as the brain of the remote control system and with a DHT11 temperature sensor that can monitor room temperature. The IR Transmitter sensor acts as a connecting medium between the NodeMCU ESP8266 module and the Air Conditioner engine to regulate the temperature. So that in this way, this control system can make it easier for officers to control the Air Conditioner in the STMIK Royal campus room.
Keywords : air conditioners; dht11; internet of things; nodeMCU esp8266.
Abstrak: Air conditioner merupakan sebuah komponen penting pada suatu ruang di jaman sekarang ini. Dikarenakan fungsinya sebagai pengatur sirkulasi udara di dalam ruangan yang sebelumnya panas dan pengap menjadi sejuk dan nyaman. STMIK Royal Kisaran yang merupakan salah satu perguruan tinggi dibidang komputer yang memiliki banyak sekali air conditioner di setiap ruangannya, baik pada ruang teori serta diruang laboratorium. Di mana pada pengontrolan dan pemantauannya masih secara manual, yaitu melalui sakelar atau remot kontrol. Hal ini menjadi satu persoalan yang timbul ketika terjadi kelalaian dalam memadamkannya ataupun dalam proses penyalaannya. Sehingga dibutuhkan sebuah sistem yang dapat menyalakan air conditioner di setiap ruang teori maupun ruang laboratorium dengan jarak jauh. Sehingga pekerjaan tersebut teras lebih ringan dan efektif. Dalam perancangan sistem kendali ini digunakan sebuah modul NodeMCU ESP8266, yang berperan sebagai otak dari sistem pengendalian secara jarak jauh dan dengan sensor suhu DHT11 yang dapat memantau temperatur suhu ruangan. Sensor IR Transmitter sebagai media penghubung antara modul NodeMCU ESP8266 ke mesin Air Conditioner untuk mengatur temperatur suhu. Sehingga dengan demikian, sistem kendali ini dapat mempermudah petugas dalam mengontrol Air Conditioner di ruangan kampus STMIK Royal.
Kata kunci : air conditioner; dht11; internet of things; nodeMCU esp8266.
Abstract:Abstract: Generating caption image automatically is one of the challenges in computer vision. This field can be very helpful in many ways, for example search engines. Currently there are many image classification algorithms…
hms that we can use to create a caption image model. In this article, we will compare performance between the Resnet50 and InceptionV3 models for text images. We will use 2000 (1800 train & 200 validation) image data and each image has 5 example captions to train the model. After the model is successfully created, we evaluate the model using 100 images and each image has 5 examples of additional captions that are not used in the training and validation process. The result of this research is that the InceptionV3 model is better than Resnet50. BLEU-1 is 0.53, BLEU-2 is 0.35, BLEU-3 is 0.18, BLEU-4 is 0.09, and METEOR is 0.35 for InceptionV3 model. While Resnet50 model has a value of BLEU-1 is 0.51, BLEU-2 is 0.31, BLEU-3 is 0.16, BLEU-4 is 0.06, and METEOR is 0.33.
Keywords: caption image; inceptionv3; LSTM; resnet50
Abstrak: Membuat gambar teks secara otomatis adalah salah satu tantangan dalam computer vision. Bidang ini bisa sangat membantu dalam banyak hal, misalnya mesin pencari. Saat ini banyak sekali algoritma klasifikasi citra yang dapat kita gunakan untuk membuat model teks citra. Pada artikel ini, kami akan membandingkan performa antara model Resnet50 dan InceptionV3 untuk gambar teks. Kami akan menggunakan 2000 (1800 train & 200 validation) data gambar dan setiap gambar memiliki 5 contoh caption untuk melatih model. Setelah model berhasil dibuat, kami mengevaluasi model menggunakan 100 gambar dan setiap gambar memiliki 5 contoh caption tambahan yang tidak digunakan dalam proses training dan validation. Hasil dari penelitian ini adalah model InceptionV3 lebih baik dibandingkan dengan Resnet50. BLEU-1 0.53, BLEU-2 0.35, BLEU-3 0.18, BLEU-4 0.09, dan METEOR 0.35 untuk model InceptionV3. Sedangkan model Resnet50 memiliki nilai BLEU-1 0.51, BLEU-2 0.31, BLEU-3 0.16, BLEU-4 0.06, dan METEOR 0.33.
Kata kunci: caption image; inceptionv3; LSTM; resnet50