Integrasi Gemini AI Berbasis Retrieval-Augmented Generation (RAG) pada Moodle untuk Penilaian Esai Otomatis dengan Pendekatan Human-in-the-Loop di Pendidikan Tinggi

Abstract

Penilaian esai merupakan komponen penting dalam evaluasi pembelajaran di pendidikan tinggi, namun proses penilaian manual oleh dosen membutuhkan waktu yang besar dan berpotensi menimbulkan inkonsistensi, terutama pada kelas dengan jumlah mahasiswa yang besar. Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi sistem penilaian esai otomatis berbasis Gemini AI yang terintegrasi dengan Learning Management System (LMS) Moodle menggunakan pendekatan Retrieval-Augmented Generation (RAG) dan mekanisme Human-in-the-Loop (HIL). Penelitian menggunakan metode Research and Development (R&D) dengan model ADDEI, yang meliputi tahap analisis, perancangan, pengembangan, evaluasi, dan implementasi sistem. Evaluasi sistem dilakukan melalui pengujian fungsional (black-box testing), serta kuesioner Human-in-the-Loop yang melibatkan 24 dosen dari 14 perguruan tinggi swasta di wilayah Banten, DKI Jakarta, dan Jawa Barat. Hasil pengujian menunjukkan bahwa seluruh fungsi sistem berjalan sesuai dengan spesifikasi. Evaluasi HIL menunjukkan tingkat penerimaan yang tinggi hingga sangat tinggi, terutama pada indikator peran AI sebagai decision-support system dan tanggung jawab akademik dosen. Selain itu, hasil validasi dosen menunjukkan bahwa sebagian besar rekomendasi skor dan umpan balik yang dihasilkan oleh sistem dapat diterima, dengan dosen tetap memiliki kendali penuh dalam menentukan nilai akhir. Temuan ini menunjukkan bahwa integrasi Gemini AI berbasis RAG dengan mekanisme Human-in-the-Loop efektif sebagai sistem pendukung penilaian esai yang efisien, akuntabel, dan sesuai dengan kebutuhan penilaian akademik di pendidikan tinggi.