Basri, Hasan (2025) Ai-Driven Usability Testing: Optimizing Mobile App Performance With Combination Usability Criteria And Sentiment Analysis Using RNNn Models. Project Report. Universitas Terbuka. (Unpublished)

Text Laporan Penelitian_Hasan.pdf Download (1MB)

Abstract

Analisis ulasan pengguna pada platform digital seperti Google Play Store merupakan sumber informasi penting untuk mengevaluasi kualitas aplikasi, khususnya dari sisi usability dan sentimen. Penelitian ini mengembangkan model klasifikasi berbasis Recurrent Neural Network (RNN) untuk mengotomatisasi proses pemetaan ulasan pengguna ke dalam kategori usability-sentiment. Dataset awal terdiri dari 10.000 ulasan dengan delapan label, namun analisis distribusi menunjukkan ketidakseimbangan ekstrem pada tiga kelas dengan jumlah kurang dari 70 sampel. Untuk mencegah bias model dan ketidakstabilan decision boundary, ketiga kelas tersebut dieliminasi sehingga menyisakan 9.849 ulasan pada lima kelas utama. Tahap preprocessing mencakup normalisasi teks, penghapusan tanda baca, tokenisasi, dan padding hingga panjang 17 token berdasarkan distribusi panjang teks. Label dienkode menggunakan teknik label encoding dan one-hot encoding. Dataset kemudian dibagi secara stratified menjadi train (80%), validation (10%), dan test (10%) untuk menjaga konsistensi proporsi label. Model RNN dibangun menggunakan arsitektur embedding 128 dimensi, SpatialDropout1D, dan LSTM dengan 100 unit. Model dilatih selama 10 epoch dan mencapai akurasi validasi 92.59%. Pada pengujian menggunakan test set, model memperoleh akurasi keseluruhan sebesar 91.68%. Performa sangat baik ditunjukkan pada kelas mayoritas dengan F1-score di atas 0.92, sedangkan kelas minoritas seperti User Satisfaction - Negative dan Learnability - Positive menunjukkan penurunan kinerja akibat keterbatasan jumlah sampel dan tingginya ambiguitas semantik. Analisis confusion matrix mengungkap bahwa banyak ulasan pendek bersifat ambigu dan memuat lebih dari satu sinyal sentimen atau aspek usability, misalnya ulasan seperti “lumayan, tapi sering macet” yang secara bersamaan merefleksikan apresiasi ringan dan keluhan teknis. Secara keseluruhan, penelitian ini menunjukkan bahwa RNN mampu memberikan performa kuat pada kelas mayoritas, namun masih menghadapi tantangan dalam menangani kelas minoritas dan interpretasi ulasan pendek yang ambigu. Temuan ini membuka peluang perbaikan melalui penyeimbangan data, augmentasi teks, serta penggunaan arsitektur berbasis attention atau transformer seperti BERT untuk meningkatkan kemampuan pemahaman konteks pada penelitian selanjutnya.

Item Type:	Monograph (Project Report)
Additional Information (ID):	...pdf
Uncontrolled Keywords:	Usability Testing, Sentiment Analysis, Multi-Class Classification, Recurrent Neural Network, LSTM, Mobile Application Evaluation
Subjects:	000 Generalities > 000-009 Knowledge - Special Computer Methods (Ilmu Umum dan Komputer) > 005.5 General Purpose Application Programs (Program Aplikasi dengan Kegunaan Khusus)
Divisions:	Thesis,Disertasi & Penelitian > Penelitian
Depositing User:	CR Cherrie Rachman
Date Deposited:	27 Jan 2026 04:38
Last Modified:	27 Jan 2026 05:13
URI:	http://repository.ut.ac.id/id/eprint/11906

Actions (login required)

View Item