การพัฒนาเว็บแอปพลิเคชันเพื่อตรวจจับตัวอักษรภาษาไทยผ่านการแสดงท่าทางของมือ

Pumin  Suksuwan; Chayut  Saeeng; Nopnob  Hongsuwan; Boonchoo Jitnupong

Authors

Pumin Suksuwan Department of Computer Science and Information, Faculty of Science at Sriracha, Kasetsart University
Chayut Saeeng Department of Computer Science and Information, Faculty of Science at Sriracha, Kasetsart University
Nopnob Hongsuwan Department of Computer Science and Information, Faculty of Science at Sriracha, Kasetsart University
Boonchoo Jitnupong Department of Computer Science and Information, Faculty of Science at Sriracha, Kasetsart University

Keywords:

Thai Sign Language, Machine Learning, Deep Learning, Long Short-Term Memory

Abstract

This paper presents a hand gesture recognition system for Thai Sign Language (ThSL) to assist people with hearing and speech impairments, as well as those who communicate with others using hand gestures. The system aims to provide a tool for learning Thai letter gestures and fingerspelling. The objective is to develop a web application using the Flask framework that can detect and translate hand gestures from a webcam into Thai characters. To achieve this, the system utilizes machine learning and deep learning techniques, specifically a Long Short-Term Memory (LSTM) neural network model, integrated with various frameworks such as MediaPipe and TensorFlow. The goal is to improve accuracy through iterative training and prevent overfitting by carefully managing the training process. The paper concludes with an evaluation of the machine learning model, demonstrating an average accuracy of 0.98 for all 42 Thai letters, indicating a very good performance (0.98).

References

กรมส่งเสริมและพัฒนาคุณภาพชีวิตคนพิการ. (2567). สถานการณ์คนพิการ 30 กันยายน 2566. กรุงเทพฯ: กรมส่งเสริมและพัฒนาคุณภาพชีวิตคนพิการ. https://dep.go.th/th/law-academic/knowledge-base/disabled-person-situation/สถานการณ์คนพิการ-30-กันยายน-2565

ภาควิชาภาษาศาสตร์ มหาวิทยาลัยเกษตรศาสตร์. (ม.ป.ป.). แบบสะกดนิ้วมือไทย. https://pirun.ku.ac.th/~fhumalt/THSL/THSL/html/nav_th/THSL_fsp_th.htm

Ballard, D. H., & Brown, C. M. (1982). Computer Vision. Prentice Hall.

Goldsborough, P. (2016). A tour of TensorFlow. arXiv preprint arXiv:1610.01178. https://doi.org/10.48550/arXiv.1610.01178

Google. (2020, December 14). MediaPipe Holistic: Simultaneous face, hand, and pose prediction. https://blog.research.google/2020/12/mediapipe-holistic-simultaneous-face.html

Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735

Jintanachaiwat, W., Jongsathitphaibul, K., Pimsan, N., Sojiphan, M., Tayakee, A., Junthep, T., & Siriborvornratanakul, T. (2024). Using LSTM to translate Thai sign language to text in real time. Discover Artificial Intelligence, 4(1), 17. https://doi.org/10.1007/s44163-024-00113-8

Joseph, F. J., Nonsiri, S., & Monsakul, A. (2021). Keras and TensorFlow: A hands-on experience. In Advanced deep learning for engineers and scientists: A practical approach (pp. 85-111).

Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.L., Yong, M.G., Lee, J., Chang, W.T., Hua, W., Georg, M., Grundmann, M. (2019). Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172. https://doi.org/10.48550/arXiv.1906.08172

Sertis. (2564). MediaPipe Holistic อุปกรณ์ที่สามารถจับการเคลื่อนไหวของใบหน้า มือ และท่าทางได้ในเวลาเดียวกัน. https://sertiscorp.medium.com/mediapipe-holistic-อุปกรณ์ที่สามารถจับการเคลื่อนไหวของใบหน้า-มือ-และท่าทางได้ในเวลาเดียวกัน-e1185469e111

Techhub. (2567). รู้จัก Computer Vision เทคโนโลยีที่ทำให้ AI มองเห็น. https://www.techhub.in.th/computer-vision-technology-for-ai