Sistem asistiv inteligent de comunicare pentru persoane cu dizabilităţi

Abstract

Scopul lucrării : dezvoltarea unui sistem asistiv care transformă mesajele vocale în semne vizuale și gesturi în text, oferind astfel o modalitate rapidă, precisă și ușor de înțeles de comunicare bidirecțională între persoanele cu și fără deficiențe de auz. Obiectivele generale: Proiectul are ca obiectiv dezvoltarea unei aplicații desktop interactive menite să sprijine comunicarea dintre persoanele fără deficiențe de auz și cele cu deficiențe auditive, prin integrarea tehnicilor de inteligență artificială. Soluția propusă include un modul de recunoaștere a gesturilor, precum și un modul de recunoaștere vocală, în cadrul căruia semnalul verbal este transpus în reprezentări vizuale sub formă de secvențe de imagini corespunzătoare literelor mimate. Funcționalitatea aplicației este susținută de componente hardware dedicate, iar performanța sistemului este evaluată prin teste de precizie, în vederea validării corectitudinii și eficienței soluției dezvoltate. Domeniul de cercetare: tehnologiile asistive bazate pe inteligență artificială, care se concentrează pe dezvoltarea de soluții digitale menite să elimine barierele de comunicare pentru persoanele cu dizabilități. Capitolul 1: Capitolul dat oferă o imagine clară asupra situației actuale în domeniul selectat de a fi dezvoltat și discutat în teza data, și mai exact anume în ce poziție se află la moment persoanele care suferă de probleme de auz, și care este posibilitatea lor de a se integra în societate și de a duce un trai decent, alături de restul populației. De asemenea, capitolul întâi reflectă problema existenței unui număr mic de interpreți ai limbajului semnelor, ceea ce realizează comunicarea oamenilor surdo-muți și mai dificilă. Capitolul 2: Capitolul menționat conține în întregime descrierea și explicarea motivului utilizării tuturor tehnologiilor și a metodelor utilizate în realizarea proiectului dat, evidențiind avantajele acestora față de altele existente pe piață. Tot în acest capitol pot fi detectate componentele hardware utilizate pentru a îndeplini scopul proiectului. Capitolul 3: Ultimul capitol oglindește descrierea tuturor pașilor urmăriți pentru elaborarea proiectului, conținând screen-uri și relatări care explică modalitatea de elaborare a sistemului realizat, și demonstrează cum acesta trebuie să fie folosit.

Purpose of the work: To develop an assistive system that transforms voice messages into visual signs and gestures into text, thereby providing a fast, precise, and easy-to-understand bidirectional communication channel between people with and without hearing impairments. General Objectives: The project aims to develop an interactive desktop application designed to support communication between individuals without hearing impairments and those with hearing disabilities through the integration of artificial intelligence techniques. The proposed solution includes a gesture recognition module as well as a speech recognition module, in which verbal input is converted into visual representations in the form of sequential images corresponding to mimed letters. The functionality of the application is supported by dedicated hardware components, and the system’s performance is evaluated through accuracy tests to validate the correctness and effectiveness of the developed solution. Research Field: AI-based assistive technologies, focusing on the development of digital solutions designed to eliminate communication barriers for people with disabilities. Chapter 1: This chapter provides a clear overview of the current status of the selected field, specifically examining the current situation of hearing-impaired individuals and their opportunities for social integration and maintaining a decent quality of life alongside the general population. Additionally, Chapter 1 reflects on the issue of the limited number of sign language interpreters, which makes communication for deaf-mute individuals even more difficult. Chapter 2: This chapter contains a comprehensive description and justification for all technologies and methods used in this project, highlighting their advantages over other existing market solutions. This chapter also details the hardware components utilized to achieve the project’s objectives. Chapter 3: The final chapter outlines all the steps taken during the development of the project, including screenshots and descriptions that explain the system's construction process and demonstrate how it should be used.