Voice control system for piloting drones using artificial intelligence techniques

Abstract

Voice control of drones is an innovation direction with high potential for many professional and social domains. This article analyzes the practical usefulness of a voice control system for drones based on an artificial intelligence model that runs locally, without an internet connection. The hybrid CNN+BiLSTM model is trained to recognize commands in Romanian and is deployed on the ESP-Drone platform with an ESP32-S2 microcontroller. Unlike commercial alternatives based on cloud infrastructure, the proposed solution runs entirely locally, eliminating latency and dependence on connectivity. The application domains with the greatest impact are examined, such as industrial inspections, search and rescue operations and precision agriculture, while also highlighting an often overlooked category of beneficiaries: people with motor disabilities, for whom voice control offers the possibility to pilot drones independently, without using their hands. The experimental results demonstrate a test accuracy of 99.4% and an end-to-end latency of 210–350 ms, confirmed under real flight conditions.

Controlul vocal al dronelor este o direcție de inovare cu potențial ridicat pentru multe domenii profesionale și sociale. Acest articol analizează utilitatea practică a unui sistem de control vocal pentru drone bazat pe un model de inteligență artificială care rulează local, fără conexiune la internet. Modelul hibrid CNN+BiLSTM este antrenat să recunoască comenzi în limba română și este implementat pe platforma ESP-Drone cu un microcontroler ESP32-S2. Spre deosebire de alternativele comerciale bazate pe infrastructură cloud, soluția propusă rulează în întregime local, eliminând latența și dependența de conectivitate. Sunt examinate domeniile de aplicație cu cel mai mare impact, cum ar fi inspecțiile industriale, operațiunile de căutare și salvare și agricultura de precizie, evidențiind totodată o categorie de beneficiari adesea trecută cu vederea: persoanele cu dizabilități motorii, pentru care controlul vocal oferă posibilitatea de a pilota drone independent, fără a-și folosi mâinile. Rezultatele experimentale demonstrează o precizie de testare de 99,4% și o latență end-to-end de 210–350 ms, confirmată în condiții reale de zbor.