Analysis of artificial intelligence implementation methods in software testing automation

Abstract

This thesis investigates the implementation of Artificial Intelligence methods in software testing automation, addressing the current gap in systematic evaluation of AI-based testing techniques, their practical applicability, and their integration challenges within modern development environments. Despite growing evidence that AI-driven testing can reduce maintenance effort by up to 40%, improve defect detection accuracy through ML/DL models, and enhance CI/CD efficiency, organizations continue to face technical and methodological barriers in adopting such solutions. These include inconsistent data availability, unstable automation scripts, limited expertise in ML-based testing, and fragmented tool ecosystems. The research relies on a structured methodological approach grounded in Design Science Research (DSR), combining comparative analysis of academic studies with an evaluation of leading commercial platforms and a conceptual model proposal. The analysis integrates insights from machine learning algorithms, deep learning architectures, evolutionary optimization methods, and intelligent anomaly detection techniques to provide a unified perspective on AI-enhanced testing workflows. Machine Learning classifiers (Random Forest, SVM, Gradient Boosting) demonstrate strong predictive accuracy for defect-prone components, while Deep Learning models such as CNN and LSTM achieve superior results in detecting complex temporal or spatial anomalies. A comparative evaluation of Testim, Applitools, and Mabl reveals major differences in algorithmic maturity, functional robustness, and autonomous behavior, with Testim achieving the highest functional stability and Applitools leading in visual intelligence. The thesis consists of five chapters. Chapter 1 introduces the theoretical foundations of software testing and the core concepts of AI, ML, and DL relevant to quality assurance. Chapter 2 examines modern AI-driven techniques, including automated test generation, intelligent anomaly detection, and test process optimization through ML and evolutionary algorithms. Chapter 3 presents a comparative analysis of AI-based commercial solutions, evaluating their architectures, algorithmic capabilities, and practical performance. Chapter 4 discusses integration strategies for AI components within CI/CD pipelines, proposing an architectural model that supports adaptive, scalable, and data-driven testing workflows. Chapter 5 assesses the impact of AI adoption in testing activities, highlighting current challenges, limitations, and emerging research directions. This thesis contributes a structured evaluation of AI-driven testing methods, a comparative assessment of commercial solutions, and an integrated architectural model for intelligent test automation. The results demonstrate that AI has the potential to transform software testing into a predictive, autonomous, and continuously adaptive process, provided that organizations ensure data readiness, model interpretability, and sustainable integration within existing development pipelines.

Această teză investighează implementarea metodelor de inteligență artificială în automatizarea testării software, abordând lipsa actuală a unei evaluări sistematice a tehnicilor de testare bazate pe AI, a aplicabilității lor practice și a provocărilor de integrare în mediile moderne de dezvoltare. În ciuda dovezilor tot mai numeroase că testarea asistată de AI poate reduce efortul de mentenanță cu până la 40%, poate îmbunătăți acuratețea detecției defectelor prin modele ML/DL și poate crește eficiența CI/CD, organizațiile continuă să se confrunte cu bariere tehnice și metodologice în adoptarea acestor soluții. Printre acestea se numără disponibilitatea inconsistentă a datelor, instabilitatea scripturilor de automatizare, lipsa expertizei în testarea bazată pe ML și fragmentarea ecosistemelor de instrumente. Cercetarea se bazează pe o abordare metodologică structurată, fundamentată în Design Science Research (DSR), combinând analiza comparativă a studiilor academice cu evaluarea principalelor platforme comerciale și cu propunerea unui model conceptual. Analiza integrează perspective din algoritmi de învățare automată, arhitecturi de deep learning, metode evoluționare de optimizare și tehnici inteligente de detecție a anomaliilor, oferind o perspectivă unificată asupra fluxurilor de testare îmbunătățite prin AI. Clasificatorii Machine Learning (Random Forest, SVM, Gradient Boosting) demonstrează o acuratețe predictivă ridicată pentru componentele predispuse la defecte, în timp ce modelele Deep Learning precum CNN și LSTM obțin rezultate superioare în detecția anomaliilor temporale sau spațiale complexe. Evaluarea comparativă a platformelor Testim, Applitools și Mabl evidențiază diferențe semnificative în maturitatea algoritmică, robustețea funcțională și nivelul de autonomie, Testim obținând cea mai mare stabilitate funcțională, iar Applitools remarcându-se prin performanță superioară în analiza vizuală. Teza este structurată în cinci capitole. Capitolul 1 introduce fundamentele teoretice ale testării software și conceptele esențiale de AI, ML și DL relevante pentru asigurarea calității. Capitolul 2 examinează tehnicile moderne bazate pe AI, incluzând generarea automată a testelor, detecția inteligentă a anomaliilor și optimizarea procesului de testare prin algoritmi ML și evoluționari. Capitolul 3 prezintă o analiză comparativă a soluțiilor comerciale bazate pe AI, evaluând arhitecturile, capabilitățile algoritmice și performanța practică ale acestora. Capitolul 4 discută strategiile de integrare a componentelor AI în pipeline-urile CI/CD, propunând un model arhitectural care susține fluxuri de testare adaptive, scalabile și orientate pe date. Capitolul 5 evaluează impactul adoptării AI în activitățile de testare, evidențiind provocările actuale, limitările și direcțiile emergente de cercetare. Teza oferă o evaluare structurată a metodelor de testare bazate pe AI, o analiză comparativă a platformelor comerciale și un model arhitectural integrat pentru automatizarea inteligentă a testării. Rezultatele demonstrează că AI are potențialul de a transforma testarea software într-un proces predictiv, autonom și continuu adaptiv, cu condiția ca organizațiile să asigure calitatea datelor, interpretabilitatea modelelor și o integrare sustenabilă în pipeline-urile existente de dezvoltare.