Automating the invoice lifecycle using Natural Language Processing and Robotic Process Automation

Abstract

This master's thesis investigates the automation of invoice lifecycle management through the integration of Natural Language Processing (NLP) and Robotic Process Automation (RPA) technologies. The research addresses the challenge of manual invoice processing, which consumes significant organizational resources and is prone to human error. By examining the evolution of document understanding technologies - from traditional template-based OCR systems to contemporary vision- language models - this work establishes the theoretical foundation for automated invoice data extraction and explores a practical implementation for an end-to-end automation pipeline. The study conducts a comprehensive analysis of modern document intelligence models, including LayoutLM series, Donut, DocExtractNet, and large vision-language models such as Qwen2.5-VL, GPT- 4o. By analysing the existing approaches across multiple benchmarks, the research identifies key challenges in real-world deployments: image quality degradation, incomplete information, complex document layouts, and multilingual text processing. Particular attention is given to the critical issue of model hallucinations in financial contexts, examining the trade-off between robustness and context grounding through the FailSafeQA benchmark evaluation. The current research and benchmarks demonstrate that contemporary vision-language models achieve over 90% accuracy on diverse document types, representing a significant advancement over traditional methods. However, the findings reveal persistent challenges in balancing automated extraction with data faithfulness requirements in financial applications. The thesis concludes that while full automation of invoice lifecycle is technically achievable, production deployments must carefully consider model selection, implement validation mechanisms to mitigate hallucination risks, and ensure human oversight over the involved financial processes.

Această teză de master investighează automatizarea ciclului de viață al facturilor prin integrarea tehnologiilor de Procesare a Limbajului Natural (NLP) și Automatizare a Proceselor Robotice (RPA). Cercetarea abordează problema procesării manuale a facturilor, care consumă resurse organizaționale semnificative și este predispusă la erori umane. Prin analiza evoluției tehnologiilor de înțelegere a documentelor - de la sistemele OCR tradiționale bazate pe șabloane până la modelele contemporane vizual-lingvistice - această lucrare stabilește fundamentul teoretic pentru extragerea automată a datelor din facturi utilizând tehnicile inovative de NLP și explorează soluția practică de implementare a unui pipeline de automatizare. Studiul realizează o analiză a modelelor moderne de înțelegere a documentelor, incluzând așa modele precum LayoutLM, Donut, DocExtractNet și modele vizual-lingvistice mari precum Qwen2.5- VL, GPT-4o. Prin evaluarea soluțiilor existente pe multiple benchmark-uri existente, cercetarea identifică provocările cheie întalnite în implementare: degradarea calității imaginilor, informații incomplete, scheme complexe de documente și procesarea textului multilingv. O atenție deosebită este acordată problemei critice de halucinație a modelelor lingvistice în domeniul financiar, examinând compromisul dintre capacitatea modelului de a răspunde corect în ciuda perturbărilor inputului și capacitatea modelului de a refuza să răspundă când nu are suficiente informații pentru a oferi un răspuns de încredere. Cercetările moderne demonstrează că modelele vizual-lingvistice contemporane ating peste 90% acuratețe pe diverse tipuri de documente, reprezentând un progres semnificativ față de metodele tradiționale. Teza concluzionează că, deși automatizarea completă a ciclului de viață al facturilor este realizabilă din punct de vedere tehnic, implementările de producție trebuie să ia în considerare cu atenție selectarea modelului, să implementeze mecanisme de validare pentru a atenua riscurile de halucinare și să mențină supraveghere umană adecvată pentru procesele financiare critice.