Dlaczego zła ekstrakcja tekstu psuje systemy AI w firmie

Wielu przedsiębiorców próbuje wdrażać sztuczną inteligencję do codziennej analizy dokumentów PDF, raportów finansowych czy faktur. Jako dostawcy automatyzacji regularnie pokazujemy naszym klientom, że kluczem do skutecznego działania takich rozwiązań jest poprawna technologia pod maską, którą pomagamy wdrożyć w firmie. Gdy system RAG oparty na AI zaczyna halucynować i podawać błędne informacje, proces poszukiwania błędów często skupia się w niewłaściwym miejscu.

Inżynierowie testują alternatywne modele embeddingu, modyfikują budżety tokenów dla fragmentów tekstu albo wprowadzają drogie systemy rerankers. Tymczasem w zaskakująco wielu przypadkach uszkodzenie danych następuje jeszcze przed etapem embeddingu – w warstwie ekstrakcji tekstu. To właśnie tam parser próbuje odtworzyć naturalny porządek czytania z formatu, który nigdy nie został zaprojektowany do przechowywania takich informacji.

Aby zrozumieć źródło problemu, warto przyjrzeć się temu, co plik PDF faktycznie przechowuje pod maską. Dokument PDF to w gruncie rzeczy zestaw poleceń renderujących, których zadaniem jest spójne rozmieszczenie pikseli lub tuszu na dowolnej drukarce czy ekranie. Tekst znajduje się tam wewnątrz operatorów strumieniowych, oznaczonych znacznikami początkowymi oraz końcowymi, gdzie koordynatory przesuwają kursor, a system wypisuje surowe kody glifów.

Warto podkreślić, że w nietagowanym pliku PDF nie istnieje pojęcie zdania czy akapitu. Kolejność poleceń renderujących w pliku odzwierciedla jedynie sekwencję, w jakiej narzędzie generujące rysowało poszczególne elementy, a nie sposób, w jaki czyta je człowiek. Przesunięcia kerningowe stanowią jedynie drobne korekty odstępów poziomych, pozostawiając parserowi trudne zadanie zgadywania, gdzie kończą się wyrazy i w jakiej kolejności należy połączyć linie. Powiązany temat opisaliśmy w artykule „Agenci AI kupują za klientów. OpenAI wdraża ChatGPT Wallet”.

Najbardziej szkodliwy błąd ekstrakcji pojawia się w układach dwukolumnowych oraz wielokolumnowych, które są standardem w artykułach naukowych, publikacjach oraz korporacyjnych raportach rocznych. Kiedy biblioteka ekstrakcji próbuje naprawić surową kolejność strumienia poprzez wizualne sortowanie tekstu według współrzędnej pionowej, czyta obie kolumny jednocześnie. W efekcie linia z pierwszej kolumny miesza się bezpośrednio z linią z kolumny drugiej. Tak pracujemy przy tworzenie stron internetowych dla firm.

Powstały w ten sposób tekst bywa niezwykle podstępny, ponieważ nie generuje błędów w kodzie, przechodzi testy liczby znaków i zachowuje poprawny słownik. Jednak po podzieleniu takiego fragmentu na mniejsze okna tokenów i przekazaniu do modelu embeddingu, powstały wektor reprezentuje semantyczną Mieszaninę zupełnie różnych tematów. Taki wektor ląduje w przestrzeni embeddingu w miejscu oddalonym od obu zagadnień, co sprawia, że poprawne wyszukiwanie danych staje się matematycznie niemożliwe.

W zależności od ograniczeń wdrożeniowych oraz wymagań dotyczących wydajności, inżynierowie mogą stosować praktyczne podejścia do odzyskiwania poprawnej kolejności czytania. Przy lekkim przetwarzaniu opartym wyłącznie na procesorze, wykorzystującym biblioteki takie jak PyMuPDF, można operować na prostokątach układu zamiast na płaskich zrzutach znaków. Bardziej zaawansowane mechanizmy pozwalają grupować bloki w pionowe pasy oddzielone elementami rozpiętymi na całą szerokość strony, takimi jak tytuły, abstrakty czy szerokie tabele.

Dla właściciela małej firmy, działającego lokalnie na Śląsku – w takich miastach jak Katowice, Bielsko-Biała czy Czechowice-Dziedzice – wdrażanie nowoczesnych rozwiązań opartych na sztucznej inteligencji musi iść w parze ze stabilnym zapleczem technicznym. Kiedy firma automatyzuje obieg dokumentów, faktur czy obsługę klientów za pomocą zaawansowanych systemów, jakość wejściowa danych decyduje o sukcesie całego projektu. Zamiast inwestować w kosztowne, niedziałające eksperymenty, warto zadbać o profesjonalne automatyzacje AI, które prawidłowo przetwarzają dokumenty i oszczędzają czas pracowników.

Podsumowując, tradycyjna i naiwna ekstrakcja tekstu z wielokolumnowych dokumentów PDF stanowi ukryte zagrożenie dla systemów opartych na sztucznej inteligencji. Zrozumienie mechanizmów przechowywania danych w plikach PDF oraz wdrożenie poprawnych metod partycjonowania bloków pozwala wyeliminować halucynacje AI i zapewnia pełną rzetelność analizowanych dokumentów firmowych.