rag

2026 02 12

Docling: Így készíts tökéletes adatot bármilyen RAG-hez

AWS, Azure, Cloud, llm, Mesterséges Intelligencia, rag ai, cloud, cloudservices, llm, mestersegesintelligencia, rag

| Olvasási idő: 5 perc |

Aki rendszeresen fejleszt vagy oktat AI megoldásokat – legyen szó Azure OpenAI-ról vagy bármilyen LLM integrációról –, az pontosan ismeri a problémát: a Retrieval-Augmented Generation (RAG) rendszerek lelke az adat, de az adataink többsége „halott” formátumokban csücsül. Itt jön képbe a Docling.

PDF-ek, Word dokumentumok, Excel táblák – Ezek emberi olvasásra kiválóak és látványosak, de a gépek számára gyakran emészthetetlenek.

Az Mentor Klubos Azure oktatásaim során rendszeresen bemutatom a klasszikus „Enterprise Chat” felépítést:

Feltöltünk fájlokat egy Azure Storage Account-ra.
Létrehozunk egy Azure AI Search indexet.
Az OpenAI Foundry Studio-ban összekötjük a modellt az adatokkal.

A demó mindig látványos, de a valóságban sokszor hiányérzete van a z oktatáson résztvevőknek. Miért? Mert ha egy PDF tele van táblázatokkal, hasábokkal vagy lábjegyzetekkel, a beépített „chunking” (daraboló) algoritmusok szétesett, értelmezhetetlen szövegmasszát adnak át a keresőnek. Ugyanez a probléma az Excel táblázatokkal is.

Nincs olyan képzés, amikor nem teszik fel a kérdést: „Excel táblában is képes keresni az AI?„
Korábban az volt a válaszom, hogy nem és valójában közvetlenül nem is tud benne keresni, még RAG esetén sem.

Az eredmény: a használt LLM hiába zseniális, ha a kereső rossz kontextust ad neki. Garbage In, Garbage Out.

A megoldás: Strukturált Markdown

A tapasztalatom az, hogy az LLM-ek imádják a Markdown formátumot. A Markdown tisztán leírja, mi a főcím, mi az alcím, és ami a legfontosabb: megőrzi a táblázatok szerkezetét. Ezért a gyors és látványos bemutatóknál, már előkészített fájlokkal érkezem

De ki akar kézzel konvertálni több száz, vagy több ezer vállalati PDF-et? Senki. Ezért hoztam létre egy egyszerű, bárki által használható megoldást, aminek a lelke a Docling.

Mi az a Docling?

A Docling egy új generációs, nyílt forráskódú megoldás, ami nem csak kiolvassa a szöveget a fájlokból, hanem látja és érti is az oldalak szerkezetét (Layout Analysis).

Míg a hagyományos konverterek (pl. PyPDF) gyakran sorról sorra olvassák a szöveget (így a kéthasábos cikkek összekeverednek), a Docling felismeri a blokkokat. Képes komplex táblázatokat, fejléceket és lábjegyzeteket is helyreállítani, és mindezt egy tiszta, strukturált Markdown fájlba menti.

Mondhatjuk, hogy ez a RAG szempontjából aranyat ér. Ha a Docling által generált .md fájlt adod oda az Azure AI Search-nek (vagy bármilyen más vektorkeresőnek), a válaszok pontossága drasztikusan javulni fog. Ezzel pedig időt és pénzt takaríthatunk meg.

A kész eszköz: Docling RAG Converter

Ha szeretnéd kipróbálni, hogyan is teljesít és ne kelljen a nulláról kódolnod, készítettem egy Python alapú eszközt, amit a GitHub-on közzé is tettem. Ez az egyszerű projekt egy számomra kedvelt alapra épül: a Python mellett az uv csomagkezelőt használja, ami villámgyors és brutálisan egyszerű használni is.

A GitHub repo, ahol a megoldás van itt elérhető: https://github.com/cloudsteak/docling-rag-converter

Windows, Mac és Linux kompatibilis

Nem kell Python gurunak lenned. A célom az volt, hogy bárki, aki RAG rendszert épít, pillanatok alatt elő tudja készíteni az adatait.

1. Előkészületek

Szükséged lesz a git-re és az uv-re. Ha az uv még nincs fent, egy sorral telepítheted:

Windows (PowerShell): powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
Mac/Linux: curl -LsSf https://astral.sh/uv/install.sh | sh

2. Töltsd le a kódot

Klónozd le a projektet a gépedre:

git clone https://github.com/cloudsteak/docling-rag-converter.git
cd docling-rag-converter

3. Futtasd a konvertert

Az uv zsenialitása, hogy nem kell manuálisan virtuális környezetet (venv) létrehoznod vagy pip-pel bajlódnod. A következő parancs mindent elintéz helyetted (letölti a Docling-ot, a függőségeket és a szükséges AI modelleket):

uv run docling-rag-converter.py

Hogyan működik?

Az első futtatáskor a script létrehoz egy input és egy output mappát. (ha szükséges, de ez része a projektnek)
Másold be a feldolgozni kívánt fájljaidat az input mappába (PDF, DOCX, XLSX, HTML, PPTX).
Futtasd újra az uv run docling-rag-converter.py parancsot.
Dőlj hátra. A script végigmegy a fájlokon, és az output mappába generálja a tökéletesen formázott .md fájlokat.

Miért jobb ez az Azure OpenAI-hoz?

Ha ezeket a generált Markdown fájlokat töltöd fel a Storage Account-ra a nyers PDF-ek vagy XLSX-ek helyett:

Jobb Chunking: Az Azure AI Search a Markdown fejlécek (#, ##) mentén logikusan tudja darabolni a szöveget. Nem vág ketté mondatokat vagy gondolatmeneteket.
Táblázat-értés: A nyelvi modell (pl. GPT-4o-mini) a Markdown táblázatokat kiválóan értelmezi. Ha megkérdezed, hogy „Mennyi volt a bevétel Q3-ban?”, a modell pontosan ki tudja olvasni a cellát, míg egy szétesett szövegből csak találgatna.
Kevesebb Hallucináció: Mivel a forrásanyag tiszta és strukturált, az AI kevésbé hajlamos kitalálni dolgokat.

Eredeti XLSX:

Konvertált md fájl (előnézetben), AI által támogatott formában:

Összegzés

A Docling használatával a „fekete doboz” PDF-ekből és Excel fájlokból strukturált, szemantikus Markdown-t csináltunk. Amikor ezt feltöltöd a Storage Account-ra, és indexeled a Foundry-ban, a kereső pontosan tudni fogja, hol kezdődik egy táblázat, és melyik adat melyik oszlophoz tartozik.

Az eredmény? Egy RAG alapú dokumentum keresési megoldás, amellyel az AI pontosan válaszol.

Ez a kis extra lépés a pipeline elején választja el a „játék” demókat a valódi, production-ready vállalati megoldásoktól. Próbáld ki a megoldást, és kezd el Te is AI-al kezelni a céges dokumentumokat, bármilyen RAG megoldással!

Te hogyan oldod meg az adat-előkészítést? Írd meg a véleményed vagy a tapasztalataidat kommentben!

Ha pedig érdekelnek a hasonló Azure és AI tartalmak:

Iratkozz fel az InfoPack hírlevélre.
Kövess LinkedIn-en.
Iratkozz fel a YouTube csatornámra, ahol rendszeresen jelentkezem új szakmai videókkal.
És ne feledkezz el megkeresni TikTok-on sem.

2025 10 27

ChatGPT Atlas: az internetes böngészés új dimenziója

agents, Cloud, llm, Mesterséges Intelligencia, ml agenticai, ai, chatgpt, mestersegesintelligencia, openai, rag

| Olvasási idő: 4 perc |

Amikor az OpenAI bejelentette a ChatGPT Atlas-t, azonnal letöltöttem és feltelepítettem a gépemre, hogy kipróbáljam. Első gondolatom az volt, hogy a ChatGPT vastagkliensét használom. Majd ahogy elmélyedtem benne, rájöttem, hogy ez egy teljesen más megközelítése az internetezésnek.

Az AI alapvetően a kérdéseinkre válaszol és az utasításainkat követi, de közben teljesen kihasználja azt, hogy ez egy böngésző. Amikor egy linkre kattintok a megszokott kinézetű chat-ablakban, osztott képernyőn megnyílik a weboldal. Itt lehetőségem van arra, hogy a megnyitott weboldal tartalmaival kiegészítve beszélgessek tovább az AI-val. Ez olyan érzés, mintha a GitHub CoPilot-ot használnám a Visual Studio Code-ban – csak éppen a teljes interneten.

Szerintem ez mindenképpen egy új dimenzióba helyezi az online böngészést. Talán ahhoz tudnám hasonlítani, amikor Elon Musk előrukkolt a Tesla-val, vagy Steve Jobs bemutatta az első iPhone-t. És ezen hasonlatokban nem arra gondolok, hogy valami forradalmian újat mutattak be, hanem arra, hogy újragondolták azt, amit addig ismertünk. A ChatGPT Atlas is ilyen – az internetes élményt formálja újra, alapjaiban.

Amit viszont nem értek: miért nem a Google-nak jutott ez eszébe? Megöregedtek? Elfáradtak? A Google mesterséges intelligencia-kiegészítése a keresőben amúgy is inkább vicces, mint hasznos. Nem ezt vártam. Bár tudom, ha a keresőóriás meglépte volna azt, amit most az OpenAI az Atlas-szal, akkor elesett volna sok milliárdnyi reklámbevételtől.

Nem véletlen, hogy az elmúlt egy évben már nem használom a Google keresőjét – egyszerűen elavult és szinte használhatatlan. A ChatGPT Atlas viszont megmutatta, hogyan nézhet ki a böngészés a jövőben, ha a mesterséges intelligencia nem csak válaszol, hanem valóban együtt gondolkodik velem.

Amikor a böngésző és az AI összeér, megszűnik a határ az információ és a megértés között. Nem kell külön keresnem, olvasnom, értelmeznem, majd kérdeznem – a rendszer ezt mind egyben teszi. Az Atlas nem egyszerűen egy böngésző: ez az első olyan felület, ahol az internet és az AI világa egyesül. És ahogy most látom, ez csak a kezdet.

Mitől különleges ez a böngésző?

A ChatGPT Atlas nem egyszerűen egy új termék, hanem az internethasználat újragondolása. Az OpenAI szerint ez a böngésző „a ChatGPT-vel a középpontban” készült, és célja, hogy a felhasználó munkáját, kontextusát és eszközeit egyetlen, intelligens felületen egyesítse.

A tavalyi évben a ChatGPT-ben megjelent a keresés funkció, amely azonnal az egyik legnépszerűbbé vált. Most azonban az OpenAI ezt a funkcionalitást egy teljes böngészőbe emelte át. Az Atlas lehetővé teszi, hogy a ChatGPT mindenhol ott legyen – megértse, mit csinálok, és segítsen anélkül, hogy másik oldalt vagy alkalmazást kellene megnyitnom.

A böngésző emlékezete („Browser memories”) teljesen opcionális, és a felhasználó kezében marad az irányítás – az adatok bármikor törölhetők, archiválhatók, vagy kikapcsolható a funkció.

Agent mód: Ez az egyik legizgalmasabb rész – bizonyos előfizetési szinteken (Plus, Pro, Business) elérhető. Az Agent (ügynők) mód segítségével az AI nem csak beszélget, hanem „kattint, navigál, feladatokat végez” a böngészőn belül. Például: „Keresd meg ezt az éttermet, rendeld meg az alapanyagokat”, „Készíts piackutatást a versenytársakról, majd írj belőle összefoglalót” – mindez anélkül, hogy külön programban kellene dolgoznom.

Az OpenAI hangsúlyozza, hogy a biztonság és adatvédelem kiemelt: az AI nem fér hozzá automatikusan a fájlrendszerhez, nem futtat kódot, és minden érzékeny műveletnél megerősítést kér a felhasználótól.
Az Atlas jelenleg macOS-re áll rendelkezésre, más platformokra (Windows, iOS, Android) hamarosan érkezik.

Hol tart most és mit érdemes tudni?

Az Atlas most indul – egy ígéretes, de még fejlődő termék. A korai felhasználói élmények szerint bár az integráció izgalmas, néhány funkció még finomításra szorul. Például a keresési eredmények listája korlátozott, és a folyamatok még nem mindig zökkenőmentesek.
Biztonsági szakértők figyelmeztettek, hogy az AI-alapú böngészők érzékenyek lehetnek a „prompt-injection” típusú támadásokra – vagyis olyan webes instrukciókra, amelyek képesek befolyásolni az AI viselkedését. Az OpenAI szerint dolgoznak a védelem erősítésén.

Miért érdekes ez nekünk?

Ha kezdő vagy az AI és az internetes böngészés ilyen modern formái felé, akkor az Atlas számunkra több okból is izgalmas:

Egyszerűbbé tesszük az internetezést: nem kell külön alkalmazást megnyitni, nem kell másolgatni-beilleszteni a tartalmakat a ChatGPT-be – mindent egy helyen tehetek.
Azonnali segítséget kapok: ha találok egy weboldalt, és nem vagyok biztos a tartalmában, az AI-val azonnal beszélhetek róla: „Mi a lényege?”, „Mi az, amit kiemelnél?”, „Hol van erre alternatív forrás?” – így nem csak passzívan olvasok, hanem aktívan gondolkodom.
Több időm marad a tényleges feladatra: mivel az AI képes részmunkákat átvenni (pl. Agent mód), nekem nem kell annyit kattintgatnom – az értelmezésre, döntéshozatalra koncentrálhatok.
Ha vállalati környezetben dolgozom, akkor ez komoly lehetőség: gyorsabban készíthetek elemzést, összegzést, mert a böngészőm és az AI egyben van.

Összegzés

Én úgy látom, hogy a ChatGPT Atlas nem csupán egy új böngésző. Ez egy lépés afelé, hogy a webes szokásunk egyre inkább „agentikus” legyen – vagyis a rutinmunkákat átruházhassuk egy intelligens asszisztensre, miközben mi a lényegre koncentrálhatunk.

Ez egy hatalmas erejű eszköz, amelytől nem magát az AI-tól kell tartanunk, hanem attól, hogy mi emberek talán még nem nőttünk fel a felelősségteljes használatához.

Azért, mint minden AI alapú megoldást, ezt is kezeljük a helyén.
Ne hagyatkozzunk rá mindig!

2025 04 14

RAG és CAG: a pontosság vagy a sebesség az AI jövője?

cag, Cloud, Mesterséges Intelligencia, rag ai, cag, llm, mi, rag

| Olvasási idő: 4 perc |

A generatív mesterséges intelligencia világában már nem csak az számít, milyen nagy egy modell vagy hány milliárd paramétere van. Az is legalább ennyire fontos, hogyan tudjuk kiegészíteni és finomítani a modell működését. Korábban írtam a Retrieval-Augmented Generation (RAG) működéséről és előnyeiről. Most egy viszonylag új, de egyre nagyobb figyelmet kapó megközelítésről írok: ez a Cache-Augmented Generation (CAG).

Ebben a cikkben bemutatom, mit jelent a CAG, hogyan működik, miben más, mint a RAG, és mikor érdemes egyik vagy másik módszert választani.

Hogyan jutottunk el a RAG-tól a CAG-ig?

Amikor a nagy nyelvi modellek (LLM-ek) elterjedtek, hamar kiderült, hogy zárt tudású modellekkel nem tudjuk tartani a lépést a világ gyorsan változó információival. Ez hívta életre a RAG koncepcióját, ahol a modell a válasz előtt külső forrásokból (pl. céges dokumentumtárból, tudásbázisból) keres információt, és ezt beemeli a generálásba.

A RAG tehát egyfajta „keresés + válasz” kombinációt jelentett.

Később azonban új kihívások merültek fel:

nőtt a felhasználói igény a valós idejű válaszadásra,
sok rendszerben ismétlődő kérdések jelentkeztek,
és a RAG-es lekérdezések nem mindig voltak költséghatékonyak.

Ez vezetett el a Cache-Augmented Generation (CAG) gondolatához: ha egyszer már válaszoltunk valamire, miért ne tárolnánk el?

Mi az a Cache-Augmented Generation (CAG)?

A CAG lényege, hogy a generatív modell működését nem külső dokumentumokkal támogatjuk meg (mint a RAG esetén), hanem egy belső gyorsítótárra (cache) építünk, amely korábbi válaszokat vagy tudáselemeket tárol. Ez a cache lehet előre feltöltött (pl. sablonos kérdésekre adott válaszokkal), vagy dinamikusan épülhet ki a felhasználók aktivitása alapján.

A CAG technikai alapjai – amit érdemes tudni

A modern CAG-rendszerek több trükköt is bevetnek a hatékonyság növeléséhez:

Előzetes betöltés (Preloading) a kontextusablakba – a modell „látóterébe” már előre bekerül a fontos tudásanyag.
KV-cache (Key-Value Cache) – a modell tárolja a korábban generált tokenekhez tartozó rejtett állapotokat, így újrahasznosíthatók.
Hasonlóság-alapú visszakeresés – a rendszer nemcsak azonos promptokra reagál, hanem felismeri a jelentésbeli hasonlóságokat is.

Hogyan különbözik a CAG a RAG-től?

A RAG működéséhez elengedhetetlen egy jól strukturált tudásbázis. A modell először lekérdezi a számára releváns dokumentumokat, majd ezek alapján alkot választ. Ezzel szemben a CAG nem keres semmit, hanem a saját „emlékezetére” támaszkodik.

Szempont	RAG	CAG
Tudásforrás	Külső (pl. dokumentumok, adatbázis)	Belső (cache, előre betöltött tudás)
Teljesítmény (sebesség)	Lassabb a keresés miatt	Nagyon gyors, különösen ismétlődő kérdésekre
Erőforrásigény	Magasabb	Alacsonyabb
Pontosság friss információnál	Magas (aktuális tudás elérhető)	Korlátozott (nincs frissítés automatikusan)
Ideális alkalmazás	Dokumentumkereső, intelligens asszisztens	Ügyfélszolgálat, chatbot, sablonos válaszok

Valós példák RAG és CAG alkalmazásra

RAG példa:
Képzeld el, hogy van egy cég belső dokumentumtára, ahol a HR, pénzügy és IT leírások PDF-ben elérhetők. Ha egy dolgozó megkérdezi: „Hány nap szabadság jár 3 év munkaviszony után?”, a RAG-alapú asszisztens lekérdezi a vonatkozó HR-dokumentumot, beemeli a szövegbe, és ennek alapján ad választ.

CAG példa:
Ugyanez a dolgozó hetente ötször kérdezi meg: „Hogyan tudom megváltoztatni a jelszavam?” – a rendszer ezt a kérdést egyszer már megválaszolta. A CAG gyorsítótára felismeri az ismétlődést, és azonnal visszaadja a korábbi választ, teljes generálás nélkül.

RAG + CAG együtt

Egy ideig úgy tekintettünk a RAG és a CAG módszerekre, mint egymással versengő megoldásokra. Én viszont azt tapasztalom, hogy nem kizárják, hanem épp kiegészítik egymást.

Egy modern AI rendszer például működhet így:

Első lépés: a rendszer megvizsgálja, van-e releváns találat a cache-ben (CAG).
Ha nincs megfelelő találat, akkor lekérdez egy külső tudásbázist (RAG) és generál egy új választ.
Ez az új válasz eltárolódik a cache-ben, így legközelebb már gyorsabban és olcsóbban elérhető.

Ez a lépcsőzetes logika optimalizálja az erőforrás-használatot, miközben nem mond le sem a sebességről, sem a pontosságról.

Én úgy látom, hogy a jövő generatív rendszerei ezt a kettős stratégiát fogják követni: a CAG biztosítja a gyorsaságot és kiszámíthatóságot, míg a RAG gondoskodik a mély, megalapozott válaszokról. A kettő együtt nemcsak hatékonyabbá teszi a rendszert, hanem javítja a felhasználói élményt is.

Mely AI modellek használják ezeket?

RAG-et használ:
- OpenAI GPT + retrieveres példák (pl. ChatGPT Enterprise tudásbázis integráció)
- Meta által közzétett RAG architektúrák (RAG-Sequence, RAG-Token)
- Bing Chat, Perplexity AI
- LangChain-alapú RAG-pipelinek
CAG-et alkalmaz:
- Mistral nyílt forrású LLM-ek kontextusablakos gyors betöltéssel
- GPT-4 Turbo – optimalizált KV-cache rendszerrel működik, nagy prompt ismétlések esetén gyorsabb válasz
- Claude 3 (Anthropic) – cache-szerű belső rejtett állapotkezelést használ kontextuson belül
- Egyes cégek saját implementációi (pl. HelpDesk-rendszerek belső cache-sel)

Összefoglalás

A CAG nem egy újabb buzzword – hanem egy valódi válasz a generatív AI rendszerek skálázhatósági és sebességbeli kihívásaira. A RAG továbbra is verhetetlen, ha friss, kontextusban gazdag válaszokra van szükség. A CAG viszont ott nyer, ahol gyorsaság, egyszerűség és alacsony költség a cél.

Én egyre gyakrabban építek be CAG-alapú logikát a prototípusaimba, főleg akkor, ha nagy felhasználószámra kell tervezni. Ha pedig RAG-re van szükség, már tudom, mikor és hogyan érdemes bevetni.

A jövő generatív rendszerei nem választanak egyet a kettő közül – hanem dinamikusan kombinálják őket.

2025 01 10

RAG 2: RAG és a dokumentumkezelési technológiák

Mesterséges Intelligencia, rag ai, dokumentumkezeles, llm, mestersegesintelligencia, mi, ml, rag, vectordb

| Olvasási idő: 4 perc |

Előző cikkemben bemutattam az RAG alapjait, koncepcióját és főbb összetevőit. Amint olvashattuk a Retrieval-Augmented Generation (RAG) egyedülálló ereje abban rejlik, hogy képes releváns dokumentumokból és adatforrásokból valós időben információt visszanyerni és azt integrálni generált válaszaiba.

Abban a cikkben is említettem, hogy a RAG célja az, hogy az AI modellek ne csak logikus és összefüggő válaszokat adjanak, hanem azokat a legfrissebb és legpontosabb információk alapján állítsák elő. Ez különösen hasznos olyan területeken, ahol az adatok gyorsan változnak, például jogi, pénzügyi vagy technológiai területeken. Emellett olyan esetekben előnyös, amikor fontos számunkra az adatok pontossága. (pl.: AI alapú keresés dokumentum tárakban)

Ez a cikk a RAG-hoz kapcsolódó dokumentumkezelési technológiákra fókuszál, amelyek kulcsszerepet játszanak a rendszer hatékonyságában és pontosságában. Úgy érzem, hogy ez az a terület, ahol jelenleg a legkevesebb zaj van az AI világán belül.

Vektor adatbázisok

A vektor adatbázisok (dokumentumtárak) a RAG alapvető elemei. Ezek olyan adatbázisok, amelyekben a dokumentumokat és az azokban lévő információkat numerikus vektorokként tárolják. Ez lehetővé teszi a gyors és pontos keresést a releváns tartalmak között, a következő módon:

Dokumentumok átalakítása (embedding): A dokumentumok tartalmát vektorrá (számmá) alakítjuk természetes nyelvi feldolgozó modellek, például BERT vagy más embedding modellek segítségével.
Keresés (search): Egy új kérdés esetén a rendszer szintén vektort generál, majd ezt összehasonlítja az adatbázisban lévő vektorokkal, hogy megtalálja a releváns dokumentumokat.

Ebből is látszik, hogy amikor ilyen keresést végzünk, akkor nem kulcsszavakra keresünk, hanem összehasonlítást végzünk, így a találatok pontossága is más jellegű lesz.

Legismertebb vektor adatbázisok:

Átalakítás és hasonlósági keresés

Az embedding technológiák a RAG rendszerek motorjai. Az embedding lépésben a szöveges adatokat numerikus vektorokká alakítják, amelyek tartalmazzák a szöveg jelentését és kontextusát. Ez kulcsfontosságú a hasonlósági kereséshez, amely a releváns információk megtalálásának egyik alapvető eszköze.

Példa: Egy orvosi dokumentumtárban a „szívritmuszavar” kifejezés numerikus vektora alapján a rendszer az összes releváns tanulmányt és cikket előkeresheti.
Modellek: Olyan nyílt forráskódú modellek, mint a Sentence-BERT vagy a Hugging Face embedding modelljei, széles körben használatosak a RAG rendszerekben.

Újrarangsorolás (Reranking)

A RAG rendszerek gyakran több releváns dokumentumot is visszakeresnek, amelyeket rangsorolni kell. Az újrarangsorolás célja, hogy a leginkább releváns dokumentumok kerüljenek at LLM elé. Ez különösen fontos nagy méretű dokumentumtárak esetén.

Technikák: Neural reranking modellek, például a T5 modellek adaptációi.
Példa: Egy ügyfélszolgálati alkalmazás esetén a rendszer kiemeli a legfrissebb dokumentumokat a relevancia növelése érdekében. Vagy az első körben összegyűjtött információhalmazt tovább finomítjuk, hogy valóban csak a legrelevánsabb találatokat adjuk vissza a felhasználónak.

Lekérdezés fordítási technikák (Query Translation Techniques)

A lekérdezés fordítási technikák olyan lépések sorozatát foglalják magukban, amelyek javítják a lekérdezés átalakítás (embedding) és a dokumentum átalakítás közötti relevancia valószínűségét. Ez a folyamat biztosítja, hogy a kérdések pontosabban illeszkedjenek a dokumentumokhoz, javítva ezzel a visszakeresés és a válaszgenerálás minőségét.

Néhány kapcsolódó technika:

Szemantikai illeszkedés javítása: A technikák közé tartozik a szemantikai keresés alkalmazása, amely figyelembe veszi a szavak jelentését és kontextusát, nem csupán a szintaktikai egyezéseket. Ez különösen fontos a természetes nyelvű lekérdezések esetében, ahol a felhasználók különböző módon fogalmazhatják meg ugyanazt a kérést.
Lekérdezés elemzése és finomítása: A felhasználói kérdések gyakran többértelműek lehetnek. Ezen technikák célja, hogy ezeket a lekérdezéseket pontosítsák, szinonimákat vagy kapcsolódó kifejezéseket azonosítsanak, és szükség esetén a lekérdezést újrafogalmazzák a relevancia növelése érdekében.
Átalakítás (embedding) optimalizálása: A lekérdezéseket és a dokumentumokat numerikus vektorokká alakítják, és a lekérdezés fordítás során a cél az, hogy a lekérdezés embedding minél közelebb kerüljön a releváns dokumentumok beágyazásaihoz a vektortérben, ezáltal növelve a releváns találatok valószínűségét.

Ezen kívül még vannak egyéb technikák is, amelyeket majd a konkrét példáknál ismertetek.

Miért fontosak ezek a technológiák?

A dokumentumkezelési technológiák integrálása kulcsfontosságú a RAG rendszerek sikeréhez. Ezek az eszközök biztosítják a pontos, releváns és gyors információ-visszakeresést, ami elengedhetetlen a magas színvonalú generált válaszokhoz. Az olyan területeken, mint az egészségügy, a pénzügyek és az oktatás, ezek a technológiák forradalmasíthatják az adatokhoz való hozzáférést.

A RAG rendszerek és a dokumentumkezelési technológiák folyamatos fejlődése lehetővé teszi, hogy az AI rendszerek egyre intelligensebbé és hatékonyabbá váljanak. Ahogy ezek az eszközök egyre jobban integrálódnak a mindennapi életbe, várhatóan tovább növelik a mesterséges intelligencia alkalmazási lehetőségeit.

A jobb érthetőség kedvéért, hamarosan konkrét megoldásokkal is jelentkezem ebben a témában. 🙂

2025 01 06

RAG 1: AI alapú információ-visszakeresés és szövegalkotás

Mesterséges Intelligencia, rag ai, llm, mestersegesintelligencia, mi, rag, vectordb

| Olvasási idő: 4 perc |

Talán már unalmasan hangzik, de ezt a cikket is így kell kezdenem. A mesterséges intelligencia (AI) gyors fejlődése során egyre több olyan technológia és módszertan jelenik meg, amely segít az információk hatékonyabb feldolgozásában és a felhasználók igényeinek pontosabb kielégítésében. Az egyik ilyen technológia a Retrieval-Augmented Generation (röviden RAG), amely az AI világának egy izgalmas területe. Számomra is ez jelenleg az egyik legérdekesebb terület.

RAG Alapok: Mi is az a Retrieval-Augmented Generation?

A RAG technológia lehetővé teszi, hogy a mesterséges intelligencia rendszerek pontosabb, tényszerűbb és relevánsabb válaszokat adjanak különböző kérdésekre, mivel képesek valós időben külső forrásokból származó információkat integrálni a működésükbe. Ezzel minimalizálva az AI egyik sajátosságát a hallucinációt. Emelett egy AI-al erősített dokumentumkezelést valósíthatunk meg.

A generatív mesterséges intelligencia (Generative AI), mint például a GPT modellek, kiválóan alkalmasak a természetes nyelvű szövegek előállítására. Azonban ezek a modellek kizárólag az előzetes tanulás során betáplált adatok alapján dolgoznak, amelyek idővel elavulhatnak. Itt jön képbe a RAG, amely kiegészíti a generatív képességeket azáltal, hogy valós idejű információk kinyerését is lehetővé teszi. Ez különösen fontos az olyan helyzetekben, amikor az aktuális vagy változó információk elérése létfontosságú.

Mi a koncepció?

A Retrieval-Augmented Generation egy olyan technika, amely két különböző, de egymást kiegészítő AI-komponenst ötvöz: az információ-visszakeresést (retrieval) és a szövegalkotást (generation). Ez a megközelítés a következőképpen működik:

Kérdés: A felhasználó egy kérdést tesz fel vagy egy információs kérést küld a rendszernek. Ezt a prompt engineering technikájával valósítja meg.
Információ-visszakeresés: A RAG rendszer első lépésként külső adatforrásokban (pl.: adatbázisokban, dokumentumtárakban vagy weboldalakon) keres releváns adatokat a kérdés megválaszolásához.
Adatok integrálása: Az így összegyűjtött adatokat továbbítja a generatív modellhez (LLM), amely ezek alapján állítja elő a választ.
Válasz generálása: A generatív modell egy koherens, természetes nyelvű választ ad, amely tartalmazza a visszakeresett információkat.

A RAG célja tehát az, hogy az AI modellek ne csak logikus és összefüggő válaszokat adjanak, hanem azokat a legfrissebb és legpontosabb információk alapján állítsák elő. Ez különösen hasznos olyan területeken, ahol az adatok gyorsan változnak, például jogi, pénzügyi vagy technológiai területeken. Emellett olyan esetekben előnyös, amikor fontos számunkra az adatok pontossága. (pl.: AI alapú keresés dokumentum tárakban)

A RAG alapvető komponensei

Habár a RAG egyszerű szolgáltatásnak tűnik, szükséges a fontosabb komponensek ismerete, amely segít megérteni és helyesen használni azt.

Retrieval modul: Ez az a rész, amely az adatok kinyeréséért felelős. A modell egy külső forrásból, például egy vektoradatbázisból, dokumentumtárból vagy más adattárolóból keres ki releváns információkat.
Generációs modul: Ez a generatív nyelvi modell, amely a kinyert adatokat felhasználva állítja elő a választ. Példa lehet erre a GPT-4 vagy más LLM-ek.
Integrációs réteg: Ez köti össze a két modult, biztosítva, hogy a kinyert adatok megfelelő formátumban és kontextusban kerüljenek a generációs modell elé.

Fontos megjegyezni, hogy a generatív modulnál a nyelvi modell (LLM) nem feltétlenül egy nyilvános kell hogy legyen. Tehát nem kell olyan modellt használnunk, amely internet kapcsolattal rendelkezik. Ez azért fontos nekünk, mert így egy teljesen zárt, izolált és biztonságos dokumentum kezelést is megvalósíthatunk a cégünkön belül.

Hogyan kapcsolódik a RAG az AI világához?

Ez ez érdekes kérdés lehet, annak ellenére, hogy az AI-ról beszélve említjük ezt a technológiát. A RAG technológia közvetlenül megoldja az AI egyik legnagyobb problémáját: naprakész információk kezelésére. Míg a hagyományos nyelvi modellek (LLM-ek) az előzetes tanulásuk során szerzett ismeretekre támaszkodnak, a RAG lehetőséget ad a valós idejű információk integrálására. Ez kulcsfontosságú olyan területeken, mint:

Ügyfélszolgálat: Releváns és aktuális válaszok biztosítása a vállalati dokumentációk és szabályzatok alapján.
Orvosi kutatás: Legfrissebb tudományos eredmények integrálása a diagnózis támogatásába.
Oktatás: Pontos, hiteles válaszok nyújtása a tananyagok alapján az aktuális technológia területén.

Miért fontos a RAG?

A RAG technológia jelentősége abban rejlik, hogy egyesíti a generatív modellek kreativitását és a tényszerű adatok pontosságát. Ezáltal képes olyan megoldásokat nyújtani, amelyek nemcsak modernek, hanem hitelesek is. A jövőben a RAG szerepe várhatóan tovább növekszik, különösen az olyan iparágakban, ahol az információk megbízhatósága és aktualitása kulcsfontosságú.

A RAG valódi ereje a dokumentum kezelésben rejlik, amelyről a következő cikkben olvashattok majd.