Het tweede scenario is mogelijk via een machine-learning benadering genaamd Retrieval-Augmented Generation (RAG).
RAG is een techniek die de antwoorden van het Large Language Model (LLM) verbetert door broninformatie op te halen uit externe gegevensbestanden om de gegenereerde antwoorden aan te vullen.
Deze gegevensbestanden, waaronder databases, documenten of websites, kunnen domeinspecifieke, bedrijfseigen gegevens bevatten waarmee het LLM specifieke, contextuele informatie kan vinden en samenvatten die verder gaat dan de gegevens waarop het LLM is getraind.
RAG-toepassingen worden de industriestandaard voor organisaties die slimmere generatieve AI-toepassingen willen. In deze blogpost wordt ingegaan op de RAG-architectuur en hoe RAG werkt, op de belangrijkste voordelen van het gebruik van RAG-toepassingen en op enkele gebruikscases in verschillende sectoren.
Waarom RAG belangrijk is
Grote taalmodellen (LLM's), zoals de GPT-modellen van OpenAI, blinken uit in algemene taaltaken, maar hebben om verschillende redenen moeite met het beantwoorden van specifieke vragen:
- LLM's hebben een brede kennisbasis, maar missen vaak diepgaande industrie- of organisatiespecifieke context.
- LLM's kunnen incorrecte antwoorden genereren, ook wel hallucinaties genoemd.
- LLM's zijn niet goed uit te leggen, omdat ze bronnen niet kunnen verifiëren, traceren of citeren.
- De kennis van een LLM is gebaseerd op statische trainingsgegevens die niet worden bijgewerkt met real-time informatie.
Om deze beperkingen aan te pakken, maken bedrijven gebruik van LLM-verbeterende technieken zoals fine-tuning en RAG. Met fine-tuning wordt de onderliggende gegevensset van uw LLM verder getraind, terwijl u met RAG-toepassingen verbinding kunt maken met andere gegevensbronnen en alleen de meest relevante informatie kunt ophalen als antwoord op elke query. Met RAG kunt u hallucinaties verminderen, verklaarbaarheid bieden, gebruikmaken van de meest recente gegevens en het bereik uitbreiden van wat uw LLM kan beantwoorden. Terwijl u de kwaliteit en specificiteit van het antwoord verbetert, zorgt u ook voor een betere gebruikerservaring.
Hoe werkt de RAG?
Op een hoog niveau omvat de RAG architectuur drie belangrijke processen: het begrijpen van zoekopdrachten, het ophalen van informatie en het genereren van antwoorden.
De retrieval-augmented generation architectuur
Voordat je een RAG-toepassing implementeert, is het belangrijk om je gegevens op te schonen zodat de RAG-toepassing snel relevante informatie kan zoeken en ophalen. Dit proces wordt gegevensindexering genoemd.
Frameworks zoals LangChain maken het gemakkelijk om RAG toepassingen te bouwen door een uniforme interface te bieden om LLM's te verbinden met externe databases via API's. Neo4j vector index op de LangChain bibliotheek helpt het indexeringsproces te vereenvoudigen.
1. Gebruikersvragen begrijpen
Het proces begint wanneer een gebruiker een vraag stelt. De vraag gaat via de LLM API naar de RAG toepassing, die deze analyseert om de intentie van de gebruiker te begrijpen en te bepalen naar welke informatie moet worden gezocht.
2. Informatie ophalen
De applicatie maakt gebruik van geavanceerde algoritmes zoals vector similarity search om de meest relevante informatie te vinden in de database van het bedrijf. Deze algoritmen matchen vector embeddings op basis van semantische gelijkenis om de informatie te identificeren die de vraag van de gebruiker het beste kan beantwoorden.
3. Antwoord genereren
De applicatie combineert de opgehaalde informatie met de oorspronkelijke prompt van de gebruiker om een meer gedetailleerde en contextrijke prompt te maken. Vervolgens wordt de nieuwe prompt gebruikt om een antwoord te genereren dat is afgestemd op de interne gegevens van de organisatie.
Wat zijn de voordelen van RAG?
Out-of-the-box generatieve AI-modellen zijn goed uitgerust om een willekeurig aantal taken uit te voeren en een breed scala aan vragen te beantwoorden, omdat ze zijn getraind op openbare gegevens. Het belangrijkste voordeel van het gebruik van een RAG-toepassing met een LLM is dat u uw AI kunt trainen om uw gegevens te gebruiken - en deze gegevens kunnen veranderen op basis van wat het meest relevant en actueel is. Het is gewoon een kwestie van welke gegevensopslag wordt benaderd en hoe vaak de gegevens daarin worden ververst. Met RAG kunt u ook aangepaste gegevens openen en gebruiken zonder deze openbaar te maken. Over het geheel genomen kunt u met RAG een generatieve AI-ervaring bieden die is afgestemd op uw branche en individuele bedrijf, terwijl de beperkingen van een standalone LLM worden opgelost:
- Verhoogde nauwkeurigheid: RAG-toepassingen bieden domeinspecifieke kennis en verbeterde redeneringen, waardoor het risico op hallucinaties aanzienlijk afneemt.
- Contextueel begrip: RAG toepassingen bieden contextuele antwoorden op basis van bedrijfseigen, interne gegevens over uw organisatie, van klantgegevens tot productdetails tot verkoopgeschiedenis.
- Verklaarbaarheid: Door antwoorden te baseren op een bron van waarheid, kunnen RAG-toepassingen informatiebronnen traceren en citeren, wat de transparantie en het vertrouwen van de gebruiker vergroot.
- Actuele informatie: Zolang u uw Graph Database of andere documentstores up-to-date houdt, hebben RAG-toepassingen in realtime toegang tot de nieuwste gegevens, waardoor continue verbetering mogelijk is.
Wat zijn veelvoorkomende RAG-gebruiksgevallen?
RAG verbetert GenAI-toepassingen om context te interpreteren, accurate informatie te leveren en zich aan te passen aan de behoeften van de gebruiker. Dit maakt een breed scala aan use cases mogelijk:
- Chatbots voor klantondersteuning: Met productcatalogi, bedrijfsgegevens en klantinformatie binnen handbereik kunnen RAG chatbots nuttige, gepersonaliseerde antwoorden geven op vragen van klanten. Ze kunnen problemen oplossen, taken voltooien, feedback verzamelen en de klanttevredenheid verbeteren.
- Bedrijfsinformatie en analyse: RAG-applicaties kunnen bedrijven voorzien van inzichten, rapporten en bruikbare aanbevelingen door de laatste marktgegevens, trends en nieuws te integreren. Dit kan de strategische besluitvorming informeren en u helpen de concurrentie voor te blijven.
- Hulp voor de gezondheidszorg: Professionals in de gezondheidszorg kunnen RAG gebruiken om weloverwogen beslissingen te nemen op basis van relevante patiëntgegevens, medische literatuur en klinische richtlijnen. Wanneer een arts bijvoorbeeld een behandelplan overweegt, kan de app mogelijke interacties tussen medicijnen weergeven op basis van de huidige medicijnen van de patiënt en alternatieve therapieën voorstellen op basis van het laatste onderzoek. RAG kan ook de relevante medische geschiedenis van de patiënt samenvatten om beslissingen te begeleiden.
- Juridisch onderzoek: RAG applicaties kunnen snel relevante jurisprudentie, statuten en regelgeving ophalen uit juridische databases en belangrijke punten samenvatten of specifieke juridische vragen beantwoorden, wat tijd bespaart en tegelijkertijd de nauwkeurigheid garandeert.
As enterprises continue to generate ever-increasing amounts of data, RAG puts the data to work to deliver well-informed responses.
Omdat bedrijven steeds grotere hoeveelheden gegevens blijven genereren, zet RAG de gegevens aan het werk om goed geïnformeerde antwoorden te leveren.
Als u uw technische stack voor generatieve AI-modellen aan het evalueren bent, is het 2024 analistenrapport van Enterprise Strategy Group, Selecting a Database for Generative AI in the Enterprise, een waardevolle bron. Lees wat u moet zoeken in een database voor bedrijfsgerede RAG-toepassingen en waarom het combineren van knowledge graph en vector search de sleutel is tot bedrijfsgerelateerde prestaties.
Lees het rapport