V. Naar aanleiding van recente berichten in de pers, vraag ik me af of er een erisico is dan NotebookLM zou hallucineren. Kan hij bv. valse citaten bedenken? Verder: bestaat dat risico ook bij Copilot Notebook?
A. Hallucinatie is een belangrijk probleem, en wel omwille van deze redenen:
- een AI model gaat niet (zo maar) toegeven dat hij het niet weet
- de vraag kan slecht gesteld zijn
- de bronnen kunnen onbetrouwbaar zijn, of slecht afgelijnd
In How to curb hallucinations in Copilot (and other genAI tools) – Computerworld
www.computerworld.com/article/4067372/how-to-curb-hallucinations-in-copilot-and-other-genai-tools.html worden bv. deze tips gegeven1. Tell Copilot to use a “just-the-facts” tone
2. Provide context in your prompts
3. Point Copilot at reliable sources of information
4. Don’t ask open-ended questions
5. Use “chain-of-thought” prompting
6. Use Copilot’s Smart mode
7. Don’t rely on Copilot to double-check facts and citations
8. Become a better fact checker
9. Prod Copilot to admit it doesn’t know an answer
10. Don’t use Copilot for writing final drafts
11. Don’t treat Copilot as your friend
Echter: NotebookLM berust op een gesloten set van documenten die jij selecteert. Het is dus jouw verantwoordelijkheid om de bronnen op kwaliteit te selecteren, en te zorgen dat het onderwerp voldoende gecoverd is. Verder moet je
- beseffen dat vooral de audiosamenvattingen vatbaar zijn voor hallucinaties
- zelf kritisch kijken of de samenvatting steek zou kunnen houden en volledig zou kunnen zijn
- actief (via prompts) op zoek gaan naar lacunes (gebrek aan informatie) of hallucinaties (excessen aan informatie)
- en – wat betreft citaten – er expliciet naar op zoek gaan in de bron, wetende dat de bron op zijn beurt ook ergens op gesteund heeft
Ik heb een aantal bronnen samengenomen in een Notebook dat je zelf kan raadplegen en bevragen. Daaruit komen deze tips:
- Maak gerichte, domeinspecifieke notitieboeken: Vermijd de fout om één gigantisch notitieboek voor alle uiteenlopende onderwerpen te maken. Beperk de inhoud van een notebook strikt tot één specifiek domein. Dit voorkomt ‘contextvervuiling’ en vage, overlappende redeneringen.
- Zorg voor hoogwaardige brondocumenten en vermijd duplicaten: Verwijder dubbele of sterk tegenstrijdige documenten die de AI in de war kunnen brengen. Als u merkt dat de AI de brontekst niet goed kan citeren, controleer dan of uw PDF goed leesbaar is. Het omzetten van uw PDF met OCR of het gebruik van Markdown/platte tekst kan de accuraatheid drastisch verbeteren.
- Gebruik strikte, afgebakende prompts (de ICE-methode): Geef de AI geen vage instructies (zoals «gedraag je als strateeg»), maar wees specifiek over de rol en de regels. Gebruik de ICE-methode (Instructions, Constraints, Escalation). Een goede prompt is bijvoorbeeld: «Beantwoord deze vraag UITSLUITEND met behulp van de geüploade documenten. Als de informatie ontbreekt, antwoord dan expliciet met ‘Onvoldoende data'».
- Verifieer de interpretaties, niet alleen de feiten: NotebookLM levert handige inline-citaten waarmee u direct de bronpassage kunt openen. Neem echter geen genoegen met het enkel checken van de feiten. Verifieer ook of het document daadwerkelijk het argument maakt dat de AI schetst, en of de bewering afkomstig is van een betrouwbare auteur of slechts een mening is die in de tekst wordt aangehaald. Houd altijd zelf de regie («Human in the loop»).
En wat betreft Copilot Notebooks (in het Premium abonnement):
Als je werk sterk verweven is met Microsoft 365 (zoals Teams en Outlook) en je de AI direct acties wilt laten uitvoeren op je bedrijfsdocumenten, biedt Copilot Notebooks krachtige, naadloze integraties. Heb je echter behoefte aan diepgaande, flexibele documentanalyse met een meer betrouwbare bronverwijzing zonder directe integratie in kantoorsoftware, dan wordt NotebookLM door veel gebruikers als superieur beschouwd.