Detector vindt verzonnen bronnen in adviesrapporten van PwC, een rapport blijkt vrijwel volledig door AI geschreven

Een detector die bronnen natrekt in plaats van stijl

Het Amerikaanse bureau GPTZero, dat software maakt om door AI geschreven tekst te herkennen, heeft vier adviesrapporten van PwC Midden-Oosten door zijn hallucinatiedetector gehaald. Die kijkt niet alleen naar schrijfstijl, maar loopt ook de bronvermeldingen na en vergelijkt wat er geciteerd wordt met wat er in de aangehaalde publicatie werkelijk staat.

De onderzoekers maakten daarbij onderscheid tussen menselijke slordigheid, zoals typefouten en opmaakproblemen, en patronen die kenmerkend zijn voor taalmodellen: vage abstracties, door elkaar gehaalde statistieken en fouten in de gegevens van een publicatie zelf. Voor verwijzingen die op niets uitlopen gebruiken zij de term vibe citations. De Financial Times controleerde de bevindingen voordat die naar buiten kwamen.

Vier rapporten uit twee jaar advieswerk

Het gaat om publicaties die tussen 2024 en 2026 verschenen onder de noemer thought leadership, het soort rapport waarmee een kantoor zijn kennis etaleert om opdrachten binnen te halen. Ze waren gericht op de markt in de Golfregio, met onderwerpen als agentische AI voor bedrijven, betere dienstverlening door overheden en voorspellingen over elektrisch en zelfrijdend vervoer.

De uitkomsten lopen uiteen. Een rapport over bestuurlijke vernieuwing uit 2025 met zeventien bronvermeldingen kwam als volledig door AI geschreven uit de test, een rapport over mobiliteit in de Golfregio uit 2026 met drieenveertig bronnen werd als gemengd aangemerkt, en twee andere rapporten over cyberweerbaarheid en agentische AI zaten daartussenin.

Een raamwerk dat vier regeringen zouden gebruiken

De zwaarste bevinding betreft een instrument dat in het rapport over bestuurlijke vernieuwing wordt gepresenteerd als beproefd product. Volgens de tekst wordt het gebruikt door de overheden van Denemarken, Saoedi-Arabie, de Verenigde Staten en Australie.

De onderzoekers vonden daar geen openbaar bewijs voor. Op de overheidswebsites die als bron zijn opgevoerd komt het raamwerk niet voor, en buiten het rapport zelf is er nauwelijks een spoor van terug te vinden. Voor een mogelijke opdrachtgever is dat een ander soort fout dan een verkeerd paginanummer, want het gaat om de referenties waarop het vertrouwen in een aanbieder rust.

Studies die nergens te vinden zijn

Vier verwijzingen voldeden aan de definitie van een verzonnen citaat. Er wordt gewezen naar een artikel in MIT Technology Review over kunstmatige intelligentie in overheidsdienstverlening dat niet bestaat, en naar een rapport van het World Economic Forum over slimme steden waarvan de opgegeven titel nergens opduikt.

Het duidelijkst is het geval van een wetenschappelijk artikel over de invloed van elektrisch rijden op de luchtkwaliteit in Riyad. Van die studie is geen spoor in het opgegeven tijdschrift, en de auteurs aan wie zij wordt toegeschreven hebben haar niet geschreven. Daarnaast stonden voetnoten in een onlogische volgorde, met hogere nummers voor lagere.

Wat PwC erover zegt

Het regiokantoor in het Midden-Oosten laat weten de kwestie serieus te nemen en de onjuiste bronvermeldingen te corrigeren. Verder gaat de reactie voorlopig niet. Er is niet gezegd of de rapporten worden ingetrokken, wie ze heeft geschreven en of interne regels zijn overtreden.

Die beknoptheid valt op, omdat het niet om intern materiaal gaat maar om publicaties die klanten moesten overtuigen. Wie zo een rapport gebruikt om beleid te onderbouwen, kan achteraf moeilijk vaststellen welke onderdelen wel en niet op controleerbaar onderzoek berusten.

Niet het eerste kantoor dat struikelt

PwC is niet het eerste grote kantoor dat op deze manier in de problemen komt. Eerdere onderzoeken van hetzelfde bureau brachten EY en KPMG ertoe rapporten in te trekken waarin eveneens verzonnen verwijzingen stonden.

Dat patroon maakt de zaak ongemakkelijker dan een incident. Juist deze kantoren verdienen geld aan het begeleiden van organisaties bij de invoering van AI, met kwaliteitsbewaking als kernbelofte. Als de eigen publicaties die toets niet doorstaan, ondermijnt dat het verhaal dat verkocht wordt.

Waarom een detectiepercentage geen bewijs is

Bij de cijfers past een kanttekening. Een detector geeft een kansschatting en geen vaststelling, en dat een tekst als door AI geschreven wordt aangemerkt zegt op zichzelf niets over de juistheid van de inhoud. Een met de hand geschreven rapport kan net zo goed fouten bevatten.

De harde kern van dit onderzoek zit dan ook niet in de percentages maar in de bronnen. Een tijdschriftartikel dat niet bestaat, bestaat niet, ongeacht welk hulpmiddel de tekst heeft geproduceerd. Dat onderscheid is van belang, omdat detectiesoftware in andere situaties al vaker mensen ten onrechte heeft beschuldigd.

Wat dit betekent voor Nederlandse opdrachtgevers

Ook Nederlandse ministeries, gemeenten en bedrijven besteden werk uit aan de grote advieskantoren, en die rapporten belanden regelmatig in besluitvorming. Deze zaak laat zien dat controle op bronnen niet vanzelfsprekend is en dat een opdrachtgever er verstandig aan doet steekproeven te nemen voordat cijfers uit zo een stuk worden overgenomen.

Er is ook een regelkant. Vanaf 2 augustus gelden in de Europese Unie transparantieverplichtingen uit de AI-verordening voor bepaalde toepassingen, en organisaties moeten al zorgen voor voldoende AI-kennis bij medewerkers die deze systemen gebruiken. Verzonnen voetnoten in een verkooprapport vallen daar niet automatisch onder, maar ze laten wel zien waarom die eisen er zijn.