17 maart 2019
Ruim een half jaar geleden, op 29 augustus 2018, verscheen in De Groene Amsterdammer het artikel met de kop:
“Onderzoek Desinformatie op Twitter – Hoe Russische trollen inspelen op westerse angsten“
De Groene claimt:
– Nieuws is dat de ramp met de MH17 een belangrijk thema is voor de Russische trollen.
– De trollen bemoeien zich actief met voor Nederland relevante onderwerpen zoals de MH17-ramp.
– Een snelle greep uit de bijna drie miljoen tweets toont ruim drieduizend berichten die direct gaan over de vliegtuigramp of de inmiddels vier jaar lange afwikkeling daarvan.
Mijn kritiek op dat artikel drie dagen later is hier te lezen. Samengevat:
– Van de 2.973.331 tweets die De Groene Amsterdammer zegt te hebben geanalyseerd zijn er slechts 1.167 als Nederlandstalig gemarkeerd.
– Van de 2.973.331 tweets die De Groene Amsterdammer zegt te hebben geanalyseerd zijn er slechts twee (2 !?!) met hashtag #MH17 in het Nederlands.
– Er is geen onderzoek dat invloed Russische trollentweets in Nederland hard maakt.
– Kwaliteit van de database is van bedenkelijk niveau. Zo is bijvoorbeeld deze tweet als nederlandstalig en van de Internet Research Agency in St. Petersburg geïdentificeerd:
Russische trollen komen opeens uit Venezuela
In deel I van een half jaar geleden formuleerde ik vragen voor eventuele vervolgonderzoeken. Deze is nu opeens heel actueel:
– Zijn de drie miljoen tweets werkelijk afkomstig van een Russische trollenfabriek?
Opeens is Twitter van mening dat accounts niet uit Rusland, maar uit Venezuela afkomstig zijn. Twitter geeft toe dat het ‘handles’ verkeerd heeft geïdentificeerd.
En:
“Attributie is een van de meest uitdagende aspecten van onderzoek naar informatieoperaties en we vertrouwen op partnerschappen met overheden, wetshandhaving en onderzoekers om hier over onze inspanningen te informeren.”
Zonder de scherpe blik van een oplettende researcher zou iedereen nog steeds aannemen dat Twitter in staat is vast te stellen (in ieder geval minimaal) uit welk land een tweet afkomstig is. Dat blijkt dus niet zo te zijn.
Met deze nieuwe informatie is komen vast te staan dat datasets van Twitter niet als grondstof voor bona fide onderzoek kunnen worden gebruikt.
In tegenstelling tot De Groene beseft Bloomberg hoe ernstig dit is en past een artikel aan. Kop van het originele artikel:
en de nieuwe kop:
Origineel: “Russische Trollen Verhoogden Aantal Tweets voor Pro-Trump Websites”
Aangepast: “Trollen Verhoogden Aantal Tweets voor Pro-Trump Websites”
Heel belangrijk is de Noot van de Redactie van Bloomberg in het aangepaste artikel:
“De centrale punten van dit artikel, oorspronkelijk gepubliceerd op 15 augustus 2018, zijn ongeldig verklaard door herzieningen die Twitter Inc. vervolgens heeft doorgevoerd in een database van meer dan 3000 accounts die zijn gekoppeld aan een Russische trollenboerderij genaamd Internet Research Agency. Op 8 februari 2019 verwijderde het sociale-mediabedrijf 228 accounts uit die database nadat bedrijfsfunctionarissen vaststelden dat ze ten onrechte werden geïdentificeerd als gekoppeld aan de IRA. Die 228 accounts waren grotendeels verantwoordelijk voor de activiteit die in dit artikel wordt benadrukt, volgens onderzoekers van Clemson University, van wie de eigen compilatie van IRA-gekoppelde tweets enkele gegevens voor het artikel opleverde. De herziene gegevens laten niet zien dat de Russische trolling-operatie in juli 2017 zijn aanwezigheid op de kaart verhoogde naar nieuwe hoogten, noch dat Russische trollen waren gericht op het populariseren van krantenkoppen en nieuwsverhalen die oorspronkelijk verschenen op de op de VS gebaseerde nieuwssite Truthfeed. Omwille van de transparantie blijft de tekst van het originele verhaal hieronder.”
“Hoe Russische trollen inspelen op westerse angsten”
Binnenkort ook aanpassing van kop in De Groene?
“Bloggers verdraaien wat De Groene schrijft”
Auteurs van De Groene Robert van der Noordaa en Coen van de Ven schrijven in een aanvulling op hun artikel:
“Sinds publicatie is door bloggers en een kleine groep twitteraars stelselmatig geschreven dat ons stuk gaat over ‘hoe Russische trollen zich met MH17-onderwerpen richten op Nederland’. Dat is een verdraaiing van wat wij hebben geschreven.”
Echt?
Een paar voorbeelden hoe informatieprofessionals het artikel in De Groene duidden:
PANORAMA
‘Russische trollen ook actief in Nederland’ AMSTERDAM (ANP) –
Rusland probeert wel degelijk af en toe Nederlandse discussies te beïnvloeden met nepaccounts. Dat concludeert De Groene Amsterdammer na eigen onderzoek.
Hart van Nederland
3.000 nepaccounts actief in Nederland
Rusland probeert wel degelijk af en toe Nederlandse discussies te beïnvloeden met nepaccounts. Dat concludeert De Groene Amsterdammer na eigen onderzoek.
Algemeen Dagblad
Russische troll-accounts ook actief in Nederland
Rusland probeert Nederlandse discussies op sociale media te beïnvloeden met nepaccounts. Dat concludeert De Groene Amsterdammer na eigen onderzoek. Volgens het weekblad gebeurde dit onder andere bij discussies over MH17 en de PVV.
EO
MH17 en Wilders
In onderzoek van de Groene Amsterdammer en NRC, zien we dat Russische trollen ook hebben geprobeerd om gevoelige thema’s in de Nederlandse samenleving aan te snijden.
Linda
Dit is hoe Russische trollen inspelen op jouw angsten
Twitter is een platform vol meningen. Veel gezichten achter zo’n account bestaan uit Russische trollen, die volgens onderzoekers ‘leugens verspreiden en de waarheid verdringen’. De Groene Amsterdammer vertelt in een uitvoerig artikel over hoe de trollen inspelen op westerse angsten.
Desinformatie van ‘betrouwbare bronnen’ wordt overgenomen door andere ‘betrouwbare bronnen’ met een groot bereik en is daarom vele malen gevaarlijker dan wat anonieme figuren op Twitter kliederen.
Zo ontstaan ‘feiten’ en wie op basis van dezelfde informatie tot andere conclusies komt is een trol.
“Van vaccineren tot MH17, Russische trollen beïnvloeden ons online”, tweet De Groene Amsterdammer. Het blad ‘verdraait’ hiermee zelf net als de bloggers, een kleine groep twitteraars, vrijwel elke persoon die het artikel heeft gelezen en collega informatieprofessionals wat de De Groene auteurs schreven of eigenlijk ‘bedoelden’.
Centrale en belangrijkste thema in het artikel op het punt van geloofwaardigheid is de claim: Russische trollen beïnvloeden ons online. Voor deze claim wordt door De Groene nul bewijs geleverd.
Onbetrouwbare Kremlin-acivist versus eerlijke data-journalist
Geloofwaardigheid van de bron is van doorslaggevend belang voor de geloofwaardigheid van de informatie die je als nieuwsconsument tot je neemt.
Perceptie is belangrijk.
Ervaren data-journalist Van der Noordaa die artikelen schrijft voor diverse bladen zal voor de meesten geloofwaardiger zijn dan blogger Max van der Werff van kremlintroll.nl
Maar is dat terecht? Op Twitter laat de co-auteur van het artikel in De Groene zijn activistische kant zien en slaat regelmatig wild om zich heen. Een paar voorbeelden:
Ik ben best tevreden met mijn leven en ook gewend om uitgescholden te worden voor ‘nuttige idioot’, ‘Poetin fanboy’, ‘Kremlin-trol’, ‘Truther’. De kwalificatie ‘Russische trol’ opgespeld krijgen door een data-journalist die heeft gefaald in het identificeren van Russische trollen. Oh ironie.
Het gescheld van de ‘ervaren data-journalist’ was het gevolg van een fact-check die ik deed op een claim van Van der Noordaa:
“Geniaal. Kerstkaart Wilders is regelrecht gejat van Russische site. Brilliant” [bron]
Toen aangetoond was dat de kerstkaart niet “regelrecht gejat is van een Russische site”, verplaatste Van der Noordaa snel de doelpalen en veranderde zijn claim in:
“Voor alle trollen en reaguurders op die Wilders kerstkaart foto. De kerstfoto is van Andrey Kuzmin uit St Petersburg.” [bron]
Helaas voor de zichzelf ‘Investigative journalist’ noemende auteur klopt ook deze informatie niet. De fotograaf komt uit Tomsk, niet St. Petersburg.
Met ‘humor’ Geert Wilders negatief in verband brengen met Rusland via een foto van Shutterstock en dan ook nog op deze knullige manier is flauw en vervolgens ook nog de fout niet toegeven is buitengewoon onprofessioneel.
ANYTHING GOES
Een collega er van beschuldigen omgekocht te zijn en van het maken van reizen naar Rusland die gretig door de Russische federatie zouden zijn betaald.
Eerst claimen en DAARNA kijken of er enig bewijs voor deze ernstige beschuldiging bestaat. Een onderzoeksjournalist onwaardig.
Het verhaal van nabestaanden van MH17 die overwegen Oekraïne aansprakelijk te stellen voor het niet sluiten van het luchtruim wordt door Van der Noordaa betiteld als “Halve Propaganda”. Je moet maar durven. Een oorvijg van RTL-Nieuws coryfee Pieter Klein valt hem terecht ten deel.
Co-auteur Coen van de Ven tweet 28 november 2018 aan Alexander Pleijter van Nieuwscheckers:
“Ha Alexander! Dank voor de verduidelijking en fijn dat we het even konden toelichten in Leiden. Binnenkort komen die spreadsheets :)”
Inmiddels is publicatie van het eerste en vooralsnog enige artikel in De Groene ruim zes maanden geleden. Waarom niet gewoon de datasets en zoekwoorden openbaar maken? Wat hebben de onderzoekers te verbergen?
Acroniem en hipster toverwoord: OSINT
Open Source INTelligence, ook vaak betiteld als Open Source Social Media.
De woorden hebben magische betekenis gekregen. Dankzij het internet en moderne zoektechnieken kan iedereen (met de juiste skills natuurlijk) de waarheid achterhalen. Op elk gebied. Althans, die illusie wordt door velen gewekt.
Laten we het artikel in De Groene door het OSINT-model stromen.
We stellen vast:
– Twitter heeft datasets gepubliceerd die de basis vormen van de claims in het artikel. Bewezen is dat de datasets niet betrouwbaar zijn. Bloomberg heeft om die reden een rectificatie geplaatst.
– Zelfs als we de dataset van Twitter als betrouwbaar classificeren, dan nog worden de conclusies van De Groene niet door Open Source gegevens in die database ondersteund.
– De Groene claimt op basis van de Twitter dataset een eigen database te hebben gebouwd. Die database is niet Open Source en de claims kunnen dus niet door derden worden gecontroleerd
– Co-auteur van De Groene belooft de data openbaar te maken, maar laat geheel open wanneer dat gaat gebeuren. De onderzoeken waar ze nog ‘volop mee bezig zijn’ zouden nog jaren kunnen duren?
– De Groene heeft, voor zover bekend 62 zoektermen gebruikt voor het MH17 topic. Onduidelijk is waarom die zoektermen na een half jaar nog steeds geheim moeten blijven.
– Gebleken is dat de ‘ervaren data-analist’ van De Groene niet onpartijdig is. Hij heeft een sterke anti-Rusland bias en dat er van alles aan zijn beoordelingsvermogen mankeert, is hierboven aangetoond.
Boeiend is het onderzoek van De Groene naar Russische trollentweets zeker.
Maar klopt het wel wat er beweerd wordt?
Collega nieuwschecker van Peter Burger aan de Leidse universiteit is Alexander Pleijter. Hij legt uit dat je met navolgbaar en repliceerbaar onderzoek “critici de wind uit de zeilen neemt”.
Je moet voorkomen dat critici kunnen zeggen “dat je niet open en eerlijk bent”, legt Pleijter uit. Op de vervolgvraag: “Waarom maken ze bij @DeGroene dan de datasets niet openbaar?”, reageert de Leidse wetenschapper helaas niet.
“Te mooi om waar te zijn”
In het artikel in De Groene ‘Te mooi om waar te zijn‘ leggen David Davidson en Rasit Elibol uit hoe het kon gebeuren dat een journalist jarenlang de boel oplichtte. De belangrijkste redenen:
– media willen smeuïge verhalen
– gebruik maken van niet-verifieerbare bronnen
OPNIEUW OPROEP TOT RECTIFICATIE
Op 2 september 2018 heb ik de redactie van De Groene opgeroepen het gewraakte artikel te rectificeren. Ik herhaal vandaag deze oproep en vanwege de sindsdien bekend geworden nieuwe inzichten voeg ik daar het volgende aan toe:
– De Groene dient onafhankelijke onderzoekers de gelegenheid te geven de schijn van bedrog te onderzoeken. Daarvoor is nodig,
OPEN SOURCING van:
– de 62 gebruikte zoekwoorden.
– originele database met ‘ruim 3.000 tweets gerelateerd aan MH17.
– update met aanpassing van database na verwijdering van ‘tweets uit Venezuela’.
Aanzet tot vervolgonderzoeken: Wie checkt de fact checkers?
Wordt vervolgd