Fake news: de kenmerken van bedrieglijke journalistiek

Fake news: de kenmerken van bedrieglijke journalistiek

Zijn de media nog betrouwbaar in een tijd waarin fake news hoogtij viert? Hoe onderscheiden we echt nieuws van ongefundeerde stemmingmakerij? Zijn de bronnen die een journalist aanhaalt wel te vertrouwen? Of zelfs: bestaan ze überhaupt wel?

In deze studie worden de kenmerken van bedrieglijke journalistiek onderzocht. De kernvraag luidt: waaraan kan de lezer herkennen dat bronnen in een tekst door de journalist gefingeerd zijn? Om deze kenmerken vast te stellen, zijn als bedrieglijk beschouwde teksten van voormalig Trouw-journalist Perdiep Ramesar vergeleken met betrouwbare artikelen. Op basis van reeds verschenen literatuur is beoordeeld hoeveel bronnen er per artikel aangehaald worden, in hoeverre daarbij sprake was van secundaire, complementaire en gestereotypeerde bronnen en hoevaak een bron direct gequoot werd, al dan niet in de vorm van een embedded quote. Uit de resultaten is gebleken dat er vaker gebruikgemaakt wordt van secundaire, complementaire en gestereotypeerde bronnen en directe quotes in onbetrouwbare journalistieke tekstproducties. Dit blijkt niet te gelden voor het aantal embedded quotes en voor het totale aantal unieke bronnen per tekst kan het bevestigd noch uitgesloten worden.

De corpusanalyse is volledig handmatig geschied, hetgeen de betrouwbaarheid van dit onderzoek ten goede komt. Behalve de verzameling onbetrouwbare teksten van Ramesar is er nog een tweetal corpora samengesteld, om een vergelijking mogelijk te maken. Dit waren enerzijds betrouwbare teksten van dezelfde auteur en anderzijds betrouwbare teksten van andere auteurs. Dit onderscheid is gemaakt om uit te kunnen sluiten dat een resultaat een mogelijk gevolg is van Ramesars persoonlijke schrijfstijl. Om de betrouwbaarheid van het onderzoek te vergroten is een gedeelte van de teksten door een tweede onderzoeker gecodeerd. De intercodeurbetrouwbaarheid was voor alle variabelen goed tot zeer goed.

Inleiding

Op 14 november 2014 werd Perdiep Ramesar ontslagen door het landelijke dagblad Trouw. Zijn congé had de journalist te danken aan het vermeende fingeren van bronnen in, naar later bleek, 126 artikelen die van zijn hand zijn verschenen tussen 2007 en 2014. Ramesar anonimiseerde bronnen en voerde namen op, die niet verifieerbaar bleken via diverse sociale media en het namenregister van het Meertens Instituut. Op basis van een onafhankelijk onderzoeksrapport, dat verscheen op de website van Trouw (Myjer & Smit, 2014), werd hij door de directie van het dagblad ontslagen. Tot op heden heeft Ramesar zich niet uitgesproken over de kwestie en is het derhalve nog onduidelijk of er in zijn artikelen sprake is van het hanteren van pseudoniemen of dat de door hem opgevoerde bronnen in werkelijkheid niet bestaan en aldus verzonnen zijn.

Het fingeren van feiten, en dus ook van bronnen en hun uitspraken, is in strijd met belangrijke journalistieke normen, zoals door verscheidene richtlijnen voorgeschreven. De journalist dient objectief te zijn en baseert zich daarom op deugdelijke bronnen, in plaats van zijn eigen visie op zaken te ventileren. Volgens Berkowitz (2008) is er daarbij sprake van een polaire tegenstelling. Enerzijds heeft de journalist de democratische taak hoor- en wederhoor te plegen. Hij dient meerdere bronnen en en daarbij behorende standpunten aan bod te laten komen. Vaak is het lastig om deze in mening variërende bronnen te vinden, waardoor het verzinnen van bronnen mogelijk aanlokkelijk wordt.

Anderzijds wordt er een symbiotische positie onderscheiden, die inhoudt dat voor zowel journalist als bron het principe van geven en nemen geldt. Beiden hebben immers een specifiek doel dat zij nastreven (de journalist wil een nieuwswaardig artikel schrijven en de bron heeft veelal persoonlijke belangen), maar zullen iets moeten toegeven om de ander tegemoet te komen. Berkowitz tekent daarbij aan dat het hier een continue schaal betreft, de context bepalend is voor de relatie tussen journalist en bron en dat er in veel onderzoek voorbijgegaan wordt aan de vraag in hoeverre het van belang is of de bron dan wel de journalist de ‘macht’ heeft.

Volgens Pavlik (2004) is het voornamelijk van belang dat de journalist een integere relatie onderhoudt met zijn bronnen en ook met zijn publiek. Dit zou leiden tot het behouden van geloofwaardigheid, hetgeen volgens Pavlik de enige waarde is die een journalist heeft.

De journalist die in zijn berichtgeving fictieve elementen verwerkt, door namen van betrokkenen te wijzigen of feiten te dramatiseren, dient zich daar telkens voor te verantwoorden. Dit voorschrift, evenals de bovenstaande zoals aangehaald in de Code voor de Journalistiek, zijn conform de in 1954 door de Internationale Federatie van Journalisten opgestelde Code van Bordeaux. Hierin staat geschreven dat de journalist zijn berichtgeving louter doet berusten op feiten waarvan hij de bron kent en dat hij wezenlijke informatie niet achterwege zal laten en geen documenten zal vervalsen. Overigens staat in dezelfde code dat de journalist het beroepsgeheim in acht zal nemen ten aanzien van de bron van in vertrouwen verkregen informatie. Echter wordt nergens geschreven dat het gebruikelijk is om in deze gevallen namen te fingeren, zonder hiervan melding te maken.

Twee door Kovach en Rosenstiel (2007) beschreven kernelementen van de journalistiek zijn het vertellen van de waarheid als de eerste plicht van de journalist en de essentialiteit van (de mogelijkheid tot) verificatie van de feiten. Iedere vorm van journalistiek waarin geen recht wordt gedaan aan bovengenoemde voorschriften, zou derhalve als misleidend, bedrieglijk of fake news bestempeld mogen worden. Daarom poogt dit onderzoek de volgende onderzoeksvraag te beantwoorden:

RQ: Aan welke bronkenmerken zijn bedrieglijke journalistieke teksten te herkennen?

In het vervolg van dit onderzoeksverslag zal allereerst de reeds verschenen literatuur worden besproken. Op basis van deze literatuur is een vijftal hypotheses opgesteld, dat in het hier gepresenteerde onderzoek getoetst is. De wijze waarop dit is gebeurd zal in de methodesectie besproken worden. Dit hoofdstuk volgt na het theoretisch kader. Hierna worden de onderzoeksresultaten besproken en toegelicht, waarna er in de conclusie/discussie een interpretatie van deze resultaten volgt. Bovendien worden in dit hoofdstuk aanbevelingen met betrekking tot vervolgonderzoek gedaan.

Theoretisch kader

Een kernpunt dat in ieder handboek en iedere journalistieke leidraad terugkeert is de plicht om, ten behoeve van de objectiviteit, meerdere bronnen te raadplegen. Onder anderen Berkowitz (2008) onderschrijft dit. Hij voegt eraan toe dat dit het journalistieke schrijfproces kan bemoelijken, doordat de (gewenste) bronnen niet altijd beschikbaar zijn. Doordat de journalistiek afhankelijk is van de beschikbaarheid van relevante bronnen, kost het schrijven vaak meer tijd dan de journalist ervoor had ingepland.

Bovendien is het mogelijk dat bronnen überhaupt niet bereid zijn mee te werken of de discussie met de journalist aangaan, terwijl deze geacht wordt neutraal te zijn. Deze restricties gelden niet voor schrijvers van fake news-teksten, daar zij zich op niet-bestaande bronnen baseren. Aannemelijk is dat zij daarom meer bronnen zouden ‘raadplegen’ dan schrijvers van betrouwbare artikelen. Hiernaar hebben Lasorsa & Dai (2007a) onderzoek gedaan en uit hun studie bleek dat in een derde van de gevallen van misleidende journalistieke producties sprake was van het simuleren van bronnen. Daarbij wees hun onderzoek, conform hetgeen hierboven aan de hand van Berkowitz (2008) werd verondersteld, inderdaad uit dat het aantal ‘geraadpleegde’ bronnen in bedrieglijke journalistieke teksten groter is dan in betrouwbaar journalistiek werk. Dit leidt tot de eerste hypothese:

H1: In bedrieglijke journalistieke teksten worden meer bronnen aangehaald dan in betrouwbare journalistieke teksten.

Niet alleen is het voor de journalist van belang om voldoende bronnen aan het woord te laten, maar ook het type bronnen dat hij selecteert doet ertoe. Atton & Wickenden (2005) deden onderzoek naar de mate waarin ‘het volk’ vertegenwoordigd is in het nieuws. Zij citeren Becker (1967), waarin gesteld wordt dat zij die hoger op de maatschappelijke ladder staan vaker gevraagd worden om hun kennis te delen dan ‘ondergeschikte groepen’, omdat eerstgenoemden meer toegang hebben tot verscheidene bureaucratische organisaties binnen de maatschappij. Deze bronnen worden primary definers genoemd, veelal afkomstig van elite-instituten, omdat ze eenvoudiger te vinden zijn en bovendien als geloofwaardig beschouwd worden. Onder druk van de naderende deadline ligt het derhalve voor de hand dat journalisten zich tot hen richten voor het verkrijgen van informatie (Hall, 1978, zoals geciteerd in Atton & Wickenden, 2005). Hall stelt verder dat zogenaamde secondary definers, ook wel ‘Jan Modaal’, vaker aan bod (moeten) komen in alternatieve media en vaak als bron gebruikt worden om beweringen van primaire bronnen (grote instituten, etc.) te ontkrachten en/of tegen te spreken.

Reeds vermeld werd dat Lasorsa & Dai (2007a) vonden dat er in bedrieglijke journalistiek meer bronnen aangehaald worden. Hier voegden zij nog aan toe dat deze bronnen vaker van Aziatische afkomst zijn en minder vaak blank. Het gevolg bleek dat het aantal moeilijk te traceren bronnen in misleidende verhalen veel hoger is dan in feitelijk correcte verhalen. Te verwachten valt dus dat in fake news-producties meer secondary definers voorkomen dan in betrouwbare artikelen, aangezien deze voor het publiek onbekende bronnen, in tegenstelling tot primary definers, geen specifiek aanzien hebben binnen de maatschappij en derhalve niet gauw hun beklag zouden doen wanneer zij ten onrechte geciteerd worden. Bovendien is het moeilijker en minder voor de hand liggend om na te gaan of deze bronnen wel echt bestaan.

Zoals vermeld in de Code voor de Journalistiek, bestaat er een beroepsgeheim ten aanzien van vertrouwelijk verkregen informatie. In die gevallen dient de bron anoniem te blijven. Bronnen kunnen anonimiteit eisen als voorwaarde voor het geven van informatie, als het gaat om quotes, achtergrondinformatie of vertrouwelijke documenten (Carlson, 2010). Carlson noemt drie kenmerken die anonieme bronnen onderscheiden van reguliere bronnen: er is een gebrek aan transparantie voor wat betreft de manier waarop informatie is verkregen, de journalist draagt meer verantwoordelijkheid voor de uitspraken van hun onbekende bronnen en de journalist krijgt een actieve rol in het verhaal, terwijl hij normaliter op de achtergrond wordt gehouden door de uitingen van de bronnen.

Verder sluit Carlson zich aan bij Hall (1978, zoals geciteerd in Atton & Wickenden, 2005), door te stellen dat toegang tot elite-bronnen van groot belang zijn voor (het beeld van) kwaliteitsmedia. Volgens hem geeft het journalisten persoonlijk ook een bepaald aanzien binnen de redactie, wanneer zij vaak met elite-bronnen spreken. Daarentegen profiteren anonieme bronnen van bepaalde berichtgeving, zonder zelf aan deze berichten gekoppeld te worden. Dit is het geven en nemen-principe, zoals Berkowitz (2008) het omschrijft. Een aanname die Carlson (2010) maakt is dat geanonimiseerde bronnen altijd klokkenluiders zijn, die informatie verschaffen die de journalist anders niet zou kunnen verkrijgen. Verder stelt hij dat journalisten zouden moeten kunnen handelen zonder transparantie. Om ongeziene praktijken bij andere instituten bloot te kunnen leggen, opereren journalisten zonder dat zij zelf gecontroleerd worden. Deze aannames leiden ertoe dat niet bij naam genoemde bronnen uitgegroeid zijn tot een twijfelachtig onderdeel van het niewsdiscourse (Carlson, 2010). De tweede hypothese bestaat uit twee delen en luidt:

H2a: In bedrieglijke journalistieke teksten wordt vaker gebruikgemaakt van bronnen die als secondary definers te typeren zijn dan in betrouwbare journalistieke teksten;


H2b: In bedrieglijke journalistieke teksten wordt vaker gebruikgemaakt van anonieme bronnen dan in betrouwbare journalistieke teksten.

Een andere groep schrijvers wiens teksten vanzelfsprekend niet gecontroleerd worden, wordt gevormd door schrijvers van fictie. Zij creëren hun eigen narratieve wereld, zonder rekening te hoeven houden met de feitelijke werkelijkheid. De volgende zin legt op een goede wijze een link tussen misleidende journalistiek en fictie: “Deceptive ‘news,’ like fiction, can reduce the real world to a tidy, manageable place where everything fits together nicely” (Dalecki, Lasorsa & Lewis, 2009, p. 3). Zij stellen dat literaire journalisten daarom ook in het nadeel zijn, omdat zij niet, zoals romanschrijvers, de luxe hebben om zaken te verzinnen. Zij zijn immers gebonden aan feiten en het nastreven van geloofwaardigheid.  Dit geldt niet voor schrijvers van misleidende journalistiek, aangezien zij voor het beschrijven van feiten, bronnen en uitspraken niet gebonden zijn aan de werkelijkheid. Dalecki, Lasorsa & Lewis poneren daarom het volgende: “Deceptive news stories can make the perfect point with the perfect source’s perfect anecdote or perfect quote. (…) Deceptive news stories can be too good to be true” (Dalecki, Lasorsa & Lewis, 2009, p. 5). De onderzoekers hebben onderzoek gedaan naar bedrieglijke teksten van een vijftal Amerikaanse nieuwsorganisaties. Hierbij richtten zij zich op het vaststellen van de leesbaarheid van deze teksten en de hoeveelheid directe quotes. Overeenkomstig hun hypotheses bleek onder andere dat misleidende journalistieke producties hoger scoren dan authenthieke verhalen op leesbaarheid en verhaallengte. Waar Dalecki, Lasorsa & Lewis zich richtten op leesbaarheid en verhaallengte, wordt in deze studie onderzocht in hoeverre bronnen elkaar aanvullen. De hypothese die hieruit volgt luidt:

H3: Bronnen uit bedrieglijke journalistieke teksten vullen elkaar vaker perfect aan dan in reguliere journalistieke teksten.

Een ander kenmerk dat de leesbaarheid van teksten verhoogt,  is stereotypering (Dalecki, Lasorsa & Lewis, 2009; Lasorsa & Dai, 2007b). Om dit verschijnsel te definiëren, refereren Lasorsa & Dai aan Fiske (1998), waarin staat geschreven dat “stereotypes are category-based reactions to people from groups perceived to differ significantly from one’s own” (Lasorsa & Dai, 2007b, p. 281). Echter bestaan er legio definities van het begrip stereotypering. Een tamelijk breedschalige begripsomschrijving is de volgende: “[stereotypes are] probabilistic predictions that distinguish the stereotyped group from others” (McCauley & Stitt, 1978). Seiter (1986) benadrukt dat stereotypering vanuit meerdere perspectieven benaderd kan worden. Vanuit sociaal-psychologisch oogpunt is stereotypering volgens haar bijvoorbeeld niet per definitie een negatief proces. Zij stelt dat stereotypering niet alleen onvermijdelijk is, maar vaak ook tamelijk functioneel wanneer het gaat om effectieve sociale interactie. Veelal is er een gegronde reden voor het vormen van stereotypes en schuilt er een kern van waarheid in. Echter dient er wel rekening gehouden te worden met individuele verschillen binnen groepen (Seiter, 1986).

Ook Lippmann, een van de eersten die zich met het fenomeen bezighield, onderstreept de positieve rol die stereotypering kan spelen. Hij schrijft dat het hanteren van stereotypen cognitieve energie bespaart, omdat het door beelden in ons hoofd te vormen mogelijk is om de wereld om ons heen te begrijpen (Lippmann, 1946). We kunnen dus terugvallen op reeds gevormde cognitieve modellen van bijvoorbeeld specifieke bevolkingsgroepen. Verwijzend naar Tuchman (1978), Schudson (2003) en Donsback (2004) onderscheiden Lasorsa & Dai (2007b) repectievelijk een sociologisch, cultureel en een psychologisch perspectief om stereotypering te benaderen. Het aan stereotypering toegekende kenmerk dat deze drie perspectieven delen, is dat het lijkt te ontstaan om het werk te stroomlijnen en de discrepantie tussen wat de lezer verwacht en daadwerkelijk leest te verlichten, wanneer de journalist wordt overladen met een stortvloed aan feiten. Gesteld wordt dat journalisten die misleidende teksten schrijven niet gemotiveerd zijn om accurate verhalen te schrijven en daardoor automatisch hun toevlucht zoeken tot stereotypering. Het voordeel van stereotypering voor de lezer is dat het minder cognitieve inspanning kost, zoals ook Lippmann reeds stelde, daar de lezer kan terugvallen op achtergrondkennis die hij reeds bezit, in plaats van dat hij nieuwe informatie moet verwerken. Informatie wordt dan ook aan de hand van stereotypes, in termen van het Elaboration Likelihood Model (Cacioppo & Petty, 1984), perifeer verwerkt, tenzij de lezer door doelen, motieven, behoeften of zijn omgeving gedwongen wordt om nadrukkelijk naar de inhoud van de tekst te kijken. In dat geval is er sprake van centrale verwerking, zoals dit door het ELM wordt genoemd, en kost het lezen dus meer cognitieve energie. Voor de nieuwsgebruiker die het nieuws vooral als tijdsverdrijf consumeert en niet al te diep op de materie wenst in te gaan, kan het toepassen van stereotypen derhalve voordelig zijn.

De negatieve connotatie die aan het woord stereotypering kleeft, is echter wel degelijk ergens op gestoeld. Het gevaar dat schuilt in stereotypering is namelijk dat het kan omslaan in discriminatie. Verschillende handboeken schrijven voor dat dit te allen tijde voorkomen dient te worden. Zo werd in 1986 punt zeven aan de Code van Bordeaux toegevoegd, waarin vastgelegd is dat de journalist “zich bewust zal zijn van het gevaar van door media verspreide discriminatie, en al het mogelijk zal doen om discriminatie te voorkomen, gebaseerd op, o.a., ras, sekse, seksuele geaardheid, taal, godsdienst, politieke of andere meningen en nationale of sociale afkomst” (Code van Bordeaux, 1954). Het staat echter niet per definitie vast dat journalisten die zich wel schuldig maken aan (discriminerende) stereotypering, dit doen omdat zij hun vakethiek niet verstaan. Uit onderzoek van Lee (2004), waarin zij twintig journalisten interviewde van wie bekend was dat zij bedrieglijke teksten hadden geschreven, bleek dat het merendeel van deze journalisten wel degelijk een moreel oordeel konden vellen over hun werk. Zij veroordeelden in hun werk openlijk vermeende wetsovertreders, zoals bleek uit hun benadering van schurken en slachtoffers in hun journalistieke producties (Lee, 2004). Op basis hiervan kan gesteld worden dat de journalist die bronnen verzint, bewust een ethische afweging heeft gemaakt, die dit naar zijn of haar mening rechtvaardigt.

Met andere woorden: de journalist die beroepshalve in staat is om een moreel oordeel te vellen over andermans daden, moet ook in staat zijn om in te schatten of zijn eigen afwegingen met betrekking tot het verzinnen van bronnen ethisch verantwoord zijn. Het is daarom een bewuste keuze wanneer de journalist opteert voor het fingeren van bronnen en geen gevolg van een gebrek aan moreel besef.

Volgens Lasorsa & Dai (2007b) zijn twee zaken bepalend voor het gebruik van stereotypes door journalisten. Ten eerste is dit de mate waarin de journalist gemotiveerd is om goed en grondig verslag te doen en ten tweede de mate waarin hij beroepshalve voldoende mogelijkheden heeft om dit ten uitvoer te brengen. Zo zou het kunnen gebeuren dat een journalist onder druk van de naderende deadline weinig research kan doen en daarom zijn beschrijving van een bepaald personage baseert op het heersende beeld van de groep waartoe dit personage behoort. Aannemelijk is dat dit voor schrijvers van betrouwbare stukken eerder geldt dan voor schrijvers van fake news, daar eerstgenoemde groep daadwerkelijk bronnen dient op te zoeken, te interviewen en dit vervolgens uit moet schrijven. Schrijvers van fake news daarentegen hoeven dit alles niet te doen, omdat zij de bronnen en hun uitspraken verzinnen. Zij zullen daardoor meer tijd overhouden en veel minder druk van de naderende deadline ervaren. Echter, volgens Dalecki, Lasorsa & Lewis (2009) gaven schrijvers van misleidende berichten aan dat zij de tijd die zij overhielden niet expliciet gebruikten om hun stukken te verbeteren, maar deze tijd besteedden aan andere, niet-beroepsgerelateerde doeleinden.

Onderzoek van Lasorsa & Dai (2007b) naar tien Amerikaanse journalisten die schuldig zijn bevonden aan het schrijven van bedrieglijke teksten, heeft dan ook uitgewezen dat misleidende berichten significant meer gevallen van stereotypering bevatten dan betrouwbaar nieuws. Zij noemen hier vier mogelijke redenen voor. Deze journalisten zouden cognitief lui kunnen zijn, bewust gebruikmaken van stereotyperende rollen om meer lezers en aandacht te trekken, dit doen uit minachting voor het journalistieke beroep of het publiek en tot slot zou het mogelijk zijn dat zij dit onbewust doen. Volgens Lasorsa & Dai is in dat geval stereotypering eerder de oorzaak van het schrijven van fake news-teksten dan andersom.De hypothese die uit het bovenstaande voortvloeit, is de volgende:

H4: Bronnen in bedrieglijke journalistieke teksten worden vaker gestereotypeerd dan in reguliere journalistieke teksten.

Niet alleen is het voor de journalist van belang welke bronnen hij selecteert en hoe hij deze bronnen beschrijft, ook de wijze waarop deze bronnen geciteerd worden is belangrijk. Dit bepaalt namelijk grotendeels in hoeverre de journalist dan wel de als bron opgevoerde spreker verantwoordelijk is voor bepaalde uitspraken (Sanders, 2010). Het is immers de journalist die de uitlatingen van zijn bron(nen) naar papier vertaalt en derhalve bepaalt hoe de lezer deze uitspraken onder ogen krijgt. Er zijn verscheidene manieren om dit te doen. Veelal wordt er een onderscheid gemaakt tussen directe, vrije directe, indirecte en vrije indirecte rede, zoals door Semino, Short & Culpeper (1997). Een andere indeling onderscheidt directe, indirecte en vrije indirecte rede, ‘representation of speech event’ en ‘implicit viewpoints’ (Sanders, 2010). Zoals aangegeven is het hierbij van belang wie de verantwoordelijkheid voor een uitspraak draagt. Gesteld wordt doorgaans dat de verantwoordelijkheid in het geval van directe rede volledig bij de geciteerde bron ligt. Aanhalingstekens en zogenaamde introductory clauses als ‘Hij zei’, gevolgd door een dubbele punt, benadrukken dat hetgeen geschreven staat ook exact de woorden van de bron zijn geweest (Banfield, 1973). Of, in andere woorden: “(…) if it’s in brackets, it has come out of the mouth of that person precisely as such” (Craig, 2006, zoals geciteerd in Sanders, 2010). Semino, Short & Culpeper (1997) schrijven hierover: “With DS (direct speech, red.), it is normally assumed that a reporter faithfully represents the original utterance in three respects: (a) the words and structures used to encode the propositional content, (b) the propositional content and (c) the speech act value” (Semino, Short & Culpeper, 1997, p. 22). Hieraan voegen zij toe dat het pragmatische kenmerken zijn die bepalen in hoeverre deze citaten recht doen aan de daadwerkelijke uiting van de bron. Zo is het van belang in welke situatie de uitspraak werd gedaan en hoe lang deze uitspraak was (lange pauzes kunnen bijvoorbeeld duiden op twijfel). Wanneer er sprake is van een ander type quote dan de directe rede, wordt de verantwoordelijkheid veelal gedeeld door de schrijver en de geciteerde. Volgens Sanders (2010) is het dan van belang om te bepalen voor welk aantal mental spaces de schrijver dan wel de spreker verantwoordelijk is. Zo is in de volgende, in vrije indirecte rede geschreven, zin “Ja, ze was hier geweest” de schrijver verantwoordelijk voor de keuze voor verleden tijd en referentie (‘ze’), maar draagt de bron de verantwoordelijkheid voor de zogenaamde deiktische referentie ‘hier’.

Aannemelijk is dat makers van fake news vaker gebruik zullen maken van de directe rede dan schrijvers van betrouwbare artikelen. Wanneer de uitspraak van een bron letterlijk opgeschreven wordt zoals deze geuit is, mag de lezer ervan uitgaan dat de mening van de auteur buiten beschouwing gelaten is. Er is sprake van objectiviteit, hetgeen volgens onder anderen Schudson & Anderson (2009) één van de kerntaken van de journalistiek is. Verder dienen betrouwbare journalisten rekening te houden met de persoon die de uitspraak daadwerkelijk gedaan heeft en de eventuele kritiek die zal volgen wanneer deze bron verkeerd geciteerd wordt, zeker wanneer deze bron als primary definer geldt en bijvoorbeeld een bedrijf of instantie vertegenwoordigt. Deze restrictie geldt vanzelfsprekend niet voor schrijvers van bedrieglijke teksten, daar de bron die zij aanhalen in werkelijkheid niet bestaat. Dit wordt ondersteund door het eerder aangehaalde onderzoek van Dalecki, Lasorsa & Lewis (2009). Behalve dat misleidende journalistieke teksten hoger bleken te scoren dan authenthieke verhalen op leesbaarheid en verhaallengte, wezen de resultaten eveneens uit dat het aantal directe quotes per verhaal en het aantal quotes per duizend woorden significant hoger bleek te zijn. Ook uit onderzoek van Lasorsa & Dai (2007a) bleek dat er significant meer quotes verzonnen worden wanneer een journalist gebruikmaakt van fictieve bronnen.

Een variant van de directe rede is de zogenaamde embedded quote. Hiervan is sprake als de auteur slechts een deel van een uiting van zijn bron letterlijk (en dus tussen aanhalingstekens) in de tekst opneemt. De zinnen waarbinnen deze embedded quotes geplaatst worden, zijn vaak als indirecte rede te typeren, terwijl de embedded quotes zelf in de directe rede staan. Door Semino, Short & Culpeper wordt het hanteren van embedded quotes omschreven als een “peculiarity of newspaper reporting” (Semino, Short & Culpeper, 1997, p. 31). Volgens Sanders (2010) creëert deze vorm van citeren zowel afstand als levendigheid, doordat de journalist de verantwoordelijkheid voor het opmerkelijke deel van de zin (de embedded quote dus) afschuift op de bron, terwijl hij tegelijkertijd de originele spreeksituatie binnen de tekst plaatst. De vijfde en laatste hypothese is tweeledig en luidt:

H5a: In bedrieglijke journalistieke teksten wordt vaker gebruikgemaakt van directe quotes dan in betrouwbare journalistieke teksten;

H5b: In bedrieglijke journalistieke teksten wordt vaker gebruikgemaakt van embedded quotes dan in betrouwbare journalistieke teksten.

Naar de meeste hierboven ingeleide variabelen is reeds onderzoek gedaan. Dit geldt echter niet voor het aantal complementaire bronnen, dat volgens hypothese 3 hoger geacht wordt te zijn in de onbetrouwbare artikelen. Verder onderscheidt dit onderzoek zich van voorgaande studies door de gehanteerde onderzoeksmethode. Alle variabelen zijn in dit onderzoek zijn handmatig gecodeerd, wat de betrouwbaarheid vergroot ten opzichte van studies waarin computersoftware het coderen al dan niet deels voor zijn rekening nam.

Methode

In deze studie  is middels corpusanalyse onderzocht of bedrieglijke journalistieke tekstproducties – ofwel fake news – afwijken van betrouwbare, aangaande een vijftal, op basis van reeds bekende literatuur, vastgestelde tekstkenmerken. Hiervoor is een drietal corpora samengesteld, in eerste instantie allen bestaande uit 126 afzonderlijke teksten. De drie corpora bleken echter significant te verschillen in woordenaantal. Dit is opgelost door uit het eerste corpus één tekst te verwijderen die ruim zesmaal meer woorden bevatte dan het gemiddelde en uit het derde corpus de twee kortste teksten te verwijderen. Uit praktische overwegingen zijn in totaal nog negen teksten uit het tweede en derde corpus verwijderd.

De teksten zijn vooraf gezuiverd van niet-tekstuele elementen, om tellingen te vergemakkelijken. De dataverzameling van bedrieglijke nieuwsartikelen bevatte 125 afzonderlijke teksten, die varieerden in grootte (aantal woorden: N = 733.18; SD = 442.85). Om vergelijkingen te kunnen maken zijn twee corpora van paralelle teksten samengesteld, via het online nieuwsartikelenarchief LexisNexis (waaruit de bedrieglijke artikelen reeds waren verwijderd). Er zijn 121 niet-bedrieglijke artikelen van andere auteurs geselecteerd, door in Nederlandse kwaliteitskranten te zoeken naar artikelen die hetzelfde onderwerp hadden, van vergelijkbare lengte waren en gepubliceerd waren in dezelfde periode (aantal woorden: N = 623.61, SD = 420.95). Om het mogelijke effect van een persoonlijke schrijfstijl uit te sluiten, werd een tweede Ramesar-corpus samengesteld, met 120 artikelen die in dezelfde periode geschreven werden en van vergelijkbare lengte waren als de fake news-teksten. Deze teksten werden geselecteerd uit de verzameling van 1036 als betrouwbaar beschouwde artikelen die Ramesar voor Trouw schreef (Govaert, 2015; aantal woorden: N = 647.39, SD = 400.48). De artikelen verschilden tussen de drie corpora niet in lengte (F(2, 363) = 2.30, p = .10).

De aanwezigheid van gefingeerde bronnen in journalistieke tekstproducties is de onafhankelijke variabele in dit onderzoek. Afhankelijk hiervan is een vijftal variabelen: het aantal geraadpleegde bronnen, het aantal secondary definers, de mate van coherentie tussen door verschillende bronnen verschafte informatie, de mate van stereotypering van de bronnen en het aantal directe quotes.

Met het aantal geraadpleegde bronnen wordt het aantal unieke bronnen per artikel bedoeld. Wanneer een bron in een artikel twee keer aangehaald wordt, geldt dit dus als één unieke bron.. Wanneer woordvoerders of zegslieden namens een instantie spreken, zijn deze woordvoerders en de betreffende instantie samengevoegd tot één unieke bron.

Een bron is als secondary definer gemarkeerd wanneer de bron geen bedrijf of instantie vertegenwoordigt, geen autoriteit op een specifiek vakgebied is en geen publiek figuur en dus voor de doorsnee lezer onbekend is. Ook anonieme bronnen zijn als een secondary definer gemarkeerd. Er is sprake van een anonieme bron wanneer de bron letterlijk als ‘anoniem’ betiteld wordt door de auteur, duidelijk door de auteur vermeld wordt dat de naam van de bron een pseudoniem is of door de auteur vermeld wordt dat bewust alleen de voornaam van de bron wordt genoemd.               

Met coherentie tussen door verschillende bronnen verschafte informatie wordt bedoeld dat bronnen elkaar perfect aanvullen. Hiervan is sprake wanneer een uitspraak van een bron wordt gevolgd door een introducerende zin van het niveau ‘Zo vindt ook X’, ‘X vult aan’, ‘X bevestigt dit’, ‘X is dezelfde mening toegedaan’ etcetera, waarbij X staat voor de naam van een tweede bron, die na deze introducerende zin gequoot wordt.

Er is sprake van stereotypering wanneer de bron beschreven wordt aan de hand van kenmerken die behoren tot een specifieke sociale groep. Hierbij dient gedacht te worden aan beroep, nationaliteit, afkomstregio binnen of groter dan een land, sociale klasse, geslacht, etniciteit, religie en seksuele voorkeur. Volgens Maass (1999) is het hanteren van abstracte termen typerend voor stereotypering. Dit kan geschieden door middel van een zelfstandig naamwoord (eventueel in combinatie met een vorm van het hulpwerkwoord ‘zijn’), een bijvoeglijk naamwoord dat rechtstreeks betrekking heeft op het onderwerp of een bijvoeglijk naamwoord dat in combinatie met het hulpwerkwoord ‘zijn’ betrekking heeft op het onderwerp.

Een uitspraak van een bron is als directe quote gemarkeerd als deze geheel dan wel deels tussen aanhalingstekens staat en voorafgegaan wordt (of gevolgd) door een introductory clause. Wanneer de uitspraak slechts deels tussen aanhalingstekens staat, is er sprake van een embedded quote.

Om intercodeurbetrouwbaarheid te bereiken zijn 51 teksten (17 per corpus) door een tweede onderzoeker gecodeerd. Dit is gebeurd op basis van een codeboek, dat als bijlage toegevoegd is aan dit onderzoek. De intercodeurbetrouwbaarheid is voor alle (deel)variabelen (aantal bronnen, secondary definers, anonieme bronnen, complementaire bronnen, gestereotypeerde bronnen, directe quotes en embedded quotes) voldoende tot goed bevonden (Krippendorff’s alpha respectievelijk .87, .94, .74, .82, .95, 1.00 en .99).

Resultaten

Middels eenzijdige variantieanalyses (one-way ANOVA) zijn de vijf hypotheses getoetst. Daar hypotheses 2 en 5 in tweeën zijn gesplitst, zijn er in totaal zeven toetsen uitgevoerd die in een F-score resulteerden, met een bijbehorende effectgrootte. De resultaten zijn afleesbaar in Tabel 1.

fake news
Tabel 1 – Resultaten variantie-analyse: effect corpus op afhankelijke variabelen

Er was een klein tot middelgroot hoofdeffect van corpus op het aantal unieke bronnen per tekst (F(2, 363) = 9.18; p < 0.001; ηp2 = 0.05). Paarsgewijze vergelijkingen met Bonferronicorrectie wezen uit dat het aantal unieke bronnen in het onbetrouwbare corpus van Ramesar (M = 3.36, SD = 1.94) significant hoger is dan in het betrouwbare Ramesar-corpus (M = 2.50, SD = 1.40; t = 3.44, p = -0.002). Ook het betrouwbare corpus van andere auteurs (M = 3.50, SD = 2.41) bleek significant te verschillen van het betrouwbare corpus van Ramesar (t = 3.95, p < 0.001). Tussen het onbetrouwbare Ramesar-corpus en het betrouwbare corpus van andere auteurs bleek geen significant verschil te zijn aangaande het aantal unieke bronnen.

Tevens was er een hoofdeffect van corpus op het aantal secondary definers per tekst. Dit hoofdeffect was middelgroot tot groot (F(2, 363) = 42.93; p < 0.001; ηp2 = 0.19). Paarsgewijze vergelijkingen met Bonferronicorrectie wezen uit dat het aantal secondary definers in het onbetrouwbare corpus van Ramesar (M = 2.18, SD = 1.57) significant hoger is dan in het betrouwbare Ramesarcorpus (M = 0.56, SD = 0.84; t = 8.98, p < 0.001) en het corpus van andere auteurs (M = 1.04, SD = 1.67; t = 6.35, p < 0.001). Het betrouwbare corpus van anderen bleek ook significant meer secondary definers te bevatten dan het betrouwbare Ramesar-corpus (t  = 2.65, p = 0.03).

Verder bleek een klein tot middelgroot hoofdeffect van corpus op het aantal anonieme bronnen per tekst (F(2, 363) = 13.45; p < 0.001; ηp2 = 0.07). Paarsgewijze vergelijkingen met Bonferronicorrectie wezen uit dat het aantal anonieme bronnen in het onbetrouwbare Ramesar-corpus (M = 0.38, SD = 0.82) significant hoger is dan in het betrouwbare Ramesarcorpus (M = 0.05, SD = 0.25; t = 4.72, p < 0.001) en het corpus van andere auteurs (M = 0.09, SD = 0.34; t = .4.13, p < 0.001). Tussen de twee betrouwbare corpora bleek geen significant verschil te zijn.

Eveneens was er een hoofdeffect van corpus op het aantal complementaire bronnen per tekst. Dit effect is klein te noemen (F(2, 363) = 4.13; p = 0.02; ηp2 = 0.02). Paarsgewijze vergelijkingen met Bonferronicorrectie wezen uit dat het aantal complementaire bronnen in het onbetrouwbare Ramesar-corpus (M = 0.14, SD = 0.41) significant hoger is dan in het betrouwbare Ramesarcorpus (M = 0.04, SD = 0.24; t = 2.47, p = 0.003) en het corpus van overige teksten (M = 0.04, SD = 0.20; t = 2.50, p = 0.003). Tussen deze twee betrouwbare corpora bleek opnieuw geen significant verschil te zijn.

Wat betreft het aantal gestereotypeerde bronnen per tekst bleek er een middelgroot tot groot hoofdeffect van corpus te zijn (F(2, 363) = 49.46; p < 0.001; ηp2 = 0.21). Paarsgewijze vergelijkingen met Bonferronicorrectie wezen uit dat het aantal gestereotypeerde bronnen in het onbetrouwbare Ramesar-corpus (M = 1.46, SD = 1.54) significant hoger is dan in het betrouwbare Ramesarcorpus (M = 0.31, SD = 0.90; t = 8.08, p < 0.001) en het corpus van overige teksten (M = 0.18, SD = 0.70; t = 9.04, p < 0.001). Tussen deze twee betrouwbare corpora bleek geen significant verschil te zijn.

Tevens was er een middelgroot tot groot hoofdeffect van corpus op het percentage directe quotes per artikel zijn (F(2, 363) = 35.38; p < 0.001; ηp2 = 0.16). Paarsgewijze vergelijkingen met Bonferronicorrectie wezen uit dat het percentage directe quotes  in het onbetrouwbare Ramesar-corpus (M = 40.84, SD = 20.77) significant hoger is dan in het betrouwbare Ramesarcorpus (M = 23.11, SD = 22.96; t = 6.86, p < 0.001) en het corpus van andere auteurs (M = 21.24, SD = 16.35; t = 7.61, p < 0.001). Tussen deze twee betrouwbare corpora bleek geen significant verschil te zijn.

Tot slot bleek er geen hoofdeffect van corpus op het percentage embedded quotes per tekst te zijn (F(2, 363) = 2.19; p = 0.11).

Conclusie

In deze studie is onderzocht aan welke bronkenmerken bedrieglijke journalistieke teksten te herkennen zijn. De eerste hypothese luidde dat in de bedrieglijke teksten meer bronnen zouden worden aangehaald dan in de betrouwbare corpora. De resultaten hebben uitgewezen uit dat de onbetrouwbare teksten van Ramesar enkel verschillen van de betrouwbare teksten van dezelfde auteur en niet van de betrouwbare teksten van anderen. Zodoende mag hypothese 1 niet aangenomen worden, maar is het evenmin gerechtvaardigd deze te verwerpen.

Hypothese 2 was tweeledig. Verwacht werd dat Ramesars onbetrouwbare teksten meer zogenaamde secondary definers zouden bevatten en dat deze eveneens vaker anoniem zouden zijn dan in de betrouwbare corpora. Deze hypothese is bevestigd. In Ramesars onbetrouwbare teksten komen meer secondary definers voor dat in de betrouwbare corpora. Bovendien blijkt het betrouwbare corpus van anderen ook meer secondary definers te bevatten dan Ramesars betrouwbare corpus, wat het resultaat versterkt. Ook het aantal anonieme bronnen is in de onbetrouwbare teksten hoger dan in de betrouwbare artikelen.

De derde hypothese heeft betrekking op het aantal complementaire bronnen, dat in het onbetrouwbare corpus geacht wordt hoger te zijn dan in de twee betrouwbare corpora. Hoewel het effect slechts klein was, blijkt dit het geval te zijn. Derhalve mag hypothese 3 worden aangenomen.

Hetzelfde geldt voor hypothese 4, waarin verondersteld wordt dat in de onbetrouwbare teksten vaker op stereotyperende wijze verwezen wordt naar bronnen. Dit bleek het geval te zijn, waardoor ook de vierde hypothese aanvaard wordt.

De vijfde en laatste hypothese is tweeledig en hierin wordt verondersteld dat in de onbetrouwbare teksten vaker sprake zou zijn van directe en ‘embedded’ quotes dan in de overige teksten. Deze hypothese wordt niet in haar geheel bevestigd. Het onbetrouwbare corpus blijkt wel degelijk meer directe quotes te bevatten dan de betrouwbare corpora, maar het aantal embedded quotes verschilt niet tussen de corpora.

Kortom: in gefingeerde nieuwsartikelen komen meer secundaire en anonieme bronnen aan het woord, vullen deze elkaar vaker perfect aan, worden ze vaker gestereotypeerd,  bevatten ze meer directe quotes dan in betrouwbare teksten en valt niet uit te sluiten dat het aantal unieke bronnen hoger is dan in betrouwbare teksten.

Discussie

De meeste hypotheses zijn, zoals hierboven vermeld, al dan niet deels bevestigd. Dat geldt niet voor hypothese 1, waarin gesteld werd dat het aantal bronnen in de onbetrouwbare artikelen van Ramesar hoger zou zijn dan in de twee andere corpora. Deze veronderstelling was gebaseerd op Berkowitz (2008) en Lasorsa & Dai (2007a). Berkowitz stelt dat een kerntaak van de journalistiek het raadplegen van meerdere bronnen is en Lasorsa & Dai concluderen dat dit door bedrieglijke auteurs in grotere mate wordt gedaan dan schrijvers van betrouwbare artikelen. Dit geldt schijnbaar niet voor Ramesar, wiens fake news-artikelen wel meer bronnen bevatten dan zijn eigen betrouwbare artikelen, maar niet meer dan betrouwbare teksten van andere auteurs. Dit resultaat valt derhalve niet per definitie toe te schrijven aan het feit dat de teksten in het onbetrouwbare corpus (deels) verzonnen zijn, maar dit is evenmin uit te sluiten. De kans bestaat dat het resultaat een veeleer een gevolg is van de persoonlijke schrijfstijl van Ramesar, die in zijn verzonnen teksten al dan niet bewust meer bronnen aanhaalt ter compensatie van het gebrek aan bronnen in zijn betrouwbare artikelen. Zodoende kan hypothese 1 noch bevestigd, noch verworpen worden.

Een hypothese die wel bevestigd werd, was de tweede, waarin werd aangenomen dat het onbetrouwbare Ramesar-corpus meer secondary definers en anonieme bronnen zou bevatten dan de betrouwbare corpora. Dit geheel conform Lasorsa & Dai (2007a), die stelden dat secondary definers (veel) moeilijker te traceren zijn en daarom typerend voor fake news. Hetzelfde werd verwacht (en bevestigd) voor anonieme bronnen, wier namen volgens onder anderen de voorschriften in de Code van de Journalistiek niet prijsgegeven hoeven te worden door de journalist. De logische verklaring voor het gevonden resultaat is dus dat een auteur die bronnen en hun uitspraken verzint, wil voorkomen dat iemand op zoek gaat naar deze bron. Dit is in het geval van een anonieme bron immers onmogelijk zonder dat de journalist zijn beroepsgeheim moet schenden en bij een secundaire bron erg lastig, zeker als deze bron van buitenlandse komaf is.

Volgens Dalecki, Lasorsa & Lewis (2009) kunnen bedrieglijke teksten het perfecte punt maken met de perfecte anekdote of quote van de perfecte bron. Mede op basis hiervan werd verondersteld dat ‘bronnen’ in Ramesars verzonnen artikelen vaker complementair aan elkaar zouden zijn. Ze zouden elkaar perfect kunnen aanvullen, daar de auteur zelf de ideale bronnen en bijbehorende quotes kan ‘selecteren’. Hiernaar was nog niet eerder onderzoek gedaan en de resultaten hebben uitgewezen dat hiervan in fake news daadwerkelijk vaker sprake is.

Het grootste effect van corpus bleek te zijn op het aantal gestereotypeerde bronnen per artikel. Volgens Lasorsa & Dai (2007b), die bedrieglijke teksten van een tiental Amerikaanse journalisten onder de loep namen, vallen deze auteurs vaker terug op stereotyperende bronbeschrijvingen dan schrijvers van betrouwbare artikelen, omdat dit onder anderen minder cognitieve inspanning zou kosten en hun journalistieke plicht minder serieus zouden nemen. De hier gepresenteerde studie bevestigt deze bevindingen.

Zoals reeds vermeld werd de vijfde en laatste hypothese slechts deels bevestigd, daar bleek dat de hoeveelheid directe quotes in onbetrouwbare teksten daadwerkelijk hoger is dan in betrouwbare, maar dit niet geldt voor het aantal embedded quotes. Het hanteren van embedded quotes is volgens Semino, Short & Culpeper (1997) een manier van schrijven die journalistieke teksten onderscheidt van andere tekstsoorten. Dit is dan ook een mogelijke verklaring voor de conclusie dat embedded quotes niet vaker voor blijken te komen in onbetrouwbare teksten. Mogelijkerwijs is dit kenmerk dusdanig genregebonden dat iedere journalist er veelvuldig gebruik van maakt. Anders gezegd: ook betrouwbare journalisten zouden zich bewust kunnen zijn van het gegeven dat het toepassen van embedded quotes typerend is voor hun professie en het mogelijk als ongeschreven regel beschouwen om hier regelmatig gebruik van te maken.

Aanbevelingen vervolgonderzoek

Enkele bevindingen uit dit onderzoek zijn vatbaar voor vervolgonderzoek. Zo was er voorheen nog geen onderzoek gedaan naar complementaire bronnen. In deze studie zijn twee bronnen als complementair beoordeeld wanneer twee directe quotes elkaar, door middel van een tussenzin als ‘Zo vindt ook X’, ‘X vult aan’, perfect aanvullen. Echter kan dit ook het geval zijn wanneer bronnen indirect gequoot worden. Hier zou in vervolgonderzoek aandacht aan geschonken kunnen worden. Daarbij is een andere overgebleven vraag of ook andere fake news-makers hun gefingeerde bronnen elkaar laten aanvullen. In dit onderzoek waren alle bedrieglijke teksten immers van de hand van één en dezelfde journalist. Dit laatste is ook van toepassing op de hier gepresenteerde bevindingen aangaande het aantal opgevoerde bronnen.Gebleken is dat Ramesar in zijn bedrieglijke teksten meer bronnen opvoert dan in zijn betrouwbare teksten, maar niet meer dan andere betrouwbare journalisten. Geconcludeerd werd dat dit toe te schrijven is aan de persoonlijke manier van schrijven van Ramesar. Vervolgonderzoek zou moeten uitwijzen of dit daadwerkelijk het geval is, door eenzelfde analyse los te laten op een vergelijkbare hoeveelheid fake news-teksten van andere auteurs.

Literatuur

Atton, C., & Wickenden, E. (2005). Sourcing routines and representation in alternative journalism: A case study approach. Journalism Studies6(3), 347-359.

Banfield, A. (1973). Narrative style and the grammar of direct and indirect speech. Foundations of language10(1), 1-39.

Berkowitz, D. A. (2009). Reporters and their sources. The handbook of journalism studies, 102-115.

Cacioppo, J. T., & Petty, R. E. (1984). The elaboration likelihood model of persuasion. Advances in consumer research11(1), 673-675.

Carlson, M. (2010). Whither anonymity? Journalism and unnamed sources in a changing media environment. Journalists, sources and credibility: New perspectives, 37-48.

Dalecki, L., Lasorsa, D. L., & Lewis, S. C. (2009). The news readability problem. Journalism Practice3(1), 1-12.

Donsbach, W. (2004). Psychology of news decisions factors behind journalists’ professional behavior. Journalism5(2), 131-157.

Govaert, C. G. (2015). Werkwijze bij het onderzoek naar de artikelen van Perdiep Ramesar in Trouw. Ongepubliceerd manuscript.

Lasorsa, D. L., & Dai, J. (2007). Newsroom’s Normal Accident? An exploratory study of 10 cases of journalistic deception. Journalism Practice, 1(2), 159-174.

Lasorsa, D., & Dai, J. (2007). When news reporters deceive: The production of stereotypes. Journalism & Mass Communication Quarterly84(2), 281-298.

Lee, S. T. (2004). Lying to tell the truth: Journalists and the social context of deception. Mass Communication & Society7(1), 97-12.

Lippmann, W. (1946). Public opinion. Transaction Publishers.

Maass, A. (1999). Linguistic intergroup bias: Stereotype perpetuation through language. Advances in experimental social psychology31, 79-122.

McCauley, C., & Stitt, C. L. (1978). An individual and quantitative measure of stereotypes. Journal of Personality and Social Psychology36(9), 929.

Myjer, E., & Smit, J. (2014). Onderzoekscommissie brongebruik Trouw. Zoals verschenen op http://static3.trouw.nl/static/asset/2014/Onderzoeksrapport_bronnengebruik_Trouw_19122014_7707_7725.pdf.

Pavlik, J. V. (2004). A sea-change in journalism: Convergence, journalists, their audiences and sources. Convergence: The International Journal of Research into New Media Technologies10(4), 21-29.

Sanders, J. (2010). Intertwined voices: Journalists’ modes of representing source information in journalistic subgenres. English Text Construction3(2), 226-249.

Schudson, M. (2003). The Sociology of News. New York: W. W. Norton.

Schudson, M., & Anderson, C. (2009). Objectivity, professionalism, and truth seeking in journalism. The handbook of journalism studies, 88-101.

Seiter, E. (1986). Stereotypes and the media: A re‐evaluation. Journal of communication36(2), 14-26.

Semino, E., Short, M., & Culpeper, J. (1997). Using a corpus to test a model of speech and thought presentation. Poetics25(1), 17-43.

Tuchman, G. (1978). Making News: A Study in the Construction of Reality. New York: Free Press.