‘Automate everything’, is een van de slogans die op de wand prijkt bij de start-up Automated Insights in het universiteitsstadje Durham in de Amerikaanse staat North Carolina. De 55 medewerkers van het bedrijf hoeven maar uit het raam te kijken om de daad bij het woord te voegen. Ze werken namelijk vanuit een kantoor in een honkbalstadion aan het automatiseren van sportwedstrijden.

‘Op vrijdagmiddag kijken we graag met een biertje in de hand naar een wedstrijd’, vertelt directeur productmanagement Adam Long, wijzend uit het raam naar het speelveld. Hier spelen de Durham Bulls, een honkbalploeg uit de zogeheten Minor League, de net-niet-topdivisie. Op speeldagen kunnen er wel tienduizend toeschouwers in het stadion, maar nu is het leeg want het seizoen is afgelopen.

Van statistieken naar bericht

Voor landelijke media is het ondoenlijk om op alle tienduizend minorleaguewedstrijden een verslaggever af te sturen, maar Amerikanen zijn dol op sport en statistieken over hun favoriete spelers en ploegen. Dus als de Durham Bulls aan het spelen zijn, zitten er naast lokale verslaggevers ook mensen in dienst van statistiekbedrijven die elke actie van de spelers minutieus volgen: wie er een run maakte, in welke inning en in welke minuut.

Datatypisten voeren al die gegevens in, en met deze database gaat Automated Insights aan de slag. Met hun programma Wordsmith kun je een tekstsjabloon maken, synoniemen zoeken (‘scoren’, ‘een punt maken’, ‘treffen’) en regels instellen zoals: als er zeldzame gebeurtenissen zijn, zoals ‘no hitters’ of ‘grand slams’, meldt dat dan als eerste.

Uitlegvideo van Automated Insights over hoe Wordsmith werkt:

Sinds afgelopen zomer levert Automated Insights deze kant-en-klare teksten aan persbureau Associated Press, dat nu automatisch verslagen publiceert van 142 honkbalteams en dertien competities in de Minor League. Over die subtop werd eerder slechts mondjesmaat geschreven, dus de computers vervangen geen verslaggevers, verzekeren ze bij AP.

Uit verschillende wetenschappelijke onderzoeken blijkt dat mensen het verschil tussen computergegenereerde en menselijk geschreven teksten niet kunnen zien. Ze vinden de computerteksten zelfs betrouwbaarder ogen, maar ook saai omdat ze veel cijfers bevatten en weinig creatief geschreven zijn.

Creatief schrijven

Automated Insights maakt hun berichten voor AP bewust saai en zakelijk, maar dat hoeft niet zo te zijn. Wordsmith schreef bijvoorbeeld over de lokale verkiezingen in North Carolina:

‘Het was een tumultueuze nacht voor de senaat in North Carolina, omdat vijf districten van kleur veranderden en de Democraten hun meerderheid kwijt raakten aan de Republikeinen.’

Hoe verzint een computer dat, van die tumultueuze nacht? ‘Dat is heel simpel’, legt Locky Stewart, senior solutions architect van het bedrijf uit. ‘Ik heb dat woord zelf bedacht. Het is gewoon een regel die je instelt: als meer dan vijf zetels veranderen, zal het wel tumultueus zijn, of een ander synoniem. En verkiezingen worden altijd ’s nachts beslist.’

Stewart, die net als zijn collega’s geen journalistieke achtergrond heeft, schreef bijvoorbeeld ook een sjabloon voor een In Memoriam, en gebruikte die voor computerpionier Marvin Minsky, gebaseerd op zijn Wikipediapagina. Het kostte hem drie kwartier om te maken. Ook de teksten die Automated Insights schrijft over American football voor Yahoo zijn enigszins plagerig en doortrapt.  

Mensenwerk

Er komt dus anno 2016 nog heel wat mensenwerk kijken bij het gehele proces van sportwedstrijd tot nieuwsartikel: mensen kloppen de data in, mensen maken de sjablonen en mensen hebben veel werk om ervoor te zorgen dat dat proces soepel verloopt. Bij AP hebben ze zelfs een news automation editor aangenomen sinds ze hun verhalen automatiseren.

Sportwedstrijden zijn nog redelijk eenvoudig te automatiseren, want het is precies te voorspellen wanneer ze plaatsvinden en het gegevensbestand is betrouwbaar. AP legde de lat voor zichzelf dan ook een stuk hoger toen ze besloten in 2014 de financiële kwartaalreportages van beursgenoteerde bedrijven te automatiseren.

Hiervoor maken ze gebruik van gegevens van Zacks Investment Research. Ook hier zitten menselijke analisten data over omzet en winst uit pdf’s van bedrijven te plukken en in een database te zetten.

Het stelt AP in staat om nu veel meer kwartaalverslagen te publiceren. Hun verslaggevers beperkten zich tot de driehonderd grootste bedrijven, maar dankzij Wordsmith schrijven ze nu over 3700 bedrijven. Zonder menselijke tussenkomst komen de berichten terecht bij ruim 1700 kranten en 5000 radio- en televisiestations wereldwijd. Vooral door de snelheid en accuraatheid hoopt AP sneller dan de concurrentie te zijn en daarmee van waarde te zijn voor hun lezers; de berichten kunnen investeringsbeslissingen van miljoenen beïnvloeden.

Uitglijder

Het kostte een jaar om het systeem om de rit te krijgen, vertelt Lisa Gibbs, bij AP verantwoordelijk voor de financiële berichtgeving. ‘Bedrijven zijn irritant creatief in de manier waarop ze hun kwartaalberichten schrijven. Ze bedenken verschillende, soms verhullende termen om winst of omzet te omschrijven. De analisten bij Zacks pikken soms de verkeerde cijfers eruit. Fouten gebeuren als er mensen bij betrokken zijn.’

Vorig jaar maakte AP hiermee een uitglijder, toen de computer abusievelijk schreef dat de winstcijfers van Netflix tegenvielen. Maar door een recente aandelensplitsing had de computer het cijfer verkeerd geïnterpreteerd; de winst was juist boven verwachting. Ondertussen hadden onder andere de LA Times en CNBC het bericht al overgenomen.

Computer leren nadenken

Zo lang mensen nog nauw betrokken moeten zijn bij het maken en onderhouden van de robotschrijvers is er van kunstmatige intelligentie nog niet echt sprake. Bij Automated Insights – niet ontoevallig staat de afkorting van hun naam ook voor Artificial Intelligence – denken ze dat dat snel gaat veranderen. Long: ‘Kunstmatige intelligentie is nu nog op het niveau van het uitvoeren van programmeerregels en patroonherkenning. We zijn nog niet zover dat computers zelf kunnen nadenken.’

De volgende stap is dat de computer zelf de tekstsjablonen kan schrijven. Maar daarvoor moet het de vocabulaire van elke individuele sport en marktsector goed kennen. Hij kan al wel vrij accuraat aangeven of een woord een werkwoord of een zelfstandig naamwoord is.

Wordsmith wordt nu uitgerust met een optie om samenvattingen te maken van teksten. Daarvoor moet hij teksten begrijpen, zou je denken. ‘Hij speelt vals. Hij knipt er alleen belangrijke woorden uit. We leren hem belangrijke woorden te herkennen, bij een weerbericht zijn dat bijvoorbeeld: zonnig, 77 graden en Durham – vaak zijn dat de woorden die uit de database komen.’ Wordsmith kan daarmee bijvoorbeeld een blog samenvatten in een tweet.

Deze techniek, natural language processing, is een voorzichtige vorm van machine learning. Wordsmith kan ook zelfstandig Wikipedia en nieuwssites afstruinen op zoek naar synoniemen. Maar pas als de computer teksten begrijpt kan hij ook zelf leren hoe zinnen worden opgebouwd en inschatten wanneer hij het moet hebben over een homerun of een driepunter. ‘Ultieme machine learning, zodat de klant alleen maar data hoeft aan te leveren, is een paar jaar verwijderd’, voorspelt Long.

Ligt een Pulitzerprijs voor een robot dan binnen handbereik, zoals Kris Hammond, de CTO van concurrerend bedrijf Narrative Science voorspelde? Die voorspelling deed Kris Hammond in 2011 in dit artikel van The New York Times: In case you wondered, a real human wrote this column. ‘Dat slaat nergens op’, aldus Long. ‘Die uitspraak was alleen maar bedoeld om krantenkoppen mee te halen. Coproductie van mens en robot is het beste. Dan kun je de snelheid en schaalgrootte van robots combineren met dat waar mensen fantastisch in zijn, zoals complexe analyse en nuance.’

Hammond kreeg sowieso ongelijk. Volgens zijn voorspelling zou een computer dit jaar al een Pulitzerprijs zou winnen. Maar met de huidige stand van zaken is dat toekomstbeeld nog mijlenver verwijderd.

Ook feitenchecker kan nog niet zonder de mens

Een presidentskandidaat doet tijdens een live uitgezonden televisiedebat een feitelijke uitspraak en direct verschijnt er op het tv-scherm een rode tekst in beeld: fout! Het is anno 2016 nog geen werkelijkheid, maar volgens de Britse factcheckorganisatie Full Fact ligt de komst van automatische fact-checkers binnen handbereik. Veel bewijs voor die stelling is er echter nog niet.

Bij de Amerikaanse publieke omroep NPR experimenteerden ze tijdens het eerste verkiezingsdebat in september met een live fact-check. De omroep maakte gebruik van een online transcript, dat steeds werd aangevuld. Het duurde telkens slechts een à twee minuten voordat de uitspraken van Clinton en Trump in het transcript waren verwerkt, met dank aan menselijke typisten. Vervolgens ging een team van ruim twintig journalisten aan de slag met het razendsnel factchecken van de uitspraken.

Een programma ontwikkeld aan de University of Texas, genaamd Claimbuster, kan op basis van geschreven tekst aangeven of passages ‘check-waardig’ zijn. Maar ook in dat geval moet de mens, in ieder geval vooralsnog, de daadwerkelijke check doen.

Dit artikel is op 25 oktober 2016 gepubliceerd in nrc.next, NRC Handelsblad en op nrc.nl.