NH Radio zet spraaktechnologie van XS2Radio in voor nieuws

De technologie van XS2Radio maakt van geschreven teksten volautomatisch gesproken audioberichten.

Regionaal station NH Radio gaat als eerste zender in Nederland de automatisch gegenereerde nieuwsbulletins van de Hilversumse Text-to-Speech startup XS2Radio inzetten. De technologie maakt van geschreven teksten volautomatisch gesproken audioberichten die samen met de NH Radio vormgeving worden gecombineerd tot een voorgelezen nieuwsbulletin.

Te gast is Arjan van Hessen, onderzoeker taal- en spraaktechnologie aan de Universiteit Twente.

Ondertiteling

Karaoke

Gluren in de hersenen

Elon Musks Neuralink wil met minuscule draadjes in onze hersenen gluren en Facebook steunt onderzoek naar de ontwikkeling van een headset, waarmee je met je gedachten tekst kunt schrijven. Leuk, futuristisch, interessant en nuttig, misschien, maar, waarschuwen Britse onderzoekers, het wordt tijd dat we gaan onderzoeken waar de ethische grenzen liggen.

Te gast is Arjan van Hessen, onderzoeker taal- en spraaktechnologie aan de Universiteit Twente.

Ondertiteling

Karaoke

Technisch gezien is het nu nog niet mogelijk, zegt Arjan van Hessen, onderzoeker taal- en spraaktechnologie aan de Universiteit Twente. Het omzetten op afstand van hersenactiviteiten in handelingen kan gewoon nog niet. Ook een ander punt dat in het Britse rapport "iHuman: Blurring lines between mind and machine" genoemd werd, het instralen van de dadachte van een mens in het hoofd van een ander, is nu nog SF. Toch is het goed om hier, het liefst op Europese schaal, over na te denken. Want stel dat de komende 10 jaar delen van deze techniek wel gerealiseerd worden, hoe ga je daar dan als land, als maatschappij mee om?

E-mails tikken met je gedachten
woensdag 17 juli 2019, 18:51

Door middel van draadjes in je hersenen zou je e-mails moeten kunnen tikken met je gedachten of een taal downloaden die je nog niet kent. De Amerikaanse start-up Neuralink wil dat realiteit maken. De geldschieter: Elon Musk.

Ondertiteling

Karaoke

Technisch gezien is het mogelijk, zegt Arjan van Hessen, onderzoeker taal- en spraaktechnologie aan de Universiteit Twente. Het omzetten van hersenactiviteiten in handelingen is al mogelijk. Wat nieuw is in het Neuralink-onderzoek is dat ze nu de menselijke spraak willen gaan opvangen. Als het lukt, zou een computer bijvoorbeeld een woord kunnen uitspreken dat door iemand die niet kan praten wordt gedacht.

Het met deze methode leren van een taal die je nog niet kent, lijkt Van Hessen voorlopig nog een stap te ver.

Op 29 januari werd ik in het begin van de middag gebeld door BNR met de vraag commentaar te leveren op een net verschenen blog over een nog niet gepubliceerd wetenschappelijk artikel over Gedachtenlezen.

Onderzoekers aan de Columbia Universiteit in New York waren er in geslaagd via het registreren van iemands hersengolven te meten/schatten welk woord (in dit geval cijfers van 0 t/m 9) iemand gehoord had. Dat deden ze door de hersengolven die iemand "produceerde" bij het luisteren naar deze cijfers via een spraaksynthesizer hoorbaar te maken. Vervolgens werden proefpersonen gevraagd de zo gesynthetiseerde geluiden te benoemen.

Gaaf onderwerp en als de bliksem me ingelezen. Om 16:37 was ik aan de beurt. Het interview is (met dank aan Paulien Sewuster van BNR) hieronder hoorbaar en dankzij onze KALDI-spraakherkenner ook leesbaar in zowel de ondertiteling als karaoke mode.

Ondertiteling

Karaoke

De robots komen eraan en gaan ons mensen vervangen! Een ietwat boude uitspraak en wat wordt daar in 2019 nu mee bedoeld?

Een klassieke robot zoals de meeste kinderen (en ook volwassenen) zich dat voorstellen, is een mensachtige apparaat dat er min-of-meer uitziet als een mens, loopt, praat, luistert en je (enigzins) begrijpt.

Vanwege films als Blade Runner, the Terminator, Ex Machina, Star Wars en vooral Metropolis en vele anderen, hebben ze dikwijls een negatieve connotatie: ze willen onze wereld overnemen of op z'n minst beïnvloeden.
En dankzij de enorme vorderingen op het gebied kennisrepresentatie (LOD) en vooral Kunstmatige Intelligentie (AI) beginnen zaken als spraakgeneratie, spraak- en sprekerherkenning en NLP in de buurt van die van ons mensen te komen. We kunnen de computer vragenstellen en krijgen dikwijls een redelijk adequaat antwoord terug.

Maar strikt genomen zijn robots programmeerbare machines die op een intelligente wijze verschillende fysieke taken kan uitvoeren. Denk aan de spuit-robot die nieuwe auto's spuit, aan de broodbak-robot die zelfstandig van meel, zout en water een brood bakt, een metsel-robot die metselt en aan een Tesla die je straks bijna zonder menselijke tussenkomst van A naar B kan gaan rijden. Maar de meest aansprekende robots blijven toch die "mennekes" en "meiskes" die enigzins op ons lijken.

In de eerste week van 2019 heeft het actualiteiten programma Een Vandaag "De Vervangbare Mens": een serie van 5 uitzendigen over de verschillende aspecten van deze "menselijke" robots. Aan de derde uitzending over Taal- en Spraak heb ik samen met Piek Vossen meegewerkt (zie hieronder). Het gaat over de snelle ontwikkelingen op het gebied van Taal en Spraak (Arjan) en over een nieuwe manier waarop robots kennis van ons kunnen vergaren door met ons in gesprek te gaan (Piek).
Hoe gaat een robot dan om met tegenstrijdigheden? Iemand zegt dat iets een beker is (de robot kan objecten herkennen) maar een volgende persoon zegt dat het een jampot is?

Op 9 en 10 november 2018 was er het Drongo Talen Festival op de Radboud Universiteit in Nijmegen. Een van de zaken die daar gepresenteerd werden was software die realtime Spraak-naar-Spraak-vertaling doet. Naar aanleiding hiervan was er een kort telefonisch interview met BNR-Eyeopeners over deze ontwikkeling.

Hieronder het dubbel interview in karaoke-stijl.

Ondertiteling

Karaoke

The relationship between research impact & data management

Amazon-Alexa heeft in 2017 een wedstrijd uitgeschreven met als doel een Conversational Agent te maken die 20 minuten met een "gewoon" iemand kan praten zonder dat die persoon het een "onzin" gesprek vindt. De chatbot moet dus de mogelijkheid hebben om van onderwerp te wisselen, te "begrijpen" dat de spreker dat doet (context switching) en niet in herhaling vallen als ie het ook niet meer weet. Een ogenschijnlijke simpele taak (voor mensen) die razend moeilijk is voor chatbots.

Maar waarom zou Amazon dat willen? Nou, het is een forse stap vooruit voor chatbots als ze straks daadwerkelijk instaat zullen zijn om gewoon een babbeltje met jou te maken. Je komt thuis maar er is verder niemand aanwezig en je hebt nu net zin in een praatje. Dan doe je dat straks met Alexa (of Google Home, of Sirir of Cortona).

In een lang en boeiend artikel in Wired werd de Amazon-Alexa wedstrijd, inclusief de drie finalisten, uitvoerig beschreven.

Naar aanleiding van dit artikel werden David van Leeuwen en ik gevraagd om 20 min bij Hemmen over chatbots te komen praten. Aldus geschiedde en het werd een leuk gesprek ?.

Hieronder het dubbel interview in karaoke-stijl.

Ondertiteling

Karaoke

Op 1 februari 2018 heb ik een zgn "Mastercalss" gegeven voor de Philipse Business School in Houten. Om wat publiciteit te genereren en om de potentiële deelnemers alvast te vertellen waar het ongeveer over zou gaan, werd er een korte intro-film opgenomen bij mij thuis in Utrecht.

Hieronder het korte filmpje met ondertiteling van zowel de spraakherkenner (default) als een door mij gecorrigeerde versie. En natuurlijk ook weer de Karaoke-versie.

Naar aanleiding van een artikel op de opiniepagina van NRC-Handelsblad, werd ik door BNR gevraagd een en ander in het radioprogramma van Roelof Hemmen te komen toelichten. Om 13:00 al aanwezig in de studio (veel te vroeg en zenuwachtig) naarstig door mijn aantekeningen bladerend, zat ik daar te wachten. Om 13:30 mocht ik mee naar binnen. Je zit niet maar staat aan de tafel met een grote gele microfoon die op 10 cm voor je mond hangt (beste geluid).

Na het nieuws, de beursberichten en de verkeersinformatie volgde de introductie door Roelof Hemmen. Daarna mocht ik los gaan :-) om ons idee van een data-vault (een soort data-warenhuis waar de data wel in kunnen maar niet meer naar buiten kunnen) te propageren. Telecats, de UTwente en de Radboud Universiteit hadden een jaar geleden het plan opgevat om zo'n data-vault op te zetten om op deze wijze data te verzamelen en onderzoekers toegang te geven tot heel veel gesproken data. In de data-vault kunnen ze dan alles gebruiken om de algoritmes te trainen. De getrainde algoritmes mogen dan naar buiten maar de data blijven "binnen". Het gesprek ging verder goed.

Halverwegen ging het over naar het voorstel dat Telecats en de Radboud Universiteit bij de Nederlandse Politie gaan indienen (woensdag 22 nov). De politie wil graag "data-gedreven werken" en is opzoek naar de mogelijkheid om de spraak in 112-gesprekken te herkennen en direct om te zetten in informatie.En na een kwartiertje stond ik weer buiten. Opgelucht, want ik had (hoop ik) niet te veel onzin gedelibreerd.

Bij het downloaden en door de spraakherkenner halen van mijn "gesprek" bleek dat in het uur ervoor prof. dr. mr. Mireille van Eechoud geïnterviewd was geworden over "de rechten van consumenten op hun eigen data". Bij bv Faceboook "betaal" je met je gegevens. Wat als je Facebook opzegt? Kun je Facebook dan verbieden verder nog gebruik te maken van jouw persoonlijk data? Interessant vraagstuk!

Toen ik eenmaal de gehele uitzending had gedownload en de twee interviews eruit had geknipt, heb ik ze door "onze" spraakherkenner gehaald. Natuurlijk: foutloos is het niet maar wel verbluffend goed!

Hieronder de twee interviews in de gebruikelijke karaoke stijl.

Hieronder een televisieoptrede voor Editie-NL. In Vlaanderen gebruiken ze software om "eenzame bejaarden" op te sporen. Klopt natuurlijk niet, maar ze gebruiken wel software (UGent) waarmee medewerkers van een organisatie een indicatie kunnen krijgen over de de mate waarin een oudere aan de lijn een oprecht antwoord geeft of meer een sociaal-gewenst. Hiermee kunnen de medewerkers geholpen worden als ze de ouderen opbellen en hen vragen "hoe het gaat".
Naar aanleiding hiervan werden we gevraagd of dit in Twente ook kan. Ja, maar dan anders en vandaar een hele dag opname.

Ondertiteling

Karaoke

Een praatprogramma waarin mensen via social media of via de telefoon, vragen over alles kunnen stellen aan mensen die geacht worden daar iets vanaf te weten."

Deze uitzending ging over kunstmatige intelligentie. Want die ontwikkeling moet in de hand gehouden worden, zo vinden honderden wetenschappers. Ze hebben daarom een gedragscode opgesteld.
De onderzoekers vrezen dat de technologie voor verkeerde dingen gebruikt gaat worden, denk bijvoorbeeld aan killerrobots. De gedragscode is behalve door wetenschapper Stephen Hawking en ondernemer Elon Musk ook door Nederlandse wetenschappers ondertekend.

Ondertiteling

Karaoke

In het voorjaar van 2016 was Nederland voorzitter van de EU en werd er in Amsterdam een bijeenkoomst over Open Access gehouden. Naar aanleiding daarvan werd er een filmpje opgenomen met verschillende mensen voor wie Open Access belangrijk is: een leerling, een docent, een onderzoeker (ik namens CLARIAH) om te laten zien hoe blij wij er van zouden worden. Hieronder de resultaten.

Het is een kleine stap van de geofysica naar de taal- en spraaktechnologie. Het gaat allebei om trillingen en golven. Dus voor Arjan van Hessen, opgeleid tot geofysicus, was de overstap logisch. Hij is werkzaam bij diverse universiteiten, is betrokken bij het project Clariah en werkt voor het bedrijf Telecats. “Wat ik ontzettend boeiend vind is datgene wat er uitgevonden wordt in de praktijk gebruiken. Ik ben niet een hele goeie wetenschapper, maar ik ben wel goed in staat om die vertaalslag te maken van dat wat al die slimme collega’s van mij doen naar het bedrijfsleven waar ik ook werk.  Dus om te zorgen dat datgene wat bedacht en uitgevonden wordt en waar mensen aan werken om dat ook echt in de maatschappij te gaan gebruiken.”

Op dit moment zijn er al vrij veel toepassingen van taal – en spraaktechnologie waar mensen dagelijks mee te maken krijgen. Denk aan de spellingschecker op de computer of de TomTom die tegen je praat. Maar de komende jaren zullen de voorbeelden alleen maar toenemen. “We zien dat de verzorgingsmaatschappij onder druk staat, mensen worden ouder. Er zijn minder jongeren om voor de ouderen te gaan zorgen. Je ziet al in Japan dat er steeds meer robots komen, maar wil je die robots echt in het intermenselijk verkeer als partner hier aan tafel erbij hebben dan moeten ze niet alleen kunnen praten, maar ze moeten ook kunnen begrijpen en sociaal kunnen zijn. Als jij gewoon chagrijnig bent dan wil je niet zo’n vrolijke eikel van een robot naast je hebben, dus hij moet aanvoelen hoe jij bent. Hij moet de manier waarop je praat kunnen interpreteren, kunnen aanvoelen. Social signal processing is dat. Waarom zie ik dat jij vrolijk bent? Dat is waanzinnig complex. En vaak cultureel afhankelijk. Dat maakt het ook lastig.”

De afgelopen jaren heeft taal- en spraaktechnologie een enorme ontwikkeling doorgemaakt. “In de laatste 5, 6 jaar is er een enorme boost geweest in deze technologie en dat komt door het zogeheten deep learning. Jij ziet iemand lopen, die herken je. Waarom? Geen idee, het is iets in de manier van lopen. Beschrijf dat eens? Dat kun je niet. Dat is wat neurale netwerken ook doen. Wanneer je heel veel voorbeelden geeft leert de computer: wat zijn de parameters, hoe moet ik hem instellen om het kopje van het glas te onderscheiden. Die technologie wordt gebruikt voor gezichtsherkenning, beeld herkenning in het algemeen, spraak herkenning en emotie herkenning. En omdat we en heel veel computing power en heel veel data hebben zorgt dat voor stappen voorwaarts de laatste 5 jaar”

Gingen computers vroeger bij 1 op de 7 woorden de mist in qua herkenning, op dit moment is het 1 op de 12 woorden. “Dat is misschien nog wel te hoog, maar mensen zijn ook niet perfect. En waar mensen heel goed in zijn is een aha erlebnis: je hoort iets en je verstaat het eigenlijk niet goed maar vanwege de context kun je dat invullen.” Mensen spreken woorden vaak alles behalve netjes uit, maar door een context weten anderen vrijwel altijd wat je bedoelt. “Dus mensen horen wat ze verwachten te horen en meestal klopt dat en daarom zijn wij er zo goed in  en dat moeten we de computer nog leren.” Een belangrijk proces dat zorgt voor brede inzetbaarheid van computers in diverse telefonische dienstverlening. Door computers goed te tunen zijn ze uitstekend in staat om een eerste afvang te doen, waarna mensen het werk kunnen overnemen. “Dat is wat je overal ziet: het is een hybride systeem. Saaie, makkelijke dingen gaat de computer doen en mensen gaan echt doen waar mensen goed in zijn: emotie en al dat soort zaken.”

Grote bedrijven als Facebook, Amazon en Google zetten fors in op de nieuwe mogelijkheden. “Google zegt wij willen alle informatie van de wereld ontsluiten. Een belangrijk deel van die informatie zit tegenwoordig in video, maar video is eigenlijk nog heel slecht doorzoekbaar voor een gebruiker.” Dat wordt anders wanneer het gesproken woord geautomatiseerd omgezet kan worden in tekst. Tekst is doorzoekbaar en kun je ordenen op trefwoorden. “Die bedrijven zetten dus massaal in op die technologie. Ik zag een interessante keynote van Microsoft. Die willen op je telefoon naar een situatie waarin one rules them all : één applicatie die straks al de andere apps gaat sturen. Waarom heb ik een app nodig voor de trein en het vliegtuig en het weer en hotels? Ik kan straks gewoon tegen dat ding praten en dan zorgen zij voor die onderlinge communicatie“

Of in de toekomst werkelijk alles doorzoekbaar zal worden en  iedereen overal herkenbaar zal zijn, moeten we afwachten. Dat veiligheidsdiensten graag meer grip krijgen op wat burgers zeggen en doen staat vast. Misschien is dit dan ook een goed moment om na te denken over privacy en het beschermen daarvan. De ontwikkelingen staan in ieder geval niet stil. “Ik gok dat we nog een jaar of vijf in de versnelling zitten, omdat er nog heel veel data beschikbaar zijn waar mee getraind kan worden. Daar zul je nog enorm vaak winst door zien. In het begrijpen wat wordt er bedoeld? Waar gaat het over?  Wat zegt ze nou precies? Want als iemand zegt ‘ik wil het nu niet over terrorisme hebben’ dan pikt de computer op dit moment als onderwerp terrorisme op, maar daar gaat het juist niet over. Er zit een ontkenning in. Dat is nog een stap die gemaakt kan worden en zal worden.”

(Een verslag van @daalder)

In het voorjaar van 2015 werd NOTaS gevraagd mee te denken met de Oogvereniging: een vereniging van en voor mensen die visueel gehandicapt zijn. Paradoxaal genoeg is het zo dat naarmate de apparaten om ons heen slimmer worden en meer kunnen, ze lastiger te gebruiken zijn voor mensen met een visuele handicap. Want.... steeds vaker wordt er een touch screens gebruikt en daar heb je niets aan als je moeilijk/niet kunt zien.De bijeenkomst met zo'n 75 bezoekers was succesvol: we konden laten zien dat de spraakherkenning er klaar voor is maar dat de bal nu bij de fabrikanten ligt. Die moeten er immers voor zorgen dat een uiting als "zet de wasmachine op alleen hoofdwas en 30 graden en begin om 22:00 met wassen" ook uitgevoerd wordt.Naar aanleiding van deze bijeenkomst werd ik door Mirjam te Brake geïnterviewd. Dit interview bestaat uit twee delen: een (mooi gesproken) inleiding over wie ik ben en wat ik gedaan heb en het eigenlijke interview met Mirjam. Hieronder de resultaten.

Apple komt als eerste met en telefoon waartegen je kunt praten en die, als je geluk hebt, ook nog een zinnig antwoord teruggeeft: de iPhone MET SIRI. Ik werd naar aanleiding van de komst van SIRI thuis geinterviewd door de mensen van Editie-NL.