Spraak

Zo'n ±40 jaar geleden was er iets nieuws op de telefoniemarkt: IVR. Door het indrukken van een of meer van de 12 toetsen op een telefoon was het mogelijk om een vraag te beantwoorden die door "de telefoon" werd gesteld. U kunt denken aan "voor de afdeling Inkoop druk 1, voor de afdeling Verkoop druk 2". Het werd een groot succes en honderden bedrijven over de hele wereld boden dit soort "automatische dialogen" aan. Natuurlijk was de keuze van de input beperkt, je kon niet meer dan ±6 verschillende opties per vraag aanbieden en niet meer dan 3 of 4 lagen diep. Bovendien was de flexibiliteit van deze systemen beperkt en kostte het veel tijd (en geld) om ze te veranderen.
Maar toch... het werd een groot succes en het wordt nog steeds in veel diensten gebruikt. In het begin van de jaren negentig kwam spraakherkenning beschikbaar voor het Engels (Amerika en Engeland), een paar jaar later gevolgd door het Frans, Duits en Nederlands voor commerciële doeleinden.

Natuurlijk waren de eerste dialogen eigenlijk een soort IVR met spraak, maar toen de technologie rijper werd, werden de gesproken dialogen dat ook. En toen "slot-filling" het mogelijk maakte meerdere slots tegelijk te vullen (b.v. "morgenvroeg" "van Utrecht" "naar Enschede") begonnen pionierende bedrijven de waarde van Spraakherkenning in te zien en stapten (langzaam) over van IVR naar ASR.
Aan het begin van de 21^ste eeuw werd spraakherkenning meer en meer aanvaard en begon ASR de dominante rol van IVR in de wereld over te nemen.

In de loop der jaren werd de spraakherkenning niet alleen beter (minder herkenningsfouten) maar ook slimmer (meer woorden). In plaats van een door de systeemontwikkelaars opgestelde "grammatica" maakte LVCRS (Large Vocabulary Continuous Speech Recognition) de weg vrij voor "zeg wat je wilt zeggen, wij zullen het herkennen". Met LVCRS konden mensen "gewoon" spreken en moest een slimme NLP-eenheid (Natural Language Processing) de betekenis van de boodschap uit de herkende spraak halen.

Toen AI beschikbaar kwam voor commercieel gebruik (±2010), veranderde er veel! DNN's (Deep Neural Networks) voor spraakherkenning (Microsoft, 2014) hebben de WER (Word Error Rate) in de daaropvolgende 5 jaar drastisch verminderd. Vandaag is het voor duidelijk gesproken Amerikaans-Engels (en Chinees) op het niveau van de mens. En toch... wij mensen doen het bijna altijd beter dan machines in echte situaties. Maar waarom?

Tekst

In de late jaren '90 en vroege jaren '00 kwamen chatdiensten op. Mensen konden geschreven berichten met elkaar uitwisselen in min of meer real time via Messenger of andere diensten. In het begin was het iets dat vooral door kinderen werd gebruikt, maar al snel zagen oudere mensen er het nut van in en werd het langzaamaan heel groot. Maar... het was, zeker de eerste jaren, vooral een manier van mens-mens communicatie: je schreef je vriendin een bericht, zij las het en stuurde een antwoord.
Maar al snel kwamen er vragen over self-services: konden die geschreven berichten nu niet (deels) geautomatiseerd worden? En zo, beetje bij beetje, kwamen er geautomatiseerde tekstdiensten beschikbaar. Je kon een vraag intypen, die vervolgens (half)automatisch werd beantwoord. En ook hier deed AI zijn intrede en werden de dialogen steeds "menselijker" en soms is het moeilijk te zien of een mens of een machine je vragen beantwoordt.

Zowel gesproken als geschreven dialogen doorstaan de Turingtest meestal nog niet, maar ze worden steeds beter en kunnen al met succes worden gebruikt.

Taal en Spraak

Aanvankelijk lagen de soorten gesproken en geschreven dialogen vrij ver uit elkaar, maar naarmate de technologie verbeterde en vooral na de komst van DNN's voor zowel sterk verbeterde spraakherkenning als NLP, zijn chat- en spraakbots redelijk in opkomst. Je ziet ze steeds meer bij bedrijven, overheid en andere organisaties. En, soms verrassend, acteren ze ook nog redelijk tot zeer goed.
De populariteit zet je aan het denken om ze te combineren. Je besteedt immers veel tijd aan het opzetten van een goede chatbot, dus waarom zou je die niet ook toegankelijk maken voor spraak?

Tot ±5 jaar geleden was dit niet aan te raden. De geschreven chatbot en de gesproken voicebot verschilden in opzet en bedienden ook een (iets) andere doelgroep. De gesproken versie was meer gericht op de spreker: wat kon een organisatie voor hem of haar betekenen, of wat moest hij of zij doen om iets te bereiken. De schriftelijke vorm was duidelijk afstandelijker en ging meer over informatie over de organisatie, over wat ze deden en wie ze waren. Maar dat laatste veranderde met de komst van chatbots. De meer formele manier werd vaak vervangen door een informele manier, de toon van de stem veranderde en het scala van dingen die je kon afhandelen werd breder.

Men zag duidelijk dat chat en voice naar elkaar toe groeiden, waardoor integratie op de achtergrond voor de hand lag. En toen ging het snel. Nu vragen steeds meer bedrijven of hun bestaande chatbot(s) ook voor voice gebruikt kunnen worden. En meestal is het antwoord: ja, mits... Want natuurlijk: er is nog steeds een verschil tussen die twee, al is dat een stuk minder dan 5 jaar geleden.

Combinatie van spraak en chat

Het verschil tussen de twee is duidelijk: ASR om van spraak naar tekst te gaan en TTS om van tekst terug naar spraak te gaan. Beide technieken worden snel beter en beter en vooral met de TTS is er niet veel aan de hand: de gesproken tekst zou misschien iets beter kunnen, iets natuurlijker en misschien met iets meer personalisatie, maar in het algemeen is hij goed te begrijpen.

Met ASR en de daaropvolgende NLP-engine ligt dat duidelijk anders. Mensen spreken over het algemeen niet grammaticaal correct, stoppen halverwege een zin, geven het onderwerp een andere naam of gaan ervan uit dat wat zij zeggen gemakkelijk kan worden begrepen. Moderne ASR-engines kunnen de gesproken tekst omzetten in geschreven tekst, maar de vraag is of de NLP-engine er iets zinnigs van kan maken. Natuurlijk: dit geldt ook voor de NLP-engine die de geschreven boodschap moet omzetten in iets zinnigs, maar zolang de schrijvers redelijk dicht in de buurt blijven van het opschrijven van wat zij bedoelen, is dit meestal wel te doen.

Afbeelding van de structuur van een Chat- en Voicebot.

De (wetenschappelijke) focus ligt dus op de stap van "spraak" naar "begrijpelijke tekst". Met andere woorden, van herkennen naar begrijpen. Dit is een zeer boeiend maar ook moeilijk onderwerp waar we de volgende keer dieper op in zullen gaan.
Wat de combinatie van Voice en Chatbots betreft, kunnen we stellen dat, op voorwaarde dat de complexiteit van de dialoog niet te groot is, het over het algemeen goed te doen is. En we zien dit terug in een sterke groei van toepassingen waarin beide kanalen worden ontwikkeld en gebruikt.

Voice

About ±40 years ago, we had something new in the telephony market: IVR. By pressing one or more of the 12 keys on a telephone, it was possible to answer a question asked “by the telephone”. You may think of "for the Purchasing department press 1, for the Sales departments press 2". It became a great success and hundreds of companies all over the world offered this kind of "automatic dialogues". Of course, the choice of input was limited, you could not offer more than ±6 different options per question and a maximum of 3 or 4 layers deep. Moreover, the flexibility of these systems was limited and it took a lot of time (and money) to change them.
But still... it became a great success and it is still used in many services. In the early nineties, speech recognition became available for English (America and England) followed a few years later for French, German and Dutch for commercial purposes.

Of course, the first dialogues were actually a kind of IVR with speech, but when the technology matured, so did the spoken dialogues. And when “slot-filling” allowed you to fill several slots at once (e.g. "tomorrow morning” “from Utrecht” “to Enschede") pioneering companies started to see the value of Speech Recognition and (slowly) switched from IVR to ASR.
At the beginning of the 21^st century, speech recognition became more and more accepted and ASR started to take over the dominant role of IVR in the world.

Over the years, speech recognition became not only better (less recognition errors) but also smarter (more words). Instead of a "grammar" drawn up by the system developers, LVCRS (Large Vocabulary Continuous Speech Recognition) enabled the way to “say what you want to say, we will recognise it”. With LVCRS, people could "just" speak and a smart NLP (Natural Language Processing) unit had to extract the meaning of the message from the recognised speech.

With AI becoming available for commercial use (±2010), a lot changed! DNNs (Deep Neural Networks) for speech recognition (Microsoft, 2014) decreased the WER (Word Error Rate) drastically in the following 5 years. Today it is for clearly spoken American-English (and Chinese) at the level of humans. And yet... we humans almost always do better than machines in real situations. But why?

Text

In the late ‘90s and early ‘00s, chat services emerged. People could exchange written messages with each other in more or less real time via Messenger or other services. At first, it was something mainly used by children, but quickly elder people saw the usefulness of it and it slowly became very big. But... it was, certainly the first years, mainly a way of human-human communication: you wrote your friend a message, she read it and sent a reply.
But quickly there were questions about self-services: couldn't these written messages now be (partly) automated? And so, little by little, automated text services became available. You could type a question, which was then (semi-)automatically answered. And here too, AI made its appearance and the dialogues became more and more "human" and sometimes it is difficult to see if a human or a machine is answering your questions.

Both spoken and written dialogues usually do not yet pass the Turing test, but they are improving and can already be used successfully.

Language and Speech

Initially, the types of spoken and written dialogues were fairly far apart, but as technology improved and especially after the arrival of DNNs for both greatly improved speech recognition and NLP, chat and voice bots are fairly booming. You see them more and more at companies, government and other organisations. And, sometimes surprisingly, they also act reasonably to very well.
The popularity makes you think about combining them. After all, you spend a lot of time setting up a good chatbot, so why not make it accessible for speech as well?

Until ±5 years ago, this was not recommended. The written chatbot and the spoken voicebot differed in design and also served a (slightly) different target group. The spoken version was more focused on the speaker: what could an organisation do for him or her, or what did he or she have to do to achieve something. The written form was clearly more distant and was more about information about the organisation, about what they did and who they were. But the latter changed with the arrival of chatbots. The more formal way was often replaced by an informal way, the tone of voice changed and the range of things you could handle became wider.

It was clearly seen that chat and voice were growing together, making integration in the background obvious. And then things moved fast. Now, more and more companies are asking if their existing chatbot(s) can also be used for voice. And usually the answer is: yes, if… Because of course: there is still a difference between the two, although it is a lot less than 5 years ago.

Combining Voice and Chat

The difference between the two is clear: ASR to go from speech to text and TTS to go from text back to speech. Both techniques are rapidly getting better and better and especially with the TTS there is not much to worry about: the spoken text could perhaps be a little better, a little more natural and perhaps with a little more personalisation, but in general it is easy to understand.
With ASR and the subsequent NLP-engine, this is clearly different. People generally do not speak grammatically correct, stop halfway through a sentence, rename the subject or assume that what they are saying can be easily understood. Modern ASR-engines can convert the spoken text into written text, but the question is whether the NLP-engine can make sense of it. Of course: this also applies to the NLP-engine that has to convert the written message into something that makes sense, but as long as the writers stay reasonably close to writing down what they mean, this is usually doable.

Picture of the structure of a Chat and Voicebot.

The (scientific) focus is therefore on the step from "speech" to "understandable text". In other words, from recognising to understanding. This is a very fascinating but also difficult subject that we will discuss in more detail next time.
As far as the combination of Voice and Chatbots is concerned, we can state that, provided the complexity of the dialogue is not to great, it is generally doable. And we see this reflected in a strong growth of applications in which both channels are developed and used.