Werken met Spraak in het Corpus Gesproken Nederlands.
Hieronder staat een document met daarin uitleg over wat het CGN precies, wat je er mee zou kunnen doen en een overzicht van de verschillende technniken die (mede door het CGN) ontwikkeld zijn. Omdat niet iedereen altijd op de hoogte is van wat alle termen nu precies betekeken, hebben we een overzicht gemaakt waarin de verschillende termen worden uitgelegd.

Achtergrond

Het Corpus Gesproken Nederlands (CGN, versie 2.0.3, 2014) is een verzameling van ong 900 uur (met bijna 9 miljoen woorden) hedendaagse Nederlandse spraak, afkomstig van Vlamingen en Nederlanders. Het project starte eind jaren negentig en had als doel om een database te maken met daarin een representatieve weergave van het Nederlands zoals dat op dat moment in Nederland en Vlaanderen gesproken werd. Het ging er daarbij niet alleen om om welke woorden gesproken werden, maar ook om de manier waarop ze door de verschilllende groepen uitgesproken werden. Als voorbeeld is er de ontwikkeling van het Poldernederlands. Is dat al ruim te horen in de geluidsopnamen of eigenlijk nog niet? En zo ja, door wie of welke groep spekers en/of spreeksters dan? (zie Jan Stroop: Poldernederlands)

De spraakfragmenten in het CGN bestaan zowel uit spontane als voorbereide spraak. De spraak is vervolgens door studenten (Nederlanders en Vlamingen) opgelijnd met diverse transcripties (o.a. orthografisch, fonetisch) en annotaties (syntactisch, POS-tags). Uiteraard werd dit allemaal dubbel gecorrigeerd om er voor te zorgen dat er een redelijk homogene set transcripties en annotatie verscheen.

En dan is er nog metadata aan toegevoegd. Metadata is data over of van de data. Denk daarbij aan lexica, frequentielijsten en corpusexploratiesoftware zoals Corex.

Tenslotte is er ook een webcursus CGN waarmee je je vertrouwd kunt maken met wat je allemaal met het CGN kunt doen.

Automatische Spraakherkenning

Het mooie van het beschikbare corpus is natuurlijk de aanwezigheid van heel veel, goed opgenomen spraak waarvan ook bekend is wat er precies gezegd werd. Dit biedt de mogelijkheid om ASR (Automatische Spraakherkenning) toepassingen te maken waarbij direct gekeken kan worden hoe goed de herkenning precies is.

Inleiding

In dit document gaan we in op de mogelijkheden om de spraakdata in het CGN te gebruiken voor onderzoek en toepassingen op het gebied van Spraaktechnologie. Spraakherkenning is tegenwoordig heel erg goed en als open source voor iedereen beschikbaar waardoor het eigenlijk voor niemand meer een probleem geeft om er ook zelf mee te werken. We laten zien hoe dat gedaan kan worden.

Spraakherkenning

Sinds de herfst 2022 heeft OpenAI een redelijk universele spraakherkenner beschikbaar gesteld: Whisper. Het is een ASR-herkenner waarmee ong 99 verschillende talen goed tot uitstekend herkend kunnen worden. Het Nederlands hoort meestal tot de "uitstekend" herkende talen!
Het is bovendien mogelijk om de herkende spraak direct in het Engels te vertalen waardoor je bv een toespraak in het Chinees of Arabisch redelijk tot goed kunt volgen. Uiteraard kun je de herkende resultaten ook in andere talen vertalen, maar daar moet je dan aparte software (DeepL, Google Translate) voor gebruiken.

Door het open karakter van Whisper, is er vrij snel na de lancering een grote hoeveelheid extra software beschikbaar gekomen die allerlei facetten van moderne ASR nog beter en/of sneller beschikbaar maken. Voorbeelden zijn add-ons als Diarizatie en Voice Activity Detection (VAD). Ook wordt er gewerkt aan het sneller maken van Whisper (Faster-Whisper, Insanely-Fast-Whisper). En het gaat maar door waardoor iedere maand het allemaal nog beter/sneller gaat werken.

Zelf of in de Cloud?

Sommige onderzoekers hebben materiaal onder strikte omstandigheden in handen gekregen en mogen (voorlopig) niemand er iets van laten horen. Als je dan een transcriptie nodig hebt, zul je het zelf moeten doen en dat kost meestal en hoop tijd (en moeite). ASR op de eigen computer kan dan helpen om het sneller te doen.

Python

Whisper is een python-script waarmee je op je eigen computer makkelijk de herkenning kunt doen. Er zijn op Internet verschillende sites waarin wordt uitgelegd hoe je Whisper kunt installeren. Een goede site is bv. Notta.

Als het lukt om Whisper en andere toevoegingen als een Python script op je computer te installeren, dan heeft dat het voordeel dat je erg flexibel bent in het uitvoeren. Nadeel is dat je in principe maar één herkenning tegelijk kunt doen waardoor het een heleboel werk is als je veel en lange AV-files wilt herkennen. Hier is gelukkig een oplossing voor waarbij je een set files kunt opgeven (incl. de te herkennen taal en het te gebruiken herkenningsmodel) die vervolgens herkend gaan worden.

Software

Naast de herkenning via het Python-script zijn er natuurlijk ook mensen/groepen die zich richten op het maken van "dedicated software pakketten" om de spraak te herkennen. De resultaten kunnen grofweg verdeeld worden in software voor a) Windows machines en b) Apple-machines.

Drie mooie voorbeelden zijn:

1. aTrain van de Universiteit van Graz (Windows)
2. MacWhisper van Jordi Bruin (Apple)
3. SubtitleEdit (Windows)

Alle drie de programma’s werken goed, makkelijk en de resultaten zijn uitstekend. Een voordeel van aTrain is dat het ook de nieuwe ontwikkelingen zoals bv. Diarizatie doet terwijl MacWhisper zich in eerste instantie richt op het goed en makkelijk herkennen van de spraak. Uiteraard zijn ook zij bezig om de andere ontwikkelingen er bij in te zetten, maar op dit moment kan dat nog niet.

SubtitleEdit is een iets ander programma. Ontstaan als een OpenSource tool om makkelijk ondertitels van video's te maken, heeft het zich ontwikkeld tot een uitgebreid pakket met de mogelijkheid om de transcripties in ongeveer alle bestaande ondertitelingsformaten om te zetten. Met de komst vangoede, opensource spraakherkenners (eerst KALDI en daarna Whisper) hebben ze nu het proces vergemakkelijkt door ondertitelaars de optie te geven om de video eerst door de spraakherkenner te halen om daarna de transcripties slechts te corrigeren. Dat scheelt een heleboel tijd!

Installatie

De eerste stap is om te beslissen wat je precies wilt doen. Voor de beste flexibiliteit is het het beste om de python versie te downloaden en te installeren. Gaat het je vooral om het herkennen van files, dan kun je beter een software pakket downloaden (bv. aTrain of MacWhisper).

Python

Python is een programmeertaal die begin jaren 90 ontworpen en ontwikkeld werd door Guido van Rossum, destijds verbonden aan het Centrum voor Wiskunde en Informatica in Amsterdam.  Inmiddels wordt de taal doorontwikkeld door een enthousiaste groep techneuten, ondersteund door vrijwilligers op het internet. Python is vrije software.
Om de Python versie te installeren, kun je het best kijken op de website van OpenAI: https://github.com/openai/whisper Hier staat redelijk goed uitgelegd wat je precies moet doen. Eventueel kun je ook nog op onze website kijken: https://speechandtech.eu/news/state-asr/whisper. Ook hier staat ook hoe je de juiste versie van het Python script kunt installeren.

1. Installeer eerst
   • Python (3.8 – 3.10)
     (Ik heb zelf 3.10.1 AvH)
   • PyTorch (1.10.1 of 2.0)
   • FFmpeg: Ga naar de FFmpeg-website om het authentieke bestand te downloaden.
   • NVIDIA CUDA (eventueel)
2. Dan
   Open een terminal venster en type:
   
   • Whisper: pip3 install git+https://github.com/openai/whisper.git
     en daarna (als je wilt):
   • Whisperx: pip3 install git+https://github.com/m-bain/whisperx.git

Het installeren staat ook op op deze YouTube video: https://youtu.be/R5pZPpIIUzA

Tenslotte is er (voor Windows) ook nog een soort toverformule. Je typt eenvoudig: iex (irm whisper.tc.ht) waarna alles geinstalleerd wordt.

 Als het allemaal lukt, dan heb je nu Whisper en WhisperX geinstalleerd en kun je je AV-files herkennen.

Additionele software

De hierboven beschrven software is in eerste instantie bedoeld om de spraak om te zetten in een geschreven versie daarvan (de transcriptie). Whisper doet het voor de meeste (westerse) talen uitstekend maar toch zal het nooit 100% correct worden. Denk bv aan namen (Jansen, Janssen, Janszen) die allemaal identiek klinken maar toch anders geschreven worden. Of aan bedrijfsnamen, Internet-termen (XS4All), (buitenlandse) woonplaatsen en andere woorden waarvan jij eigenlijk moet weten hoe die geschreven worden. Bovendien maken de sprekers ook dikwijls fouten of versprekingen. Wat wil je daarmee dan doen? Overnemen of toch omzetten in "correct Nederlands"? En tenslotte de vraag: waar wil je de transcripties voor gebruiken?

Over het algemeen worden er vier soorten transcripties onderscheden.

1. Bewerkte transcriptie
2. Verbatim of letterlijke transcriptie
3. Intelligente woordelijke transcriptie
4. Fonetische transcriptie

Je moet dus voor je de spraak om gaat zetten in een geschreven versie, eerst goed bedenken wat je met de transcripties gaat doen. Maar... hoe dan ook: helemaal foutloos zal ASR niet werken en dus kan het gebeuren dat je de herkenningsresuultaten zal moeten corrigeren. Nu kan dat op verschillende manieren want de transcriptie is eigenlijk gewoon een tekstbestand dat je met iedere editor kunt aanpassen. Maar het kan makkelijker als je tekst en audio bijelkaar houdt waardoor je beter en sneller weet wat er eigenlijk gezegd werd.

Correctie

Behalve het herkennen van opnamen, wil je er soms ook andere dingen mee doen. Bijvoorbeeld een ondertitelingsbestand maken, een HTML-script maken waarmee je kunt lezen en afluisteren, en natuurlijk: corrigeren van de herkenningsresultaten. Hiervoor hebben we WhisperCorrector gemaakt. Het is een softwarepakket (nog steeds in ontwikkeling) waarmee je vrij makkelijk de herkenningsresultaten kunt controleren en desgewenst aanpassen.
Het is te downloaden op onze website SpeechAndTech alwaar er ook nog additionele informatie over het installeren en gebruiken van Whisper te vinden is (Engelstalig). De software die gedownload kan worden, staat hier.

 

 

 

Batch-jobs

Soms hoef je maar een paar files te herkennen en lukt het makkelijk om ze een-voor-een op de command line te draaien. Maar soms heb jer meer of heb je geen tijd of zin om op de resultaten te wachten. Dan kun je een batch job maken waarin je aangeeft hoe iedere file herkend moet gaan worden. Je slaat de resultaten op en "runt" ze. De computer voert dan een-voor-een de opdrachten uit en schrijft de resulaten in de opgegeven directory. Zo'n batch job kun je uitvoeren met WhisperBatch dat ook van de website te downloaden is.

 

 

 

 

Extra

De wereld staat gelukkig niet stil en vanwege het open karakter van de Whisper software zijn er heel veel zaken die goed uitgelegd en verbeterd worden. Bij het schrijven van deze tekst, viel mijn oog op een interessante YouTube vide waarin Trelis (uit Dublin) uitlegt hoe je Whisper kunt fine-tunen om bv heel vreemde woorden toch goed te kunnen herkennen.

De video staat hieronder: 

In een redelijk lange video legt hij een paar basis onderdelen van Whisper uit en laat hij zien hoe je een model (in dit geval een small model) kunt aanpassen aan het goed herkennen van die rij erg vreemde woorden.

 

 

 

 

 

 

 

 

Conclusie

We hebben geprobeerd een overzicht te maken van Whisper: moderne spraakherkenningssoftware die gewoon via internet te downloaden is. Je kunt je AV-bestanden via dedicated software op zowel je Mac als je Windowsmachine makkelijk en gratis herkennen. Heb je heel veel bestanden die herkend moeten worden en/of ben je handig met Python, dan kun je de herkenning via Python-scripts uitvoeren. Voordeel is dat je net wat meer flexibiliteit krijgt en makkelijk de laatste ontwikkelingen kunt bijhouden. Die komen nl allemaal als eerste via Python beschikbaar.

Ook hebben we de verschillende transcriptiesoorten besproken. Bedenk vooraf dus goed waar je de transcripties voor gaat gebruiken en pas eventueel de te gebruiken software daar op aan.

Tenslotte hebben we onze correctiesoftware besproken. Die is nu ongeveer een jaar in gebruik (en ontwikkeling) en begint een zekere mate van volwasenheid te bereiken.