Korte evaluatie spraakannotatie-systeem
Citation for published version (APA):Beuk, L. G. M. (1987). Korte evaluatie spraakannotatie-systeem. (IPO rapport; Vol. 597). Instituut voor Perceptie Onderzoek (IPO).
Document status and date: Gepubliceerd: 31/07/1987
Document Version:
Uitgevers PDF, ook bekend als Version of Record
Please check the document version of this publication:
• A submitted manuscript is the version of the article upon submission and before peer-review. There can be important differences between the submitted version and the official published version of record. People interested in the research are advised to contact the author for the final version of the publication, or visit the DOI to the publisher's website.
• The final author version and the galley proof are versions of the publication after peer review.
• The final published version features the final layout of the paper including the volume, issue and page numbers.
Link to publication
General rights
Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights. • Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain
• You may freely distribute the URL identifying the publication in the public portal.
If the publication is distributed under the terms of Article 25fa of the Dutch Copyright Act, indicated by the “Taverne” license above, please follow below link for the End User Agreement:
www.tue.nl/taverne Take down policy
If you believe that this document breaches copyright please contact us at: openaccess@tue.nl
providing details and we will investigate your claim.
Instituut voor Perceptie Onderzoek
Postbus 513, 5600 MB
Eindhoven
Rapport no. 597
Korte evaluatie
spraakannotatie-systeem
L.G.M. Beuk
LB
/
lb 87
/
08
31.07.1987
Korte evaluatie spraakannotatie-systeem
L.G.M. Beuk
Instituut voor Perceptie Onderzoek
In dit verslag worden de resultaten van een pilot-experiment met een spraakannotatie-systeem geanalyseerd. Tijdens dit experiment kregen proefpersonen een aantal eenvoudige taakjes, om te kijken of er met het systeem te werken is. Met name spraakcommandos, en annotatiehouders zijn nieuw in het systeem. Er zal eerst een korte beschrijving worden gegeven van het annotatie-systeem, en daarna zullen de resultaten van de analyse worden gepresenteerd.
Korte evaluatie spraakannotatie-systeem
L.G.M. BeukInstituut voor Perceptie Onderzoek
1. Het spraakannotatie-systeem
Vaak bestaat de behoefte om bij een geschreven of getypte tekst een aantal opmerkingen of annotaties te maken. Deze annotaties worden dan in de kantlijn gekrabbeld. Een andere mogelijkheid is om de opmerkingen in te spreken op een cassetteband. Tegenwoordig worden veel teksten gemaakt met een tekstverwerker op een computer. Het zou handig kunnen zijn om opmerkingen over zo'n tekst ook via de computer te maken. Een annotatie kan bij voorbeeld worden ingetypt in een
window,
die wordt geopend als een annotatietekentje in de tekst wordt aangewezen. Ook bij teksten op een beeldscherm kunnen de annotaties worden ingesproken. De computer zoekt, als er een annotatietekentje wordt aangewezen, zelf het stuk op de band dat bij die annotatie hoort.Deze laatste mogelijkheid hebben we verder uitgewerkt Annotaties worden dus ingesproken, en daardoor hoeft men het toetsenbord niet te gebruiken om tekst in te typen. Als nu ook de commando's, zoals het veranderen van pagina, of het beluisteren van een bepaalde annotatie, kan inspreken (en door een spraakherkenner laten verwerken), dan kan men het hele systeem besturen met alleen de stem. De hardware van het systeem bestaat uit een Sun werkstation met hoog-resolutie beeldscherm, een spraakherkenner op een insteekkaart in een P3200 personal computer, en een computer gestuurde cassetterecorder voor de opslag van de gesproken annotaties. Verder is er een microfoon, die geplaatst is op een beugel die op het hoofd wordt gezet. Het signaal van de microfoon wordt zowel naar de spraakherkenner als naar de cassetterecorder gestuurd. Het programma is geschreven in Prolog, uitgebreid met een grafisch pakket, voor besturing van plaatjes op het beeldscherm.
Is het programma gestart, dan heeft men de beschikking over een zestal documenten, die ieder weer uit een aantal paginas bestaan. Op een pagina bevinden zich 12 zo genaamde annotatiehouders, zes links en zes rechts. Dit zijn cirkels in de kantlijn van de pagina, die normaal gesproken leeg zijn, maar gevuld kunnen worden door er een annotatie in te spreken. De besturing van het systeem vindt plaats door middel van gesproken commandos. Men kan overgaan naar een ander document, binnen een document van pagina wisselen, en op een pagina annotaties inspreken, beluisteren en verwijderen. De volgende commando's zijn mogelijk:
document pagina annotatie stopprogramma een t/m zes een t/m zes
links/rechts een t/m zes beluisteren/inspreken/verwijderen
Bij stopprogramma en (annotatie) verwijderen wordt om bevestiging gevraagd, bij (annotatie)
inspreken moet de gebruiker aangeven wanneer de gesproken annotatie begint (start) en wanneer die eindigt (stop). Het systeem weet dan wanneer de cassetterecorder moet worden gestart en gestopt. Tijdens de opname van de annotatie staat de spraakherkenner 'open', om het woord stop te kunnen detecteren.
Het commando: annotatie links drie inspreken (start) (stop) is zo lang, dat het nuttig kan zijn om zo genaamde editing functies toe te voegen. Er is gekozen voor:
2
-- overnieuw: kap het huidige commando af, en begin opnieuw
- terug: verwijder het laatst herkende woord, en ga van daar af verder
De spraakherkenner moet eerst getraind worden. Dit trainen bestaat uit het uitspreken van de te herkennen woorden. Elk woord wordt drie maal ingesproken, en van de drie samples wordt een gemiddelde genomen. Dit gemiddelde wordt een template genoemd.
Als de spraakherkenner later gaat 'herkennen', dan wordt van ingesproken woorden ook een template gemaakt. Deze template wordt vergeleken met een deelverzameling van de getrainde templates. Is er een woord dat voldoende lijkt op het ingesproken woord, dan wordt dit woord doorgegeven als 'herkend'.
De deelverzameling van de templates die vergeleken wordt staan in het menu. Dit menu wordt in het spraakannotatie-systeem altijd aan de gebruiker voorgeschoteld, op een bepaald veld met een vaste locatie op het scherm. In dit veld staan bovendien het laatst herkende woord, en het commando zoals dat tot dan toe is ingegeven.
2. De taak voor proefpersonen
De taak bestaat uit een aantal eenvoudige deeltaakjes, en komt er op neer dat een aantal annotaties beluisterd wordt. en een aantal gemaakt. Dit zorgt er voor dat proefpersonen bekend raken met het systeem. Doel was ondermeer om te kijken of beginnende gebruikers snel vertrouwd raken met het systeem, en of ze fiberhaupt kunnen werken met het systeem.
De taak:
1. beluister op pagina 1 van document 1 de annotatie rechts 4
2. maak zelf een annotatie op dezelfde bladzijde bij annotatie rechts 6 3. maak in document 5 op pagina 3 een annotatie links 1
4. beluister de annotatie op pagina 2 van document 3, en doe wat daar gezegd wordt
5. ga naar document 6, en vul de enquete in, door in een aantal annotaties uw opmerkingen te maken
6. beëindig het programma door 'stopprogramma'
Alle spraak.input die door de herkenner wordt doorgegeven aan het Prolog programma wordt geregistreerd, samen met het tijdstip van doorgeven, in secondes na het opstarten van het programma.
3. Resultaten, analyse
Aan het pilot-experiment hebben vijf proefpersonen deelgenomen. Van twee van hen zijn de data niet volledig. Uit de data kan men verschillende informatie putten: hoe lang doet een proefpersoon over een taak, hoeveel fouten maakt de spraakherkenner, etc. Ik zal een overzicht geven van enkele analyses.
3.1. Duur van commando 'annotatie'
Een commando 'annotatie' bestaat uit vier afzonderlijk uitgesproken woorden: annotatie links/rechts een t/m zes beluisteren/inspreken/verwijderen
Van alle complete commandos met annotatie is het aantal secondes tussen het doorgeven van het eerste en het laatste woord geteld. Een aantal maal is een woord fout herkend, en is hersteld met terug (bij voorbeeld: annotatie links twee terug drie beluisteren). Deze worden aangegeven met een
*.
- 3 -50 40 30
-e-
pp1
serorden
-+-
pp3
20 -Il-pp4
-+-
ppS
10 0 0 1 0Na een aanlooptijd lijkt de duur van een commando met annotatie rond de 10 seconden te zitten ( +/- 5
seconden). Soms duurt het langer:
(1) als er in het commando een woord fout herkend wordt, (2) als een woord niet herkend wordt,
(3) als de proefpersoon gaat nadenken midden in een commando. (wat zal ik straks gaan zeggen voor de annotatie?)
Het verschil tussen (2) en (3) is niet uit de data te halen.
Als men op de terugmelding van het systeem wacht (laatst herkende woord) alvorens een nieuw woord in te spreken, dan duurt een commando meestal langer dan 5 seconden. Als een commando 5 seconden heeft geduurd, is dus waarschijnlijk niet gewacht op de terugmelding, maar vooruit gesproken.
3.2. Gebruik 'overnieuw'
Op elk moment kan de gebruiker overnieuw zeggen. Het huidige commando wordt dan verwijderd, en het systeem komt weer in de 'begintoestand'. Het wordt gebruikt:
(1) om commando af te breken en ander commando te geven (2) als stop niet werkt is overnieuw een alternatief
(3) per ongeluk (verkeerd herkend)
(4) vooral bij beginners: als een commando niet goed is herkend (b.v. pagina drie i.p.v. pagina vier) zegt men soms overnieuw alvorens het commando nog een keer te geven (terwijl dit niet hoeft) Alle overnieuw commando's zijn toegekend aan een van deze vier categorieën:
proefpersoon (1) (2) (3) (4) totaal ppl 2 2 pp2 1 2 2 3 8 pp3 1 3 2 6 pp4 3 3 pp5 1 1 2 totaal 5 5 3 8 21
4
-Het commando overnieuw is bedoeld voor geval (1), en dan nog voor die gevallen waarin terug niet kan. Bij de 3 keren dat pp4 overnieuw zei had terug ook gewerkt, dus van de 21 maal dat overnieuw gezegd werd, zijn er maar twee gevallen waarin dat op zijn plaats was. Men kan zich afvragen of terug misschien volstaat in dit annotatiesysteem.
3.3. Gebruik 'terug'
Proefpersonen gebruiken in het begin vaak overnieuw in gevallen waar terug meer op zijn plaats zou zijn, bij voorbeeld:
annotatie links drie overnieuw
annotatie links vier in plaats van
annotatie links drie terug
vier
Terug wordt gebruikt:
(1) als het vorige woord in een "lang" commando verkeerd is herkend (2) als het woord voor het laatste woord verkeerd is herkend (2x terug) (3) per ongeluk (verkeerd herkend)
In de volgende tabel zal ook worden aangegeven welke woorden verkeerd zijn herkend voordat terug werd gezegd: x(y) betekent: herkend werd x terwijl y gezegd werd
proefpersoon (1) (2) (3) totaal fouten
ppl 2 2 3(1) 3(2) pp2 4 1 1 6 links(rechts) 1(2) 3(4) 4(5) pp3 2 2 3(2) 6(3) pp4 3 1 4 3(1) 3(1) 3(1) pp5 0 totaal 11 2 1 14
Het is mogelijk om terug te zeggen na: a) links/rechts
b) een/ .. ./zes (alleen in annotatie links/rechts 1/6 ... ) c) inspreken/verwijderen (niet na beluisteren)
Geval a) kwam 1 maal voor, geval b) 10 maal en geval c) 3 maal.
Als terug ten onrechte herkend wordt (d.w.z. dat een ander woord werd uitgesproken), dan moeten twee woorden opnieuw worden ingesproken. In de data zijn geen aanwijzingen te vinden dat dit tijdens het experiment is voorgekomen.
5
-3.4. Fouten spraakherkenner
Fouten van de spraakherkenner kan men indelen in drie categorieen:
(1) men spreekt, maar herkenner hoort het niet (te zacht), of kan er niets van maken (onduidelijk gesproken, of anders dan bij de training)
(2) de herkenner 'verstaat' een verkeerd woord
(3) de herkenner 'verstaat' spontaan een woord, b.v. als de gebruiker praat tegen een omstander, of in zichzelf
In geval (1) is er geen terugmelding naar de gebruiker, behalve dan een gebrek aan actie. Bij andere spraakherkenner-systemen hoort men, als de gebruiker onduidelijk heeft gesproken (niet als hij te zacht sprak) een ding-dong, ten teken dat de spraakherkenner wel wat gehoord heeft, maar er niets van kon maken.
Gevallen van categorie (1) kan men niet destilleren uit de huidige data, met uitzondering van de herkenning van het woord stop aan het eind van een gesproken annotatie, die wordt opgenomen op een cassette (zie verderop). Men zou, om toch deze data te verkrijgen, een bandrecorder kunnen laten meelopen, en naderhand beluisteren, of de proefleider luistert tijdens het experiment mee, en turft alle meermaals uitgesproken woorden.
Fouten van categorie (2) kan men raden uit de data. Raden, omdat men niet zeker weet of de proefpersoon niet toch het herkende woord zei, ook al was dat in die situatie niet juist
In de volgende tabel staan de gegokte fouten van de herkenner, x(y) betekent: x werd herkend terwijl y werd gezegd,
x(y)t betekent: x werd herkend terwijl y werd gezegd, hersteld met terug, x(y)o betekent: x werd herkend terwijl y werd gezegd, hersteld met overnieuw.
ppl: 3(l)t 3(2)t pp2: links(rechts)t 1(2)t 3(4)t 4(5)t pp3: 6(5)o 6(5)o 6(5) 6(5) 6(5) 4(5) 6(5) 6(5) 3(2)t 6(3)t pp4: 3(1) 3(1) 3(1) 2(3) 3(1)o 3(l)o 3(l)o 3(l)o 3(1)t 3(1)t 3(1)t 3(1)t pp5: nee(ja) nee(ja)
proefpersoon aantal fouten aantal verschillende fouten
ppl 2 2
pp2 4 4
pp3 10 3
pp4 12 2
pp5 2 1
Het blijkt dat fouten van de spraakherkenner vaak heel hardnekkig zijn. Dit zal voornamelijk gebeuren als de herkenner (voor een bepaald woord) niet goed getraind is of kan worden omdat de woorden te veel op elkaar lijken. Opvallend is verder dat vooral de cijfers verkeerd herkend worden.
De manier waarop fouten hersteld worden:
6 maal met overnieuw (4 hiervan lag het laatste alternatief meer voor de hand) 12 maal met terug
12 maal spreekt men commando opnieuw in, als fout aan eind van commando voorkomt (b.v. do-cument 6 i.p.v. dodo-cument 3)
Het aantal maal dat een fout van categorie (3) (spontane herkenning) is voorgekomen kan men ook alleen maar gokken: ongeveer 5. Dit aantal is niet verontrustend hoog, en geen reden om de drempel voor herkenning te verhogen.
Als het aantal fouten van categorie (1) hoog zou zijn, zou dit reden zijn om de drempel te verlagen, terwijl als het aantal fouten van categorie (2) of (3) relatief hoog zou zijn, dit reden zou zijn om de drempel te verhogen. Dit zou men per menu kunnen bekijken, en eventueel zelfs per woord, maar hoe hoog de drempel per menu of woord zou moeten zijn, is moeilijk te bepalen, en ligt niet voor de hand.
6
-3.5. Tijd nodig voor subtaken
Uit de data is een schatting gemaakt voor de tijd en het aantal ingesproken woorden per taak per proefpersoon. De tijd die gegeven wordt is de tijd tussen het eerste woord dat hoort bij de taak, en het laatste woord. De tijd tussen de taken wordt dus niet geteld.
taak minimaal ppl pp2 pp3 pp4 pp5
#woorden #w tijd #w tijd #w tijd #w tijd #w tijd
1 6 16 2:21 9 2:11 12 1:33 8 0:35 2 6 6 0:48 9 9:30 6 1:00 6 1:05 3 10 12 1:24 26 4:00 28 4:17 36 5:12 14 2:47 4a 8 10 1:12 ? ? 8 0:53 8 1:39 8 0:35 4b 6 6 0:39 ? ? 8 2:00 6 0:57 6 0:50 4 C 5 5 0:22 ? ? 5 0:36 5 0:17 10 1:06 5 n.v.t. 26 5:10 35 12:36 39 8:58 26 4:42 61 12:16 6 2 2 0:24 0 0:00 2 0:12 2 0:05 4 0:19 1+2+3-+4+6 43 57 7:10 ? ? ? ? 75 10:43 56 7:17 verhouding 1.3 2.0 1.3 1.75 1.3 werkeliik/minimaal totale tijd 14:54 48:13 > 18:07 20:33 23:03
Het aantal woorden nodig voor de taken 1-4 en 6 is in principe te bepalen. Taak
5
is zodanig dat men zelf het aantal annotaties kan bepalen.Het aantal woorden dat de proefpersonen nodig hadden om de taken uit te voeren was hoger dan hel aantal dat in principe benodigd is (de verhouding tussen het aantal werkelijk herkende woorden en hel in minimaal benodigde aantal woorden is in alle gevallen groter dan 1). Dit kwam door:
- verkeerd herkende woorden,
- fouten of onhandigheden van de proefpersonen,
- proefpersonen controleren of wat ze gedaan hebben goed is gelukt, ze beluisteren bij voorbeeld een zojuist ingesproken annotatie.
3.6. Beëindigen annotatie met 'stop'
Tijdens het inspreken van een annotatie blijft de spraakherkenner 'open' staan, d.w.z. dat hij probeert de ingesproken tekst van de annotatie te herkennen. Het vocabulaire is op dat moment echter zeer beperkt: stop en overnieuw. Stop is het gebruikelijke commando om de annotatie te stoppen, echter overnieuw werkt ook omdat dit woord altijd kan worden herkend. Om te voorkomen dat annotatietekst wordt herkend als stop of overnieuw, hebben deze woorden een verhoogde drempel gekregen, d.w.z. dat een binnengekomen woord heel veel op stop of overnieuw moet lijken voordat het als zodanig wordt herkend. Dit heeft echter ook een nadeel. Het kan gebeuren dat de gebruiker stop zegt, maar dat de herkenner dit niet verstaat. Zo kan men vele malen stop moeten zeggen voordat inderdaad de opname van de annotatie wordt gestopt. Een aantal proefpersonen had hier heel veel last van. De gemiddelde score van een woord was bij hen lager, waardoor vaker een woord de drempel niet passeerde, maar vooral bij het woord stop.
Uit de gesproken annotaties kan men afleiden hoe vaak de proefpersonen stop moesten zeggen voordat het herkend werd. In de volgende tabel staal per proefpersoon voor elke gemaakte annotatie het aantal malen dat hij stop zei:
7
-proefpersoon aantal malen stop per annotatie gemiddeld
ppl 2 1 1 1 1 2 2 1.4
pp2 6 12 2 12 21 *22 12.5
pp3 3 3 *9 6 1 *10 *4 5.1
pp4 1 1 2 2 1 2 3 1.7
pp5 3 1 1 10 3 3 1 1 3 1 2.7
Vier maal is een annotatie gestopt door het woord overnieuw, i.p.v. stop. Deze zijn gemarkeerd met
een *. Ook overnieuw heeft een verhoogde drempel, maar niet zo hoog als stop.
Totaal is 150 maal stop (en overnieuw) gezegd, voor 37 annotaties, dus gemiddeld 4. Er is geen een keer per ongeluk stop herkend. Dit wil zeggen dat de drempel in ieder geval niet te laag was. Het grote aantal keren dat stop moest worden gezegd om de annotatie te stoppen geeft aan dat de drempel beter omlaag kan.
3.7. Enquete
Taak 5 bestond uit het 'invullen' van een kleine enquete. De vragen moesten worden beantwoord door opmerkingen te plaatsen in annotaties op die bladzijde. De vragen waren aldus:
Wat vond u van de herkenning door de spraakherkenner, was die voldoende? Hoe vond u de training van de spraakherkenner?
De manier om annotaties te maken en te beluisteren, was die omslachtig?
Annotaties konden alleen op vooraf vastgestelde plaatsen worden gemaakt. Was dit een grote beperking?
De responsesnelheid van het systeem, was die vervelend traag? Of heeft u hier niets van gemerkt?
De terugmelding over de herkende opdrachten en de 'huidige herkenbare woorden', was die voldoende, of misschien te veel, onduidelijk of anderszins?
Verdere opmerkingen zijn ook welkom!
De herkenning vond men redelijk tot goed, sommige proefpersonen maakten een uitzondering voor een aantal woorden. Een proefpersoon merkte op dat de plaatsing van de microfoon voor de mond van groot belang is.
De training werd door de meeste proefpersonen niet lastig gevonden, kost wel tijd, maar is te doen. Men was wel blij dat de proefleider de PC bediende tijdens de training, omdat het programma dat er bij hoort op het eerste gezicht niet overzichtelijk is.
Er was niemand die de manier om met annotaties te manipuleren omslachtig vond.
Over de vraag of de vaste plaats van annotaties een beperking is waren de meningen verdeeld.
Sommigen merkten op dat dit afhankelijk is van de taak van de gebruiker. Een proefpersoon merkte op dat voor het beluisteren van een annotatie het van meer belang is dat de positie nauwkeuriger is, omdat men in het geval van een annotatiehouder in de kantlijn moet gaan zoeken op welk stuk van de tekst de annotatie betrekking heeft.
De responsesnelheid werd door vier proefpersonen niet als te traag ondervonden, mede doordat er van te voren kon worden ingesproken (men spreekt het volgende woord al in voordat het vorige woord is doorgegeven). De vijfde proefpersoon vond wel dat het systeem te traag was. Een proefpersoon merkte
8
-op dat de cassetterecorder traag was.
De terugmelding vond men in ieder geval niet te weinig. Het menu werd vooral in het begin gebruikt, later minder. Het laatst herkende woord werd door alle proefpersonen gebruikt. Het huidige commando werd door ten minste drie proefpersonen niet gebruikt. De een vond het overbodig, een ander dacht dat hij het in de toekomst wel zou gaan gebruiken.
Verdere opmerkingen: Een proefpersoon vroeg zich af of de training van de spraakherkenner niet te koppelen is aan de taak zelf. Men vond dat de instructie duidelijker had gemogen.
4. Conclusie
In dit verslag is een systeem beschreven met een bijzondere gebruikers-interface. Naast een beeldscherm is alle interactie met behulp van spraak. Commando's worden ingesproken en herkend door een spraakherkenner, annotaties kunnen worden ingesproken en beluisterd. Vóór ik wilde onderzoeken of en wanneer een spraak-interface aantrekkelijk is en 'beter' dan een andere interface, heb ik eerst bekeken of gebruikers wel met de spraak-interface kunnen werken.
De proefpersonen hadden in het algemeen een positieve indruk van de spraak-interface, zo bleek uit de enquete achteraf. Allen waren in staat om de taak uit te voeren. Uit de data van de experimenten kan men echter afleiden dat met name de spraakherkenning nog een bron van problemen is, doordat sommige woorden slechts na veel proberen worden herkend. Dit kan verbeterd worden door een betere training van de spraakherkenner (en de gebruiker), en een andere instelling van de parameters.
Al met al lijkt het zinvol om door te gaan met het experiment. Mogelijke parameters zijn: Vergelijking spraakcommando's en commando's gegeven met muis.
Vergelijking machinale spraakherkenner en ideale (menselijke) spraakherkenner. Optimale instelling van parameters van spraakherkenner.
