Aha! Zo laat een robot zien dat hij leert
robotica beeld: Manon Boot
Een lerende robot die steeds dezelfde fout maakt, lijkt misschien niet erg slim. Toch is die achter de schermen volop aan het leren. Leidse onderzoekers ontwikkelden signalen waarmee een robot zichtbaar kan maken wanneer hij iets nieuws leert.
Een robotstofzuiger botst voor de derde keer tegen dezelfde stoelpoot. Voor een mens lijkt het dan alsof hij niets van zijn fouten leert. Maar ondertussen verwerkt het algoritme iedere botsing en past het zijn verwachtingen aan.
‘Wij zien meteen hoe de stofzuiger van A naar B zou moeten rijden, maar een robot begint zonder die kennis’, legt informaticus Joost Broekens uit. ‘Omwegen, botsingen en meerdere keren over dezelfde plek rijden, kunnen allemaal onderdeel zijn van het leerproces.’
Dat proces bestaat uit berekeningen die voor mensen onzichtbaar zijn. Daardoor ontstaat gemakkelijk miscommunicatie: wij beoordelen de robot op zijn gedrag, terwijl het leerproces zich grotendeels intern afspeelt. De robot kan dus al iets hebben geleerd zonder dat je dat meteen aan zijn route ziet.
Robots en emoties
Broekens’ onderzoeksgroep bestudeert hoe robots dat interne leerproces begrijpelijk kunnen maken voor mensen. Daarbij brengt hij informatica, psychologie en onderzoek naar emoties samen. ‘Ik ben opgeleid als informaticus, maar kan mezelf inmiddels ook bijna emotiepsycholoog noemen’, zegt hij lachend.
Promovendus Bernard Hilpert onderzoekt hoe mensen lerende robots beoordelen. Uit zijn gebruikersonderzoek blijkt dat hun beeld vaak niet overeenkomt met wat er werkelijk in het algoritme gebeurt. Als een robot ronddwaalt of fouten herhaalt, denken mensen al snel dat hij niet leert of zelfs kapot is. Hilpert onderzocht daarom hoe een robot met subtiele signalen kan laten merken dat hij wél bezig is nieuwe informatie te verwerken.
De wiskunde achter het gevoel
Hoe leert zo’n robot dan? Dat kan met reinforcement learning: leren door acties uit te proberen en de uitkomsten te vergelijken met eerdere verwachtingen. Daarbij berekent het algoritme steeds de zogeheten temporal difference: het verschil tussen de verwachte en de werkelijke uitkomst. Is de uitkomst een meevaller? Dan past de robot zijn verwachting positief aan. Is het een tegenvaller? Dan past hij hem negatief aan. Zulke signalen zijn te vergelijken met processen die bij mensen samenhangen met ervaringen als verrassing, teleurstelling en opluchting.
Subtiele veranderingen in houding en beweging kunnen al informatie overbrengen.
Een digitaal aha-moment
Om dit onzichtbare leerproces zichtbaar te maken, ontwikkelden de onderzoekers het insight-signaal: een teken dat de robot op dat moment een belangrijke stap in zijn leerproces zet. Met een lichtje, geluid of beweging kan de robot als het ware een digitaal ‘aha-moment’ tonen. Zo ziet de menselijke trainer eerder dat er iets verandert, ook als dat nog niet zichtbaar is in het gedrag van de robot.
Een robot met een menselijk gezicht? Niet nodig
Hoe drukt een robot zo'n emotie in de praktijk uit? Daarvoor hoeft een robot volgens Broekens geen menselijk gezicht te krijgen of voortdurend te piepen. Subtiele veranderingen in houding en beweging kunnen al informatie overbrengen. Een robot kan bijvoorbeeld langzamer of voorzichtiger bewegen na een onverwachte uitkomst. Mensen herkennen zulke patronen vaak als twijfel, schrik of voorzichtigheid.
Mensen geven les als coach
Mensen trainen een robot niet alleen met een beloningsknop. Ze nemen verschillende rollen aan: als coach geven ze aanwijzingen, als technicus controleren ze het systeem en als ontwerper passen ze de taak of omgeving aan. Interfaces die op deze natuurlijke manieren van lesgeven aansluiten, kunnen de samenwerking verbeteren. Als robots op hun beurt zichtbaar maken wanneer en hoe ze leren, begrijpen mensen beter wanneer ze moeten helpen – en wanneer ze de robot nog even moeten laten proberen.
Het Human-AI research cluster van de Universiteit Leiden
In het Human-AI research cluster van LIACS onderzoeken wetenschappers de relatie tussen kunstmatige intelligentie, menselijke intelligentie en menselijk gedrag. Centraal staan vragen over het ontstaan van taal en intelligent en sociaal gedrag, de communicatie tussen AI-systemen en mensen, en de manier waarop technologie menselijke creativiteit en begrip kan ondersteunen. Met games, robots, chatbots, andere interactieve systemen en kunst onderzoeken ze hoe mensen technologie ervaren en ermee omgaan. Het cluster combineert informatica, kunstmatige intelligentie, taalkunde en psychologie en verbindt fundamenteel onderzoek naar intelligentie met de ontwikkeling van nieuwe AI-technologieën en praktische toepassingen.