Hotelkamerprijzen: mensenwerk of speelbal van algoritmen?
Je wilt een hotel boeken en bekijkt op internet het aanbod en de kamerprijzen. Die prijzen hangen af van de verwachte vraag en komen tot stand met computeralgoritmen, maar worden soms handmatig aangepast door hotelketens. Welke gevolgen heeft dit menselijke ingrijpen en hoe kun je dat meten? Promotie op 12 november 2019.
Het vakgebied hotelrevenuemanagement (de kunst van het voorspellen van de vraag en tegelijkertijd de prijs en beschikbaarheid aanpassen om aan de vraag te voldoen) heeft zich het afgelopen decennium snel ontwikkeld, zegt promovenda Larissa Koupriouchina. Tegenwoordig geven geautomatiseerde systemen een schatting van de toekomstige vraag en bepalen zogeheten revenue managers of zij akkoord gaan met deze schattingen. 'Aangezien algoritmen steeds vaker worden gebruikt als steunpilaar voor menselijke beslissingen, stijgt de behoefte om computeroutput succesvol te combineren met menselijke kennis en intuïtie. Kunnen beslissingen door geavanceerde algoritmen worden verbeterd door mensen?'
De keuze voor dit onderzoeksonderwerp komt voort uit Koupriouchina's passie voor technologie. 'Sinds het behalen van mijn masterdiploma voel ik me aangetrokken tot projecten waarbij technologie een rol speelt. Ik vond een baan in het hoger toerisme-onderwijs, maar bleef daarnaast zoeken naar nieuwe uitdagingen.' Op internet volgde ze discussies over revenue management. 'Ik begon me erin te verdiepen en zo kwam ik erachter dat het voorspellen van hotelbezettingsgraad een veelbesproken onderwerp was.'
Dat voorspellen gaat met algoritmen en die worden steeds vaker gebruikt. Zo bepalen algoritmen potentiële partners op datingsites en het gedrag van zelfrijdende auto's. 'Al deze traditioneel menselijke terreinen worden 'bezet' door de groeiende macht van algoritmen. Moeten we daar blindelings op vertrouwen? Hoe weten we of de algoritmen het bij het juiste eind hebben? En hoe kunnen we de invloed van onze eigen interventies evalueren?'
Koupriouchina onderzocht geanonimiseerde gegevens over de prijsbepaling van hotelkamers. De data zijn afkomstig van duizenden hotels van over de hele wereld en zijn verkregen door samenwerking met een wereldwijde Revenue Management System (RMS)-leverancier met meer dan tienduizend klanten in 124 landen. 'Ik heb gedetailleerde voorspellingsgegevens bestudeerd en bekeken of menselijke aanpassingen deze voorspellingen verbeterden. Ik heb diverse statistische technieken gebruikt om de gegevens te analyseren, waaronder multilevel-modellen, ook wel hiërarchische lineaire modellen genoemd.'
Tegenstrijdige antwoorden
Ten eerste onderzocht ze de maatstaven voor het beoordelen van de nauwkeurigheid van de bezettingsgraadvoorspellingen. Ze berekende met zeventien verschillende maatstaven de nauwkeurigheid van meer dan tweeduizend geautomatiseerde bezettingsgraadprognoses, die vervolgens werden vergeleken met handmatige voorspellingen van de revenue manager. 'Verschillende maatstaven genereren tegenstrijdige antwoorden en de nauwkeurigheid van de prognoses kan daardoor verkeerd worden beoordeeld en, als gevolg, de besluitvorming in andere hotelmanagementgebieden ondermijnen, zoals prijzen, voorraadbeheer, operationele planning, distributie en strategie. Deze bevindingen kunnen worden gebruikt om revenue managers nader te informeren over de valkuilen van elke maatstaf, zodat ze in staat zijn om zorgvuldig de maatstaf te kiezen.'
Verder toont de onderzoekster aan dat de nauwkeurigheid van prognoses aanzienlijk verbetert naarmate de prognosehorizon korter wordt, dat frequente handmatige aanpassingen gunstiger zijn voor de nauwkeurigheid van prognoses voor groepsboekingen dan voor individuele boekingen en dat handmatige aanpassingen in een laat stadium een gunstiger effect hebben op de nauwkeurigheid dan aanpassingen in een vroeg stadium.
Aanbevelingen
Om in de toekomst nog beter onderzoek te kunnen doen naar de invloed van handmatige aanpassingen van de computeralgoritmen, doet de Koupriouchina een aantal aanbevelingen. 'Het zou nuttig zijn als revenue managers in een logboek structureel bijhouden waarom ze handmatig hebben ingegrepen. Dat maakt het mogelijk om deze redenen stelselmatig te beoordelen en de resultaten van deze analyse in de feedbackloop op te nemen.'
Daarnaast zouden RMS-leveranciers procedures moeten ontwikkelen om interventies door revenue managers continu te kunnen monitoren. Deze analyse zou metingen kunnen bevatten van de effectiviteit van interventies en de impact daarvan op de prognoseprestaties, ingedeeld op type interventie en reden. Bovendien, door gebruik te maken van het enorme aantal uitwisselingen tussen de duizenden hotels die onder verschillende omstandigheden werken, zouden RMS-leveranciers hun product verder kunnen vormgeven met een beter begrip van het gedrag van de gebruikers.
De bevindingen van dit onderzoek hebben implicaties voor de academische wereld, de hotelbranche en RMS-leveranciers. De bevindingen zijn gepubliceerd in International Journal of Hospitality Management, International Journal of Contemporary Hospitality Management en als hoofdstuk in het handboek Management Science in Hospitality and Tourism: Theory, Practice and Applications. Diverse academische auteurs hebben onze aanbevelingen al in hun onderzoek verwerkt. Om de aandacht van de hotelindustrie te trekken en om de noodzaak om deze bevindingen in de praktijk te brengen te illustreren, zijn de tussentijdse resultaten gedeeld in verschillende educatieve sessies, op conferenties en bij vergaderingen van revenuemanagement-verenigingen in Nederland en in het buitenland (VS, VK, Duitsland, Frankrijk, Kroatië, China, Rusland, enz.). Ook is er een pilot online training voor hotelmanagers opgezet en zullen de onderzoeksresultaten verder worden opgenomen in de revenuemanagement-cursus die wordt gegeven aan Hotelschool The Hague, die hotelmanagers voorbereidt op de wereldwijde toerismesector.
Proefschrift: Human-computer interaction between revenue management professionals and forecasting support systems (NWO 023.002.090)
Promotor prof.dr. J.I. van der Rest over het onderzoek van Larissa Koupriouchina:
'Onze samenleving vertrouwt steeds meer op technologieën gebaseerd op deep learning, machine learning en kunstmatige intelligentie. Het promotieonderzoek van Larissa gaat over de interessante en belangrijke rol die menselijke besluitvorming speelt in een veld dat in toenemende mate wordt ondersteund door technologie. Wat haar onderzoek onderscheidt, is dat ze zich niet richt op de verbeteringen die deze technologieën kunnen brengen, maar juist kijkt naar de resultaten van menselijke interventies bij complexe algoritmen om te evalueren of mensen nog waarde kunnen toevoegen en de uiteindelijke beslissingen kunnen verbeteren. Dit onderzoek draagt bij aan een gebied dat erg weinig is onderzocht en kan een nieuwe onderzoeksagenda openen.
Tijdens haar promotietraject heeft Larissa haar onderzoeksvaardigheden aanzienlijk ontwikkeld en fantastisch werk geleverd door om te gaan met de vele uitdagingen. Zo is er weinig gepubliceerd over hoe revenue managers hun inkomensmanagementsystemen gebruiken, en omvatten uitgebreide real-life onderzoeksgegevens complexe structuren en honderden verschillende, maar gerelateerde variabelen. Het was voor haar erg belangrijk om te begrijpen hoe het systeem voor inkomensbeheer werkte en deze kennis toe te passen op de moeilijke taak om de gegevens te selecteren en voor te bereiden op analyse. Larissa verkende verschillende analytische benaderingen en deed dit met de grootste wetenschappelijke nauwkeurigheid. Ze toonde creativiteit en vastberadenheid bij het aangaan van de vele uitdagingen. Naar mijn mening heeft dit proefschrift veel praktische waarde en een potentiële wetenschappelijke betekenis.'
Tekst: Floris van den Driesche
Mail de redactie