A 9,0, amit már nem lehet visszaszámolni
Miért lehet ugyanaz a kijelzett 8,9 egyszerre jó és rossz hír - és milyen öt szám mutatja meg helyette, hogy tényleg javul-e a szálloda.
Röviden: Az előző bejegyzésben megírtam, hogyan mozdult a Booking-értékelésünk 8,6-ról 8,9-re. Ez valódi eredmény, de a kijelzett pontszám önmagában egyre kevésbé alkalmas arra, hogy megmondja, mi történik most a házban. A Booking frissesség szerint súlyozza az értékeléseket: az új review-k nagyobb hatással vannak az összpontszámra, a régebbiek kisebbel, 36 hónap után pedig eltűnhetnek a látható állományból. Ezért a score-t eredményként továbbra is nézzük. Műszerként viszont már nem elég.
A csábító matek: 147 tökéletes vendég
A saját exportunkban 1 467 Booking-értékelés szerepelt. Tegyük fel egy pillanatra, hogy ezek egyszerű átlaga pontosan 8,90, és minden review ugyanannyit ér. Hány darab új, 10 pontos értékelés kellene ahhoz, hogy az átlag pontosan 9,00 legyen?
A képlet: (1 467 × 8,90 + n × 10) / (1 467 + n) = 9,00. Az eredmény n = 146,7, vagyis kerekítve 147 egymást követő, tökéletes 10 pontos értékelés.
A szám elsőre brutálisnak tűnik, de logikus. Egy érett review-állomány tehetetlen: minél több értékelés van mögötte, annál kevésbé mozdítja meg egyetlen új vendég. Ami az elején gyorsan nőtt, az később már csak lassan változik.
Csakhogy ez ma már csak szemléltető matek, nem előrejelzés. A frissességi súlyozás miatt egy ma érkező 10 pontos értékelés nagyobb hatású lehet, mint egy két és fél éves 10-es. Az sem mindegy, hogy közben mely régi review-k esnek ki a 36 hónapos ablakból. Ha egy gyenge időszak tűnik el hátul, a pontszám új értékelés nélkül is javulhat. Ha egy korábbi erős időszak esik ki, az ellenkezője történhet.
A 147 tehát nem célérték. Arra jó, hogy megmutassa: a kijelzett pontszám mögött nagy tömegű múlt van - de arra már nem jó, hogy megjósolja a következő tizedet.
A 8,9 nem irány, csak pozíció
Képzeljünk el két szállodát. A számok szemléltető példák, nem a Booking súlyozási algoritmusának reprodukciói.
| A szálloda | B szálloda | |
|---|---|---|
| Kijelzett Booking-score | 8,9 | 8,9 |
| Utolsó 90 nap nyers átlaga | 9,3 | 8,5 |
| Előző 90 nap nyers átlaga | 9,0 | 8,9 |
| Irány | javul | romlik |
A vendég mindkét helyen ugyanazt látja: 8,9. Az üzemeltetőnek viszont két teljesen különböző történetet kellene látnia. Az A szállodában a jelenlegi teljesítmény már jobb, mint amit a kijelzett score mutat. A múlt még lefelé húzza, de a friss review-k alapján jó irányba megy. A B szállodában a múlt tartja fenn a 8,9-et. A jelenlegi vendégek már gyengébb élményt jeleznek, csak ez még nem ütött át teljesen a publikus számon.
A kijelzett pontszám megmutatja, hol állsz. A friss értékelések mutatják meg, merre mész.
A pontszám készlet, a review folyamat
A Booking-score olyan, mint egy felhalmozott készlet. Évek értékelései ülnek benne, eltérő súllyal. Lassan épül fel, és lassan ürül ki. A napi működés viszont nem ezt a készletet termeli. A napi működés új review-kat termel.
A kávécsere nem a 8,9-et javítja meg közvetlenül. A holnap reggeliző vendég élményét javítja meg. Ő később ad egy pontszámot, abból idővel trend lesz, és a trend végül megmozdítja a kijelzett score-t.
Ezért veszélyes a 8,9-et operatív célként kiadni a csapatnak. A kollégák nem tudnak közvetlenül 8,9-ről 9,0-ra dolgozni. Arra tudnak dolgozni, hogy ne legyen hideg a tojás, stabil legyen a wifi, tiszta legyen a fürdőszoba, tíz percen belül felkerüljön a topper, és emberi választ kapjon a panaszos vendég. A score ezek késleltetett következménye, nem maga a feladat.
Az öt szám, amit a kijelzett pontszám mellett nézünk
1. Kijelzett Booking-score
Ez a külső eredményjelző. A vendég számára ez a releváns szám, ezért nekünk is fontos. De ezt nem diagnózisnak használjuk. A kijelzett score nem mondja meg, hogy miért mozdult, melyik terület változott, és hogy a tegnapi működés jobb volt-e a tavalyinál.
2. Az utolsó 90 nap nyers átlaga
Ez a legegyszerűbb saját ellenműszer. Fogjuk az elmúlt 90 napban beérkezett értékelések overall score-ját, azonos súllyal átlagoljuk őket, és nem próbáljuk reprodukálni a Booking algoritmusát. Nem azért, mert a nyers átlag igazabb, hanem mert érthető és összehasonlítható. Ugyanazt a képletet használjuk minden hónapban, ezért látjuk, hogy a saját működésünk merre mozdul.
A 90 nap nem szent szám. Egy nagy szállodánál lehet rövidebb ablak, kis review-volumennél hosszabb. A lényeg, hogy legyen elég értékelés ahhoz, hogy két szélsőséges vendég ne rángassa szét az eredményt.
3. A lendület
A 90 napos átlag önmagában még mindig csak egy szint. Ezért összevetjük az előző 90 nappal: lendület = aktuális 90 nap átlaga - előző 90 nap átlaga. Például ha az aktuális időszak 9,18, az előző 8,96, akkor a lendület +0,22.
Ez sokkal gyorsabban jelzi a változást, mint a publikus pontszám. Ha a kijelzett score még 8,9, de a friss átlag 9,18 és a lendület pozitív, a beavatkozások valószínűleg működnek, csak a publikus szám még késik. Ha a kijelzett score 8,9, de a friss átlag 8,65 és a lendület negatív, nincs ok ünnepelni. A múlt éppen elfedi a problémát.
4. Review-sebesség
Nemcsak az számít, milyen pontszámokat kapunk, hanem az is, hogy hány vendégből lesz értékelő. Ezt nem puszta darabszámban érdemes nézni, mert a foglaltság szezonálisan változik. Inkább arányként: Booking-review-k száma / lezárt Booking-foglalások száma × 100.
Ez megmutatja, mennyire reprezentatív a friss átlag. Tíz review alapján a 9,3 lehet biztató, de még törékeny. Száz review alapján már egészen más súlya van ugyanannak a számnak. Ha a pontszám javul, de közben az értékelési arány megfeleződik, könnyen lehet, hogy csak a leglelkesebb vendégek maradtak aktívak. Ha a pontszám és az értékelési arány együtt nő, az erősebb jel.
5. Negatív említési arány kategóriánként
Az overall score megmutatja, hogy a vendég összességében mit érzett. A szöveg mutatja meg, hogy miért. Ezért kategóriánként azt nézzük, az értékelések mekkora részében jelenik meg negatívan egy adott téma: reggeli, kávé, wifi, tisztaság, matrac, zaj, személyzet, parkolás vagy ár-érték arány.
A képlet itt is egyszerű: adott kategóriát negatívan említő review-k / szöveges review-k × 100. Ha a komfortpontszám még nem mozdult, de a matraccal kapcsolatos negatív említések 8%-ról 2%-ra estek, már van jelünk arra, hogy a beavatkozás működik. Ez operatív szempontból sokszor többet ér, mint egy tizedpontnyi változás az overall score-ban. A tizedpont azt mondja, hogy történt valami. A kategória azt mondja meg, hogy hol.
A beavatkozás napja nem a review napja
A mérés egyik legegyszerűbb hibája, hogy a beavatkozás dátumát közvetlenül összevetjük az értékelés beérkezési dátumával. Július 1-jén lecseréljük a kávét, július 3-án érkezik egy rossz reggeli-review. Ebből még nem következik, hogy az új kávé rossz. Lehet, hogy a vendég júniusban szállt meg, lehet, hogy nem is a kávét, hanem a tojást kifogásolja.
A vendég a kijelentkezés után értékel, és erre akár három hónapja is lehet. Ezért a beavatkozások hatását tartózkodási dátum, nem pusztán review-dátum alapján érdemes vizsgálni.
- Rögzítsd a beavatkozás pontos indulását.
- Határozd meg, mely vendégek találkoztak már vele.
- Külön kohorszba tedd az előtte és utána tartózkodókat.
- Nézd meg az overall pontot és a releváns szöveges kategóriát.
- Csak megfelelő mennyiségű friss review után vonj le következtetést.
Egy új matracnál a komfort- és ágyemlítést nézzük. Egy új séfnél a reggeli- és étteremkategóriát. Egy gyorsabb wifinél nem várjuk, hogy a személyzet pontszáma változzon. A beavatkozásnak előre meg kell mondania, melyik műszert akarja megmozdítani.
Ami jó a súlyozott rendszerben
Üzemeltetőként kényelmetlen, hogy a Booking teljes súlyozását nem tudjuk egyszerűen visszafejteni. Vendégként viszont a logika védhető. Egy szálloda három év alatt teljesen megváltozhat: lehet új tulajdonos, új igazgató, új housekeeping-vezető, új konyhai csapat vagy teljes felújítás. Nem lenne igazságos, ha egy mai vendég döntését ugyanolyan erővel befolyásolná egy két és fél évvel korábbi állapot, mint az előző heti.
A frissességi súlyozás lehetőséget ad a javításra. A mai jó működés gyorsabban tudja felülírni a tegnapi hibát. De ugyanez fordítva is működik: ha romlik a takarítás, elfárad a csapat vagy lecsúszik a reggeli minősége, a friss negatív értékelések is gyorsabban üthetnek át. A rendszer nemcsak gyorsabban jutalmazza a javulást, hanem gyorsabban bünteti a jelenlegi hibát.
Ahol könnyű becsapni magunkat
A szezon megváltoztatja a vendéget
A nyári családok, a hétköznapi üzleti utasok és a decemberi rendezvényvendégek nem ugyanazokat a dolgokat értékelik. Egy negyedéves változás ezért nem feltétlenül a működés változása - lehet vendégmix-változás is. A friss időszakot lehetőség szerint az előző év azonos időszakával is össze kell vetni, nem csak az előző három hónappal.
Az overall score és az alpontszámok nem ugyanazok
A vendég külön ad overall score-t, és külön pontozhatja a tisztaságot, komfortot, személyzetet vagy ár-érték arányt. Ezek között nincs közvetlen számítási kapcsolat. Egy vendég adhat kiváló részpontokat és mégis gyengébb összpontszámot - vagy fordítva. Ezért nem szabad feltételezni, hogy a kategóriapontok egyszerű átlaga kiadja az overall score-t.
A kevés adat szép történeteket gyárt
Három egymást követő 10-es jó érzés, de még nem trend. Ugyanígy két rossz review sem feltétlenül rendszerszintű probléma. A kis mintát nem elhallgatni kell, hanem feltüntetni. A 9,4 önmagában kevés információ. A „9,4, tizenkét review alapján” már őszinte mondat.
A szöveg nélküli pont nem magyaráz
Egy 7 pontos review szöveg nélkül jelzés, de nem diagnózis. Nem tudjuk, a zaj, a reggeli, a parkolás vagy egyszerűen a vendég szigorú pontozási szokása áll mögötte. Ezért a pontszámot és a szöveges említéseket együtt kell nézni. Az egyik megmutatja a hatást, a másik a lehetséges okot.
Gyakorlati tippek - bármelyik szállodának
- Mentsd el rendszeresen a nyers review-adatokat. Ne csak a mai kijelzett pontszámot írd fel. Kell a tartózkodás dátuma, a review dátuma, az overall score, az alpontszámok és a szöveg.
- Számolj saját 30 és 90 napos átlagot. Nem a Booking algoritmusát kell lemásolni. Egy stabil, minden időszakban azonos belső képlet kell.
- Mindig tüntesd fel a mintanagyságot. A 9,2 száz értékelésből mást jelent, mint nyolcból.
- Mérd a lendületet, ne csak a szintet. Az aktuális időszakot vesd össze az előző időszakkal és - ahol lehet - az előző év azonos szezonjával.
- Normalizáld a review-darabszámot. Review per 100 lezárt foglalás többet mond, mint a puszta havi darabszám.
- Jelöld meg a beavatkozásokat az idősoron. Új kávé, matraccsere, új séf, wifi-fejlesztés, housekeeping-vezető: csak így látod, mi után mozdult a megfelelő kategória.
- A review-t tartózkodáshoz rendeld. A beérkezés dátuma önmagában félrevezető lehet, mert az értékelés később is megszülethet.
- Ne pontszámcélt adj a csapatnak. A „legyünk 9,0” nem feladat. A „csökkentsük felére a reggelivel kapcsolatos negatív említéseket” már az.
- A publikus score-t eredménynek, a friss adatot műszernek használd. Az egyik megmutatja, mit lát a piac. A másik megmutatja, mit kell hétfő reggel megjavítani.
Tanulságok
- A Booking-pontszám már nem egyszerű számtani átlag. A frissebb értékelések nagyobb súlyt kapnak, a régi review-k pedig idővel kieshetnek. Emiatt a következő tizedet nem lehet pusztán a darabszámból visszaszámolni.
- Ugyanaz a 8,9 két ellentétes történetet takarhat. Az egyik szálloda már 9,3-as friss élményt ad, a másik 8,5-re romlik - a kijelzett szint önmagában nem mutat irányt.
- A score késleltetett eredmény, nem operatív feladat. A csapat nem pontszámot javít, hanem kávét, wifit, tisztaságot, matracot és reakcióidőt.
- A friss nyers átlag és a lendület gyorsabb jelző, mint a publikus pont. Nem helyettesíti a Booking-score-t, hanem megmagyarázza, mi készül történni vele.
- A szöveges kategória mondja meg, hol kell beavatkozni. Az overall score jelzi, hogy változott az élmény. A negatív említések mutatják meg, mi változtatta meg.
- A méréshez nem kell ismerni a Booking titkos képletét. Nem a platform algoritmusát kell lemásolni, hanem saját, stabil és visszaellenőrizhető műszert kell építeni mellé.
- A jó cél nem az, hogy 9,0 legyen. A jó cél az, hogy a jelenlegi vendégek mérhetően jobb élményt kapjanak. Ha ez tartósan megtörténik, a pontszám előbb-utóbb követni fogja.
A Corso Hotel Pécs review-állományára vonatkozó 1 467 darabos érték és a 8,6 → 8,9 változás a korábbi elemzésből származik. A 147 darab 10 pontos értékelés egy pontosan 8,90-es, azonos súlyú számtani átlag szemléltető számítása, nem a Booking súlyozott algoritmusának előrejelzése. A Booking tájékoztatója szerint a frissebb értékelések nagyobb hatással vannak az összpontszámra, az értékelések pedig 36 hónap után kikerülhetnek a látható állományból.