És ha igen, mennyire?
A coach-képzés során gyakran fogalmazódtak meg bennem a coaching minőségbiztosításához kapcsolódó kérdések: Milyen garanciát tud nyújtani egy coach az ügyfeleinek? Milyen minőségirányítási rendszert lehetne használni egy coaching folyamatra? Illetve a legújabb, és eddigi legnagyobb kérdésem: Hogyan lehet bizonyítani, hogy egy cégnek megtérül, ha coachingba fektet? És ha ez bizonyítható, milyen számszerűsíthető eredményekkel tudjuk alátámasztani? Az volt az érzésem, hogy ha létezik ilyen módszer, bizonyítás, akkor onnantól kezdve gyerekjáték eladni a coachingot bárhol, bármikor. Létezik?
Kérdéseimmel, feltevéseimmel először szakmánk nemzetközi irodalma, majd a magyar piac néhány kiemelt szereplője felé fordultam.
A tudomány mai állása
A klasszikus ROI
Ha már a befeketés és megtérülés szavakat emlegettem, szinte magától értetődő választás volt a kályha szerepére a ROI. A ROI a Return on Investment kifejezés jelölésére szolgáló betűszó. Magyarul a befektetésarányos megtérülés nevet kapta. (Nem is csoda, hogy ROI-ként emlegeti mindenki. – a szerk.)
Egy egyszerű képlettel számolható (P. P. Phillips & Phillips, 2008):
1. egyenlet: Klasszikus ROI-számítás képlete (P. P. Phillips & Phillips, 2008)
Az eredmény egy százalékban kifejezett szám lesz, ahol a 0% körüli érték azt jelenti, hogy a befektetés hatására nem történt változás (értsd: a pénzünknél maradtunk), a 100% pedig azt, hogy nem csak a befektetésünk árát szereztük vissza, hanem még egyszer ugyanannyit.
Bár egészen egyszerűnek és könnyen alkalmazhatónak tűnik a képlet, mégis sok kérdés felvetődik a coachingra való alkalmazás során. Például mi számít költségnek? A coach óradíja? Figyelembe vesszük-e a coachee munkából kiesésének idejét? Fogyasztottak-e a résztvevők kávét? Kellett-e egy tárgyalót külön fűteni/hűteni, ott világítani? És egészen addig folytathatnánk a sort, hogy a coaching költsége-e az is, hogy az eredményességét mérjük, összesítjük, ROI-t számolunk? Hiszen valakinek azt is el kell végeznie.
Az ICF és a ROI
Kutatásaimat az ICF háza táján kezdtem, hiszen korábbi, minőségbiztosítással kapcsolatos kérdéseimre, fenntartásaimra is többnyire innen érkezett (indirekt) válasz. Azt gondoltam, hogy a 2008 óta rendszeresen elkészülő, ún. Global Coaching Study-k eredményei hiteles képet festhetnek arról, mennyire foglalkoztatja megtérülés kérdése a coach közösséget.
Az első ilyen felmérés beszámolója azt írja a jövőbeni kihívások fejezetben, hogy továbbra is erős igény mutatkozik arra, hogy a ROI-ra vonatkozó adatokat gyűjtsünk, és ezzel bizonyíthassuk hitelesen a coaching mint eszköz eredményességét. (ICF Global Coaching Study – Executive Summary 2008, 2008)
Egy 2009-ben publikált, már az ügyfelekre vonatkozó kutatás eredményei között már számszerűen olvashatjuk, hogy a coachingot igénybe vevő magánszemélyek 68%-a számolt be átlagosan 344%-os megtérülésről. Ugyanez a szám céges környezetben a megkérdezettek 19%-a esetén 5000%, azaz 50-szeres megtérülés. (ICF global coaching client study – Executive Summary, 2009)
2012-ben az ICF és a PwC közös figyelme ismét a coachok felé fordult. Ekkor a válaszadó coachok 36%-a nyilatkozott úgy, hogy a coaching hozományaként megjelenő előnyök tudatosítása, és 28%-uk szerint hiteles ROI-adatok megléte rejti a legnagyobb lehetőségeket. (ICF Global Coaching Study – Executive Summary 2012, 2012)
Nem meglepő módon, a 2016-os felmérés jövőbeni lehetőségek szekciójában ismét a coaching okozta előnyök tudatosítása (38%) és a hiteles ROI-adatok szerzése (26%) végzett az első két helyen. (ICF Global Coaching Study – Executive Summary 2016, 2016)
A 2017-ben publikált, ismét a vásárlókra koncentráló felmérésben meg sem jelenik a ROI, a coaching folyamat hozományát a kommunikációs készségek javulásában (42%), az önbizalom erősödésében (40%) és termelékenység javulásában (39%) fejezték ki a válaszadók. Ez utóbbit nem számszerűsítették tippek alapján sem. (ICF Global Consumer Awareness Study – Executive Summary 2017, 2017)
Az ICF és az HCI 2018-as felmérése csupán annyit közöl a coaching kultúra építése égisze alatt, hogy a kimagaslóan teljesítő szervezetek, vállalatok 44%-ánál a költségvetésben külön tételként szerepel a coachingra szánt keret. (Building a Coaching Culture for Change Management, 2018)
A 2020-as ICF Global Coaching Study fókusza pedig már egészen más témákon volt, mint például a coach-képzések hosszán, a tipikus coachee-profilokon és a tanúsításokon. A ROI kérdésköre meg sem jelenik már. (ICF Global Coaching Study – Executive Summary 2020, 2020)
Már szinte kezdtem azt hinni, hogy az ICF feladta a ROI-val kapcsolatos érdeklődését és terveit, amikor az egyik interjúalanyom a figyelmembe ajánlotta az ICF Prism Award leírását. (2022 ICF International Prism Award Program – Scoring Rubic, 2022) Ez egy országos és globális díj, ahol a zsűri négy témakörben pontozza a pályázók coaching-programjait: hatás, színvonal, stratégia és fenntarthatóság. Az első kategóriában a legtöbb pontot az kaphatja, aki többek közt részletesen bemutatja a ROI-ra és ROE-ra (Return on Expectations) vonatkozó méréseit és azok eredményeit. A jelölteknek a maximális stratégiára adható pontok eléréséhez prezentálniuk kell a coachingra vonatkozó (egyéb) méréseiket is. Tehát kijelenthetjük, hogy az ICF Prism Award zsűrijének igenis számít, hogy hogyan viszonyul egy vállalat a ROI/ROE-kérdéskörhöz, és elismeri a befektetett energiát, amikor példaként állítja őket más szervezetek elé.
ROI-elképzelések a coaching vonatkozásában
A ROI-hoz kapcsolódó dilemmák és a kiváltására szolgáló alternatívák közötti barangoláshoz kiváló sorvezetőnek bizonyult Dr. Kiss Olga 2016-ban a Magyar Coachszemlében megjelent cikke. ( Kiss, 2016) Felveti, hogy a vezetők fejlesztése kapcsán kerül szóba leginkább a ROI kérdésköre, és hogy a kutatások szerint nem ritka a 700-1000%-os haszon sem. Megemlíti a ROI-számítás gyakran előkerülő nehézségeit, coachingra való alkalmazhatóságának nehezítő körülményeit, a vonatkozó kutatások aktuális eredményeit. Szorgalmazza a szisztematikus adatgyűjtés mielőbbi elkezdését, széles körben elérhető adatbázisok létrehozását. Ugyanakkor kihangsúlyozza, hogy a ROI értelmezésében, a mérések tekintetében, az elvárások megfogalmazásában a coachingot igénybe vevő szervezetnek kell kimondania az utolsó szót.
Tőle olvastam először arról is, hogy érdemes lenne kicsit megbolygatnunk az oly elegánsan egyszerű ROI-képletünket, hiszen a hozamot nem csupán a coaching hozza, az egyéb hatásokat is figyelembe kellene vennünk. Például a hozamnak csupán akkor részével kellene kalkulálnunk valójában, amennyi a coaching hozzájárulásának becsült százalékos arányában van kifejezve. Izgalmas gondolat a finomhangolásra, többször elő fog még kerülni.
Lássunk néhány ROI-értelmezést a világból!
Az óvatosan közelítő
Aimee Bucher az ICF Global blogjában jelentette meg írását az ún. executive coaching és a ROI kapcsolatáról. A hirtelen megszakadó coaching-folyamatok rémképével nyit, és ezek elkerülésére keres megoldást. Azt állítja, hogy ha rendszeresen mérjük és kommunikáljuk a coachingnak köszönhető eredményeket, akkor fenntartható a folyamat az előzetesen megbeszélt időszak végéig. Kiderül, hogy a ROI-nak nem szó szerinti, számszerűsíthető értelmét használja, tágabban értelmezi azt. Ugyanakkor kihangsúlyozza, hogy érdemes az ügyféllel közösen megfogalmazni az elvárásokat úgy, hogy már eleve egy-egy üzleti célhoz vagy KPI-hoz (Key Performance Indicator, magyarul: fő teljesítménymutató) kötni. Illetve a mérés módját is közösen kell kialakítani. Tapasztalata szerint azért is érdemes gyakran felmutatni az ebben a rendszerben elért kimutatható, elért eredményeket, mert az ügyfelek, a coacheek gyakran elfelejtik, mennyit is haladtak már a kijelölt céljaik felé. „Minden kommunikáció egy lehetőség arra, hogy értéket teremtsünk az ügyfeleinknek.” – írja. (Bucher, 2020)
Be kell valljam, hogy amikor elkezdtem a ROI meghatározásának lehetőségein gondolkodni – csupán az addig rendelkezésemre álló, szerény ismeretanyag birtokában –, hasonló vonalon indultam. Az én tervem talán még kevésbé volt rugalmas a fogalmak tekintetében. Úgy gondolkodtam, hogy mindenképpen olyan S.M.A.R.T.-célokat kell kitűzni a háromszögbeszélgetés és/vagy az első ülés alatt, amik számszerűsíthetők, és lehetőleg valamilyen üzleti célhoz is köthetők. (Komócsin, 2018a) Ha ezt meg tudjuk tenni, és valahogyan elkerülhető, hogy a folyamat során ne kelljen ezen célokon változtatnunk, újraszerződnünk, akkor az egy jó kiindulási állapot. A képletünk másik változójáról, a kiadási/befektetési oldalról pedig előre megállapodunk, hogy mi minden lehet és lesz része a folyamat egésze alatt. Ha ilyen szigorú keretek között tudjuk tartani a coaching folyamatot és magunkat, akkor talán van rá esélyünk, hogy többször is meghatározhassuk a ROI-t egy-egy esetre, és ne almát körtével hasonlítsunk össze. Gondoltam, rosszul.
Újabb beszélgetések a szakmában sokat látott kollégákkal és kijózanító olvasmányélményeim végül kimondatták velem, hogy ez szinte lehetetlen. A csoport- és cégvezetők még abban is teljesen eltérően gondolkodnak, hogy mennyibe is kerül egy munkavállaló. A bére? Plusz adóterhek? Plusz laptop? Plusz fűtés az irodában? Plusz betegszabadság? Akkor én hogyan tudnám rávenni az összes jövőbeli megrendelőmet – cégeken és vállalati kultúrákon át –, hogy egy általam megalkotott számítási módot fogadjanak el és alkalmazzanak mostantól?! És még csak a kisebbik gond volt az elméletemmel! Kiderült, hogy a cégek, akik coachinggal kívánják támogatni munkavállalóikat, vezetőiket, legtöbbször szabadon engedik a témaválasztást, és sokkal rugalmasabban állnak a coacheekhoz, mint amennyit az én kitalált rendszerem elbírt volna. A tőrt végül Cservenyák úr forgatta meg haldokló elméletem hátában: „Az RHD 10 (!) ingyenes coaching alkalmat finanszíroz minden munkatársa és/vagy a kollégák családja számára. Senkinek nem kell beszámolni arról, hogy mire használták a coachingot, és nem is kell a munkához kapcsolódnia a témáknak.” (Cservenyák, 2016) Ezen a ponton engedtem el az ötletemet.
A legjobb gyakorlatokkal operálók
Bill Burtch 2011-ben publikált írása kissé felülemelkedik a ROI számításának kérdéskörén, ugyanakkor fontos gondolatokat fogalmaz meg a coaching eredményességének maximalizálásához. (Burtch, 2011) Tíz utat vázol a szervezetek számára ehhez:
- Előre meg kell fogalmaznunk, hogy milyen kritériumok mentén és pontosan hogyan fogjuk kiválasztani a coachokat, akikkel együtt dolgozunk. A megszokott, ajánlásokon alapuló felvételek helyett a klasszikus munkatárs-kiválasztási folyamatokhoz hasonló rendszer bevezetését ajánlja.
- Tisztázzuk előre az elvárásokat a coachokkal szemben. Az ülések számát, hosszát, cselekvési tervek készítését és azt, hogy mikor, hogyan és ki fog várni visszajelzéseket, jelentéseket a folyamattal kapcsolatban.
- Biztosítsuk, hogy a coachee (legalább) részt vehessen a coach kiválasztásában, hiszen a kettejük közti kapcsolat, kémia döntő fontosságú lesz a folyamat hatékonyságában.
- A coaching céljait hangoljuk össze az üzleti vagy egyéni fejlődési célokkal.
- A coachee közvetlen felettese is legyen bevonva a folyamatba, háromszög-beszélgetések és/vagy rendszer visszajelzések formájában. Így a vezető is naprakész marad az elért eredményekről és arról, hol is tart a folyamat.
- Mivel a coach gyakran nem része a coachee szerveztének, cégének, érdemes utóbbit más fejlesztési eszközzel, például mentorral támogatni a coaching folyamattal párhuzamosan.
- Legyen egy kijelölt felelőse a szervezetben a coaching szervezésének. Nagyban megkönnyíti minden szereplő életét.
- Mérhető célokat tűzzünk ki. E tanácsa mögött hasonló okok állnak, mint a S.M.A.R.T.-célok alkalmazásának.
- Készítsünk cselekvési és coaching terveket, így bár időnként eltávolodhatnak a résztvevők a fő témától, mégis tudni fogják, mihez kell visszatérniük, mik az apropók és a célok.
- Mérjünk, mérjünk és mérjünk. Amilyen gyakran csak tudunk és amilyen sokrétűen csak lehet. Így kaphatunk idővel kellő mennyiségű, a coaching hatásosságát megerősítő adatokat.
Mindezek figyelembevétele azért fontos, mert egyre nagyobb az igény a coachingra mint fejlesztési eszközre, és a jelenlegi kutatások 500–1000%-os megtérülést emlegetnek. Mi lesz, ha egyszer valaki rákérdez a mi méréseink eredményeire?
A MetrixGlobal CEO-ja, Merrill C. Anderson 2002-ben publikálta esettanulmányát 43 vezetőfejlesztési folyamat eredményeinek bemutatásával egy Fortune 500 szervezetben. (Anderson, 2002) A lenyűgöző 529%-os megtérülési mutató kidomborításán túl, további hasznos tanácsokkal segít minket:
- Tartsuk kézben az összes coaching-folyamatot az egységesség és magas minőség érdekében. Bár az üléseken elhangzottak maguktól értetődően mindig bizalmas információk, mégis igyekeznünk kell biztosítani, hogy a megfelelő eszközökkel és legjobb gyakorlatokkal támogatjuk az ügyfeleket.
- Készítsük fel a coachee-kat előzetesen, és ne erőltessünk coachingot olyanra, aki ne szeretne részt venni benne. Kötelességünk edukálni a folyamatban résztvevőket, hogy tudják, mire vállalkoznak.
- Biztosítsuk a szabad coach-választás lehetőségét mindenkinek. (Ennek fontosságát már említettük, de úgy tűnik nem véletlenül kerül elő újra és újra. Örvendetes, ha valamely szervezetben ez egy magától értetődő kérdés.) Kémia, kapcsolódás és esetleges iparáig tapasztalatai a coachnak hozzájárulhatnak a bizalom kialakulásához, a folyamat végső eredményességéhez.
- Támogassuk szervezetileg is a coachingot. A coachee-kat támogatniuk kell a közvetlen feletteseiknek a folyamat során. Illetve egy-egy coaching lehet egy nagyobb fejlesztési program része is, akkor pedig a megfelelő előkészítésről és integráltságról illik gondoskodnunk.
- Legyen a coaching a vállalati kultúra része, hiszen akkor könnyebben megy bele ilyen jellegű fejlesztésbe bármelyik alkalmazott is.
- Engedjük minden coach-coachee-kapcsolatnak, hogy a maga természetes medrében folyjon. A coachnak az egész emberre kell hangolódnia, és nem egy problémára, helyzetre.
A mérés hogyanját illetően a Noah Blumenthal, Elisa Mallis, Karlin Sloan hármasa az OD Practitioner folyóirat egy 2005-ös számában három pontban foglalta össze tapasztalatait és gondolatait (Blumenthal és mtsai., 2005):
- Tűzzünk ki világos szervezeti és egyéni célokat. Ahhoz, hogy a coaching kellően nagy hatást gyakoroljon a szervezetre, több szinten is mérnünk kell a célokat. A személyes célok az elköteleződést és bevonódást támogatják, míg a szervezeti célok, illetve azok elérése lesz az igazi mutatója a coaching szervezetre gyakorolt hatásának.
- Alkalmazzunk önértékelést, önreflexiót és objektív méréseket is, hogy minél tisztább képet kapjunk az eredményekről. Az önreflexiók önmagukban félrevezetőek lehetnek, de 360°-os interjúkkal, vezetői értékelésekkel megtámogatva könnyedén validálhatjuk őket. Az objektív mérések erős visszaigazolásként szolgálnak a coachee viselkedés- és teljesítménybeli változásairól. Illetve ezeket az eredményeket használhatjuk a jövőbeni, hasonló folyamatok értékelésénél is, mint viszonyítási alapot. Ha ezeket a méréseket a fejlesztési folyamat során többször megismételjük, az segíthet a továbbiak finomhangolásában, esetlegesen új célok kijelölésében, illetve abban, hogy a coachee képet kapjon arról, hogy az általa vélt változtatások miként hatottak a környezetére.
- Hozzunk létre olyan közeget, amely támogatja a coachee-t abban, hogy elérhesse a coaching céljait. Az eredményesség vizsgálatánál kérjük meg a coachee-t, hogy sorolja fel és „súlyozza” azokat a külső tényezőket – mint például a gazdasági helyzet vagy a piac változása, cégen belüli átalakulások vagy az erre fordítható ideje – is, amelyek befolyásolták az ő erőfeszítéseit. Az így gyűjtött információt használjuk fel, hogy legközelebb minél alkalmasabb környezetet tudjunk biztosítani az ilyen és hasonló fejlesztésekhez.
Térjünk vissza a matematikához! Azon a területen is van még mit átgondolnunk.
A képletet tovább finomító
Nagy érdeklődéssel vettem kézbe Dr. Kunos István értekezését, amit A coaching gyakorlati haszna névvel látott el. ( Kunos, 2011) Két fontos megközelítést sajátítottam el tőle. Az első az volt, hogy elkerülhetetlen a számszerűsíthető és nem számszerűsíthető összetevők mérése is, amikor a coaching hatékonyságát mérjük. (Ezzel végleg kibillentett a csak számszerűen mérhető, üzleti célokhoz kötött coaching célok elképzeléséből. Illetve ezt később több interjúalanyom is megerősítette.) Érdekes volt látni, hogy a számszerűsíthető eredmények top listájában a termelékenység javulása, a minőségjavulás és a szervezeti erősödés szerepelt. Azt hiszem, ezek mérése sem menne kapásból minden cégben. A kvalitatív, nem számszerűsíthető eredményeknél ugyanez a lista a belső (munkatársi) kapcsolatok javulásából, a külső kapcsolat javulásából és a csapatmunka-javulásból állt.
A másik fontos tanulásom a cikkből az volt, hogy még annál is tovább kell finomítanunk a ROI-képletünket, mint korábban gondoltuk.
Emlékeztetőül, az eredeti képletünk így festett:
2. egyenlet: Klasszikus ROI-számítás képlete (P. P. Phillips & Phillips, 2008)
Ezt kiegészítettük azzal, hogy megpróbáltuk a coaching hatását is figyelembe venni:
3. egyenlet: A coaching hatását figyelembe vevő ROI számítása (A. O’Neill, 2000)
Dr. Kunos pedig azt mondja, hogy az új elem, amit a coaching százalékos hatásának kimutatására vezettünk be, csupán egy becslés. És mint ilyen, valamekkora bizonytalanság rejlik mögötte, amit szintén figyelembe kell vennünk a számítás elvégzésénél, hogy hiteles(ebb) végeredményt kapjunk. Az ő elképzelése szerint így módosul a képlet:
4. egyenlet: A coaching hatását és annak tippelési pontatlanságát is figyelembe vevő ROI számítása (Dr. Kunos, 2011)
Emésszük ezt egy kicsit…
A három kulcstényező módszere
Mary Beth O’Neill könyvében mutatja be a coachként, vezetőfejlesztőként megélt tapasztalatain alapuló rendszert, amit felsővezetőkkel való munkája során alkalmaz. ( O’Neill, 2000) A könyv 9. fejezete foglalkozik kimerítően a ROI-számítás általa alkalmazott módszerével. Bár ROI-nak nevezi, valójában a költség-haszon-arány megállapítását mutatja be, amelynek okairól egy 2007-es cikkben is megemlékezik a The International Journal of Coaching in Organizations (IJCO) hasábjain. ( O’Neill, 2007)
Ha megnézzük ennek a bizonyos aránynak a képletét – amit akár benefit-cost ratio (BCR) néven is ismerhetünk –, akkor ismerős elemeket fedezhetünk fel benne:
5. egyenlet: A BCR általános számítási módja (A. O’Neill, 2000)
Ő is felveti annak kérdését, hogy a coaching hatásával arányosan érdemes számolni a hozam képletbe kerülő részét. Így a javított képletünk:
6. egyenlet: A coaching hatását is figyelembe vevő BCR számítási módja (A. O’Neill, 2000)
A coaching hatásának bizonytalansága az ő számítási módjába nem kerül bele, de talán itt is lenne létjogosultsága. Ugyanakkor könnyedén beláthatjuk, hogy a képlet elemei felhasználásával csupán egyetlen lépésre vagyunk a klasszikus ROI kiszámításától, így ez csupán – ahogy Mary Beth O’Neill is fogalmaz – preferencia kérdése, hogy melyiket prezentáljuk a megrendelő felé.
Az író értékelési rendszerét a The Three Key Factors Methodology-nak nevezi, ami szabad fordításban: a három kulcstényező módszere. Benne a kulcstényezők pedig az üzleti eredmények, a csapat interakciói és a vezető viselkedése a csapattal – amiket a vezetőnek kell biztosítania, segítenie a kívánt cél(ok) elérése érdekében. A fejlesztési folyamat elején nem csupán ezen kategóriák mentén kell az alanynak megfogalmaznia a célokat, hanem azokhoz számszerűsíthető adatokat is kell kötniük – a „Honnan fogod tudni, ha elérted?” klasszikus coaching kérdés mentén. Illetve a tényezők közötti összefüggést is meg kell találnia. Ez utóbbi szokta a legnagyobb kihívást jelenteni – írja O’Neill cikkében –, de minden alkalommal sikerült eddig a megfelelő kérdésekkel rávezetnie ügyfeleit a válaszokra.
A BCR-számításhoz vezető utat pedig öt lépésben vázolja:
- Segítsük az ügyfelet a három kulcstényező megállapításában, és abban, hogy ezeket üzleti tervekhez, célokhoz, illetve elvárt viselkedésbeli változásokhoz tudja kötni.
- Csiszoljuk addig a tényezőket, amíg konkrét, mérhető és egymással összefüggők nem lesznek.
- Kérjük meg a megbízót, hogy állítsa össze azon belső és külső változókat, amelyek befolyásolhatják az ügyfél fejlesztés során elért eredményeit.
- Időről-időre mérjük fel a haladást, és erősítsük meg azokat a viselkedési mintákat, amik segítik az ügyfelet.
- Összegezzük az eredményeket. Az ügyfél összegezze a számszerűsíthető és a viselkedés-változás eredményeit; használja fel a szervezetben elterjedt, „forintosított” mérőszámokat; gyűjtse össze a külső és belső tényezőket, amelyek befolyásták az eredményt; értékelje és fejezze ki százalékosan a coaching hatását.
A coachingra költött összeg fényében így már könnyedén kiszámítható a BCR.
A lépések részletezése után sietve leszögezi a szerző, hogy bár ezt a számítást közvetlenül a program lezárásakor szokták elvégezni a megrendelői oldalon, de tapasztalatai szerint inkább 8–10 hónap elteltével lenne érdemes, amikorra a coaching kifejti hatását mindhárom területen.
A Kirkpatrick-modell
1959-ben egy Don Kirkpatrick nevű úriember egy új rendszerrel állt elő a tréningek és különböző fejlesztőprogramok értékelésére, amit aztán a 70-es, 80-as években széles körben kezdtek használni a vállalatok. (Kirkpatrick & Kirkpatrick, 2016) Később ezt a rendszert – vagy ennek továbbfejlesztett változatát (lásd következő fejezetek) – tömegesen kezdték alkalmazni a coachingra is.
2. ábra: A Kirkpatrick-féle ROE-modell négy szintje (Kirkpatrick & Kirkpatrick, 2016)
Az értékelésnek négy szintjét határozta meg: reakció, tanulás, hatás, eredmények. A jobb megértés, a kép árnyalása érdekében a következő kérdésekkel tudjuk szemléltetni, mit is takarnak ezek:
- reakció: Élvezte-e a coachee a folyamatot?
- tanulás: Mit tanult, miben fejlődött a coachee a folyamat során?
- hatás: Mennyi mindent tudott a coachee átültetni a gyakorlatba?
- eredmények: A folyamat hatására mennyiben változtak az eredmények
Fontos megjegyeznünk, hogy az utolsó kategória nem a ROI-ra próbál rákérdezni, Kirkpatrick a ROE-t (Return on Expectations – a szerk.) találta alkalmasnak szerepeltetni rendszerében. Ami nem egy pénzügyi vonatkozású mutató, hanem az érintettek elvárásaihoz képesti eredményeket fejezi ki.
A Phillips-féle fejlesztés
Jack Phillips 1980-ban publikálta gondolatait a tréningek értékelése témakörében. Modelljét alapvetően Kirpatrickére építette, és jobbító szándékkal egészítette ki azt. (P. P. Phillips & Phillips, 2016)
3. ábra: A Phillips-modell öt szintje (Deller, 2021b)
Lényegében a már meglévő szintek fölé helyezte a ROI-t is. (Deller, 2021b) Valójában sokkal több dolgon változtatott a „motorháztető alatt”, finomhangolta az egyes szintek megközelítését, illetve kiküszöbölt néhány, addigra már nyilvánvaló hiányosságot az eredeti modellhez képest.
Kutatásait és munkásságát fia, Jack és menye, Patricia folytatták. Ők alapították meg később a ROI Institute-ot, illetve létrehoztak egy széles körben alkalmazható, szinte univerzális, 12 lépéses értékelési rendszert, ez a ROI Methodology®. (P. P. Phillips & Phillips, é. n.) Kis „csalás” azért már van ebben a rendszerben az eredetihez képest, mert kiegészítették egy 0. szinttel: a bemenetek kategóriájával, amiben megjelenik például a résztvevők száma vagy a párhuzamosan futó programok száma. Illetve a modellen kvázi kívül jelenik meg egy újabb szint: a megfoghatatlanok kategóriája.
Jack és Patricia Phillips 2005-ben részletes útmutatót is publikált a ROI Methodology® executive coachingban történő használatához az International Journal of Coaching in Organizations hasábjain. (J. J. Phillips & Phillips, 2005) Ebben tapasztalataikon alapuló tanácsokkal is ellátják mindazokat, akik az ő módszerükkel tervezik mérni coaching hatékonyságát, megtérülését:
- Biztosítsuk, hogy a coaching céljai üzleti igényekre reflektáljanak.
- A coachnak és a coacheenak is elkötelezettnek kell lennie az adatszolgáltatásra.
- A modell alkalmazását ne akarjuk túlkomplikálni.
- Kövessük a ROI Methodology® lépéseit.
- A kapott eredmények prezentálása egy kritikus pont. Részletes kommentárral ismertessük meg a célközönséget a rendszerrel, majd a kapott eredményekkel.
- Használjuk a kapott adatokat jövőbeni fejlesztések tervezéséhez.
A Kaufman-modell
1994 telén a Kaufman-Keller szerzőpáros is publikálta Kirkpatrick-modell egy fejlesztett verzióját. (Deller, 2021a)
4. ábra: A Kaufman-Keller-modell (Deller, 2021a)
Daraboltak szinteket – így itt is feltűnik a Phillips-házaspár bemeneti kategóriája –, és legjobb tudomásuk szerint finomhangolták a teljes rendszert, de az alapok változatlanok maradtak. A leginkább szembeötlő változás egy új, a ROI fölé kerülő szint bevezetése volt, ez pedig a társadalmi hatás.
Kritikák a ROI használatával, alkalmazhatóságával szemben
Korábbi fejezetekben már érintettük a kérdéskört, hogy akadhatnak a ROI-számításnak kihívásai – különösen, amikor a coaching vonatkozásában vizsgáljuk a képletet. Néhány, korábban idézett kutató, író komoly aggályait fejezte ki a témában. Álljon hát itt egy lista ezekről a teljesség igénye nélkül:
- már arról is sok (elvi) folyik, hogy eleve kell-e, szabad-e a coaching vonatkozásában használni – hiszen ez inkább „soft” terület; (Mulvie, 2015)
- aki humán területen dolgozik, valószínűleg vonakodik a számok világától; (A. O’Neill, 2000)
- komoly kihívás a coaching és üzleti célokat összeegyeztetni;
- a hatékonyság mérésében a coachnak is komoly szerepe kell legyen, ezzel átléphet egy határt, így pedig sérülhet a felelősségben tartás intézménye; (A. O’Neill, 2007)
- ahhoz, hogy viszonylag pontosan meg tudjuk határozni egy coaching folyamat hatását, 10–12 hónapos utánkövetési ablakra van szükségünk; (Dr. Kiss, 2016)
- többen és többféle megoldással álltak már elő azzal kapcsolatban, hogy hogyan is lehet a coaching hatását „leválasztani” minden más körülményről, hatásról; és vannak, akik ennek bizonytalanságát is beemelnék a képletbe; (Dr. Kunos, 2011)
- a különböző módszerekkel számolt (vagy inkább tippelt) ROI-k nem alkalmasak összehasonlításra, téves következtetéseket vonnánk le belőle;
- a haszon oldalon figyelembe vett tényezőket igazi kihívás mérni és számszerűsíteni; (Carter, 2006)(Carr, 2011)
- a mérések legtöbbször szóbeli beszámolókra támaszkodnak;
- komoly erőforrásokra és befektetésre lehet szükség, ha kellő alapossággal és hosszú távon szeretnénk a méréseinket elvégezni, azok eredményeimből következtetéseket levonni; (Carter, 2006)
- a legtöbb módszer túl sok szubjektív elemet tartalmaz – még ha validáltatni is próbáljuk más szereplőkkel;
- minden résztvevőt meg kell tanítanunk a mérésünk bizonyos aspektusaira, hasznára;
- jelentős akadály lehet meggyőzni a mérésben résztvevőket, hogy őszintén osszák meg tapasztalataikat, eredményeiket;
- a legtöbb kutatást a témában eddig olyan szervezetek végezték, akiknek elemi, sőt üzleti érdekük a mérési-számítási metódusok működése; (M. Grant, 2012)
- a mérések, számítások során figyelembe vett területek sem egységesek;
- elterjedtsége miatt csupán a marketing-értéke nagy, relevanciája kevésbé;
- a coach-coachee-megrendelő hármasában idővel szorosabb kapcsolat alakulhat ki, ami a mérési eredményeinket befolyásolhatja;
- tudat alatt késztetést érezhet egy munkavállaló, hogy nagyobb, jobb eredményekről számoljon be, mint a valódiak – hiszen a végső eredmény a vezetői asztalán köt ki;
- abban sincs közmegegyezés, hogy mi számít egy coaching folyamat költségének – ezzel tovább „bizonytalanodik” a képlet;
- a legtöbb szervezetben, ahol igény és/vagy lehetőség lenne a coaching megtérülésének mérésére, nincs meg a kellő tudás, hogy egyáltalán hogyan kellene hozzálátni;
- nem mellesleg éppen a fentiek miatt (egyelőre) sokan nem érzik hiteles mérőszámnak a ROI-t.
Talán megállapíthatjuk, hogy van még teendőnk ezen a fronton (is).
A magyar coaching piac keserédes képe napjainkban
A szerteágazó mérési elvek, megközelítések és hitvallások megismerése után a feltevéseimet igazolni vágytam, illetve a szakmai kíváncsiságom is vezérelt, hogy megismerhessem a mai magyar coaching piac működését, mérési gyakorlatait, terveit és várakozásait ezek mentén.
Néhány hipotézisem a kutatás kezdetekor:
- A ROI annyira univerzális mérőszám, hogy egy olyan viszonylag új szakmában is, mint amilyen a coaching, biztosan tömegek kutatták a kiszámítási módját és alkalmazzák (valamilyen formában).
- A társszakmák rengeteg olyan mutatóval, felméréssel rendelkeznek, amik a coachingra is érvényesíthetők.
- Ahol tömegesen vásárolnak coachingot, vagy belsős coach közösség tevékenykedik, ott komplex és mélyreható mérésekkel ellenőrzik és támasztják alá a coaching üzleti és egyéb eredményeit. A coaching-szervező cégeknek pedig elemi érdekük ugyanez.
- A Kirkpatrick-Phillips-féle rendszer (vagy annak valamely verziója) biztosan eljutott már minden olyan vállalathoz, szervezethez, ahol tömeges coaching folyik, és a rendszer vívmányait fel is használják.
- A minőségbiztosítás egy alapköve lehet az egyes coaching-szolgáltatók ROI-mutatói. Akár még a megfelelő coach(-szolgáltató) kiválasztásban is szerepe kell legyen.
- Az elterjedt, mindent elsöprő mérési módszer még várat magára, hiszen a coach szakma még alakulóban van.
Hipotéziseim igazolásához 2022 áprilisában a piac öt szereplőjével készítettem mélyinterjút. Volt köztük multinacionális vállalat HR-vezetője, coach, mentor coach, oktató, ICF Global Prism díj zsűritag, és többen szerveztek coaching programokat is saját vállalatuknál vagy megrendelésre belső és külső coach-csapatokkal egyaránt. Minden alanyomnak ugyanazokat a kérdéseket tettem fel – az összevethetőség jegyében.
A klasszikus ROI-ra vonatkozó feltevésemet sajnos mindannyian cáfolták, nem is próbálták sosem ebben eredeti formájukban kiszámolni, alkalmazni a coaching vonatkozásában. A képletet tágabban értelmezők közül viszont több is akadt alanyaim között – bár konkrét tapasztalatuk nekik sem volt, inkább elvi szinten jártuk körbe a témát: mi minden lehetne tulajdonképpen ROI.
A más területekről vagy társszakmáktól „kölcsönzött” mérőeszközök közül többen kapásból az NPS-t (Net Promoter Score) említették, mint gyakran alkalmazott mutatót. Felvetődött még a 360°-os értékelési módszer bevethetőségének kérdése is, de sokkal inkább a jövőbeni, vágyott képben mintsem a mai gyakorlat részeként. Illetve ennél a kérdéskörnél kezdett kirajzolódni az is, hogy több szervezetnél nincs megrendelői igény mérésekre, ahol pedig lenne, ott elegendő erőforrás vagy tudás nincs komplex vizsgálatok elvégzéséhez, utánkövetésekhez. Ezzel pedig rövidre zárhatjuk annak a felvetésemnek a kérdéskörét is, hogy ahol tömegesen áll rendelkezésre a coaching az alkalmazottak számára, ott bizonyosan mélyrehatóan vizsgálják annak eredményességét és egyéb hatásait. Még nem tart ott a piac.
Bevallom, a szakirodalom feldolgozásakor szinte azonnal személyes kedvencemmé vált a tréningek világából származó Kirkpatrick-Phillips-modell, és ebben láttam a nagybetűs megoldást, kis túlzással a coaching mérési–megtérülési kérdéskörének Szent Grálját. Szinte hidegzuhanyként ért, hogy az öt alanyom közül összesen egynek hangzott ismerősen a név.
A minőségbiztosítás egy alapköve lehet az egyes coaching-szolgáltatók ROI-mutatói – gondoltam. Bár vannak olyan coaching-szolgáltatók, akik büszkén hirdetik az elképesztő, százalékban kifejezett ROI-értékeiket, de hogy valójában mi alapján számolnak, mi minden kerül a képletbe és hogyan, az sehol sem derül ki egyértelműen.
Az elterjedt, mindent elsöprő mérési módszer még várat magára. Ez a feltevésem tökéletesen beigazolódott. Azt tapasztaltam, hogy ha megjelenne a megrendelői igény és a szükséges erőforrás a rendszerekben, akkor a szereplők a coaching szervezetek felé fordulnának világos iránymutatásért, hogy pontosan mit és hogyan lenne érdemes mérniük.
Most akkor hova is jutottunk (szerintem)?
Belátom, naivitás volt részemről azt remélni, hogy akár multinacionális cégek itthoni kirendeltségei, akár más, haladó szellemiségű(nek tűnő) cégek már komplex, tudományos mérési módszereket alkalmazzanak és rendszereket üzemeltessenek a coaching mérésére, aminek elemi része a megtérülés mérése is. Jelenleg sehol sincs meg hozzá a kellő igény, akarat, erőforrás és tudás egyszerre.
Szintén naivitás volt azt hinnem, hogy létezik már egy csupán elég jó mérési rendszer valahol a nagyvilágban, amit kifejezetten a coachingra szabtak, és az iparág szereplőinek többsége ismeri és elismeri működését. Bár például (az általam egy elég jó jelöltnek tekintett-vágyott) Kirkpatrick-modellt szinte egyetlen interjúalanyom sem ismerte, a saját elveik, meggyőződésük és képességeik mentén létrehozott visszacsatolások és mérések során valahogy mégis megjelentek annak elemei. Bevallom, jól esett ezt látni.
A HR világa nem a precíziósan és tömegesen mért adatok fellegvára. Talán igaza volt a korábban idézett szerzőnek, aki azt állította, hogy a humán oldallal foglalkozók többsége ódzkodik a matematikai kihívásoktól. ( O’Neill, 2000) Be kell látnunk, hogy viszonylag kevés statisztikus, matematikus vagy mérnökkel találkozunk egy-egy HR feszten.
És még ha lennének is számjegyeket bűvölők – vagy az egyik interjúalanyom szavaival élve: KPI-okkal fekvő és kelő kollégák –, különböző módokon és mélységekben méri a többség, amit egyáltalán mér. Ezek összesítése vagy összehasonlítása is már egy elég nagy – vagy inkább túl nagy – kihívás lenne, és akkor még nem vettük figyelembe ezen adatok „tisztaságát”.
A magyar coaching piac éretlen. És éppen ezért elég távol áll még annak lehetőségétől is, hogy egységes mérésekkel, megtérüléssel foglalkozzon.
Interjúink alatt több beszélgetőtársam rendszeresen visszatért a magyar coach szakma minőségbiztosítási kérdéseihez. Van, aki a piac edukálásában látja a hiányokat, más az egész coach-képzést reformálná meg, ha rajta múlna. És a felhígult szakma kifejezés is gyakran szóba került. Bár senki sem mondta ki nyíltan – talán mert ingoványos terep –, de véleményem szerint a piac rendeződéséhez szükség lenne szabályozásra is, több szinten. Az elhíresült „kuruzsló törvény” lehetett volna egy felülről érkező válasz, de legjobb tudásom szerint a legutóbbi állásfoglalás kimondja, hogy az éppen a coachokra nem vonatkozik.
Azzal együtt, hogy néhány éve aktív érdeklődéssel fordulok a szervezetfejlesztés és a coaching felé, az első METU-s félévemig fogalmam sem volt arról, hogy léteznek akkreditált coachok, és a nevük mögé mindenféle CC-ket írnak, amik külön jelentéssel és jelentőséggel bírnak. Akkor mit várunk el egy olyan potenciális vásárlótól, aki – a szakma renoméja miatt – komoly kétségek közt vergődve, bátortalanul keresi az első coachát?
Véleményem szerint nem neki kell tudnia, hogy aki ACC-t vagy PCC-t ír a neve mellé, az pontosan milyen ügyesen használja az aktív hallgatás kompetenciáját. Nem, mi még ott tartunk – és ezt személyes tapasztalataim is megerősítik –, hogy hosszasan magyarázzuk a potenciális ügyfeleknek, hogy mi a coaching, milyen egy jó coach, hogyan lehet felismerni a rosszat, miért ne dőljenek be színes-szagos hirdetéseknek és a magukat coachnak aposztrofáló egyéneknek. Még a megismerés, megismertetés szintjén vagyunk, még definiálni próbáljuk a coachingot. És mi a legjobb válaszunk erre? Egy lista, hogy mi nem a coaching. (Komócsin, 2018b, p. 21–23.)
Azt hiszem, pont azért tudnak a magukat coachnak nevező kóklerek teret nyerni, mert itt tartunk. Nincs ezzel semmi gond, csak el kell fogadnunk, hogy még komoly munka áll előttünk, az egész szakma előtt, mire eljutunk egyáltalán odáig, hogy értelme legyen mérési módszerekről beszélni. Addig mérjen mindenki bátran, amit csak tud és szeretne, de a magyar coach közösségnek most máshol van feladata és másban van hatalmas felelőssége. Szerintem.
Kovács Róbert
Villamosmérnök, lokalizációs és fordítástechnológiai szakember, a White Fox Consulting társalapítója és szárnyait bontogató coach.
Irodalomjegyzék
2022 ICF International Prism Award Program—Scoring Rubic. (2022). International Coach Federation. https://coachingfederation.org/app/uploads/2022/02/2022-Prism-Rubric.pdf
A. O’Neill, M. B. (2000). Executive Coaching with Backbone and Heart: A Systems Approach to Engaging Leaders with Their Challenges. John Wiley & Sons Inc.
A. O’Neill, M. B. (2007). An ROI Method for Executive Coaching: Have the Client Convince the Coach of the Return on Investment. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2015/07/ONeill.072215.pdf
Anderson, M. C. (2002). Executive Briefing: Case Study on the Return on Investment of Executive Coaching. MetrixGlobal. https://researchportal.coachfederation.org/Document/Pdf/abstract_681
Blumenthal, N., Mallis, E., & Sloan, K. (2005). Keeping Your Coach Accountable. OD Practitioner, 37(2). https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2014/07/ODP-Sloan-et-al.pdf
Bucher, A., ACC. (2020, 15). Measuring and Communicating ROI in Executive Coaching. International Coaching Federation Blog. https://coachingfederation.org/blog/roi-in-executive-coaching
Building a Coaching Culture for Change Management. (2018). International Coach Federation, Human Capital Institute.
Burtch, B., ACC. (2011). Ten ways to a Greater ROI on Professional Coaching. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2011/08/10-Ways-to-a-Greater-ROI-on-Professional-Coaching.doc
Carr, R. (2011). The State-of-the-Art in Return on Investment (ROI) in Coaching. Peer Bulletin, 206. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2011/12/Rey-Car.-ROI.122311.pdf
Carter, A. (2006). Practical methods for Evaluating Coaching. INSTITUTE FOR EMPLOYMENT STUDIES.
Cservenyák, T. (2016). Vezetői séta a sztratoszférában. http://tudatosvezetes.hu/docs/Vezetoi_seta_a_sztratoszferaban.pdf
Deller, J. (2021a, 03). Kaufman’s Model of Learning Evaluation: Key Concepts and Tutorial. https://kodosurvey.com/blog/kaufmans-model-learning-evaluation-key-concepts-and-tutorial
Deller, J. (2021b, 30). The Complete Philips ROI Model Tutorial for Beginners. https://kodosurvey.com/blog/complete-philips-roi-model-tutorial-beginners
Dr. Kiss, O. (2016, 27). Coaching ROI dilemmák. Magyar Coachszemle. https://coachszemle.hu/2016/07/27/coaching-roi-dilemmak
Dr. Kunos, I. (2011). A coaching gyakorlati haszna. http://real.mtak.hu/101982/1/Acoachinggyakorlatihaszna.pdf
ICF global coaching client study—Executive Summary. (2009). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2008. (2008). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2012. (2012). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2016. (2016). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2020. (2020). International Coach Federation.
ICF Global Consumer Awareness Study—Executive Summary 2017. (2017). International Coach Federation.
Kirkpatrick, W. K., & Kirkpatrick, J. D. (2016). Kirkpatrick’s four levels of training evaluation.
Komócsin, L. (2018a). 150 coachingeszköz esetleírásokkal. 1. [Köt.]: Köt. 1. (2.). Manager Könyvkiadó.
Komócsin, L. (2018b). Módszertani kézikönyv coachoknak és coachingszemléletű vezetőknek I. (2.). Manager Könyvkiadó.
M. Grant, A. (2012). ROI is a poor measure of coaching success: Towards a more holistic approach using a well-being and engagement framework. https://www.researchgate.net/publication/254252999_ROI_is_a_poor_measure_of_coaching_success_Towards_a_more_holistic_approach_using_a_well-being_and_engagement_framework
Mulvie, A. (2015). The Value of Executive Coaching.
Phillips, J. J., & Phillips, P. P. (2005). Measuring ROI in Executive Coaching. The International Journal of Coaching in Organizations. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2015/07/3-1_IJCO2005315362Phillipsfin.2.pdf
Phillips, P. P., & Phillips, J. J. (é. n.). The ROI Methodology(R) in 12 Easy Steps. https://www.roiinstituteacademy.com/resource_redirect/downloads/sites/4122/themes/1255818/downloads/5T3yjYBSfWaNyrJa59Er_Application_Guide.pdf
Phillips, P. P., & Phillips, J. J. (2008). ROI Fundamentals: Why and When to Measure Return on Investment.
Phillips, P. P., & Phillips, J. J. (2016). Handbook of training evaluation and measurement methods (4. kiad.).
2022 ICF International Prism Award Program—Scoring Rubic. (2022). International Coach Federation. https://coachingfederation.org/app/uploads/2022/02/2022-Prism-Rubric.pdf
A. O’Neill, M. B. (2000). Executive Coaching with Backbone and Heart: A Systems Approach to Engaging Leaders with Their Challenges. John Wiley & Sons Inc.
A. O’Neill, M. B. (2007). An ROI Method for Executive Coaching: Have the Client Convince the Coach of the Return on Investment. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2015/07/ONeill.072215.pdf
Anderson, M. C. (2002). Executive Briefing: Case Study on the Return on Investment of Executive Coaching. MetrixGlobal. https://researchportal.coachfederation.org/Document/Pdf/abstract_681
Blumenthal, N., Mallis, E., & Sloan, K. (2005). Keeping Your Coach Accountable. OD Practitioner, 37(2). https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2014/07/ODP-Sloan-et-al.pdf
Bucher, A., ACC. (2020, 15). Measuring and Communicating ROI in Executive Coaching. International Coaching Federation Blog. https://coachingfederation.org/blog/roi-in-executive-coaching
Building a Coaching Culture for Change Management. (2018). International Coach Federation, Human Capital Institute.
Burtch, B., ACC. (2011). Ten ways to a Greater ROI on Professional Coaching. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2011/08/10-Ways-to-a-Greater-ROI-on-Professional-Coaching.doc
Carr, R. (2011). The State-of-the-Art in Return on Investment (ROI) in Coaching. Peer Bulletin, 206. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2011/12/Rey-Car.-ROI.122311.pdf
Carter, A. (2006). Practical methods for Evaluating Coaching. INSTITUTE FOR EMPLOYMENT STUDIES.
Cservenyák, T. (2016). Vezetői séta a sztratoszférában. http://tudatosvezetes.hu/docs/Vezetoi_seta_a_sztratoszferaban.pdf
Deller, J. (2021a, 03). Kaufman’s Model of Learning Evaluation: Key Concepts and Tutorial. https://kodosurvey.com/blog/kaufmans-model-learning-evaluation-key-concepts-and-tutorial
Deller, J. (2021b, 30). The Complete Philips ROI Model Tutorial for Beginners. https://kodosurvey.com/blog/complete-philips-roi-model-tutorial-beginners
Dr. Kiss, O. (2016, 27). Coaching ROI dilemmák. Magyar Coachszemle. https://coachszemle.hu/2016/07/27/coaching-roi-dilemmak
Dr. Kunos, I. (2011). A coaching gyakorlati haszna. http://real.mtak.hu/101982/1/Acoachinggyakorlatihaszna.pdf
ICF global coaching client study—Executive Summary. (2009). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2008. (2008). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2012. (2012). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2016. (2016). International Coach Federation.
ICF Global Coaching Study—Executive Summary 2020. (2020). International Coach Federation.
ICF Global Consumer Awareness Study—Executive Summary 2017. (2017). International Coach Federation.
Kirkpatrick, W. K., & Kirkpatrick, J. D. (2016). Kirkpatrick’s four levels of training evaluation.
Komócsin, L. (2018a). 150 coachingeszköz esetleírásokkal. 1. [Köt.]: Köt. 1. (2.). Manager Könyvkiadó.
Komócsin, L. (2018b). Módszertani kézikönyv coachoknak és coachingszemléletű vezetőknek I. (2.). Manager Könyvkiadó.
M. Grant, A. (2012). ROI is a poor measure of coaching success: Towards a more holistic approach using a well-being and engagement framework. https://www.researchgate.net/publication/254252999_ROI_is_a_poor_measure_of_coaching_success_Towards_a_more_holistic_approach_using_a_well-being_and_engagement_framework
Mulvie, A. (2015). The Value of Executive Coaching.
Phillips, J. J., & Phillips, P. P. (2005). Measuring ROI in Executive Coaching. The International Journal of Coaching in Organizations. https://libraryofprofessionalcoaching.com/wp-app/wp-content/uploads/2015/07/3-1_IJCO2005315362Phillipsfin.2.pdf
Phillips, P. P., & Phillips, J. J. (é. n.). The ROI Methodology(R) in 12 Easy Steps. https://www.roiinstituteacademy.com/resource_redirect/downloads/sites/4122/themes/1255818/downloads/5T3yjYBSfWaNyrJa59Er_Application_Guide.pdf
Phillips, P. P., & Phillips, J. J. (2008). ROI Fundamentals: Why and When to Measure Return on Investment.
Phillips, P. P., & Phillips, J. J. (2016). Handbook of training evaluation and measurement methods (4. kiad.).