Microsoft opublikował część wyników przełomowej kampanii gamingowej realizowanej dla swojej wyszukiwarki Bing. Technologiczny rozmach projektu był tak ogromny, że pełna realizacja projektu byłaby niemożliwa przy wykorzystaniu jedynie wewnętrznych możliwości firmy. Z tego powodu, kampania była realizowana we współpracy z aż dwoma domami badawczymi. Zarówno wyniki jak i samo badanie rzuciły na kolana stosowane dotychczas sposoby pomiaru.
Nieco ponad cztery lata temu gigant z Redmond kupił za przytłaczającą (szacowaną na 200 do 400 mln dolarów) sumę Massive Incorporated. Choć maju 2006 roku kupno 80 osobowej firmy za taką kwotę, wydawało się hazardem, dziś okazuje się doskonałą inwestycją. Trzy lata później, Microsoft ostatecznie zrezygnował z wyszukiwarki Live na rzecz cudownego dziecka imieniem Bing (nie, nie... nie Chandler z Przyjaciół). Już kilka miesięcy po jego czerwcowej premierze, do nieprzyzwoicie kosztownej kampanii launchowej dodano display w grach na Xbox'ie. Bardzo przyzwoita kreacja była wyświetylana przez miesiąc. Ekscytujące? No właśnie... wcale. Fajerwerki zaczęły się po zakończeniu kampanii.
Metodologia i przebieg badania
Metodologia i przebieg badania
Część która była realizowana in-house była umiarkowanie interesująca. Microsoft skierował projekt do Microsoft Advertising który spuścił ze smyczy Massive'a. Ten, jak sądzę, zaplanował i wyemitował reklamy przez Xbox Live używając swojego ad serwera Massive Network. Naturalnie kampania była standardowo mierzona poprzez systemy trackingowe zintegrowane z systemem serwującym. Dotychczas na tym etapie przechodzono do analizy otrzymanych danych i pisania raportu. Nie tym razem. Informacje z ad serwera były w czasie rzeczywistym transferowane do comScore. Ten używając narzędzia AdEffx Action Lift for Gaming był w stanie zidentyfikować tych graczy, którzy brali udział w badaniach internautów (takich jak rodzimy NetPanel PBI) oraz pozyskać historię ich aktywności w sieci. To już sporo. Ale prawdziwa magia jeszcze przed nami.
Posiadając wszystkie te dane i składając je w odpowiedni sposób otrzymujemy nieskazitelny metodologicznie eksperyment naturalny. Historia odwiedzin to pretest, ekspozycja reklamy w grze to manipulacja eksperymentalna, a to co użytkownik zrobi kiedy już skończy grać jest niczym innym jak posttestem. Dorzućmy do tego drugą grupę graczy, którym nie pokazano komunikatu, a uzyskamy klasyczny eksperyment z grupą kontrolną oraz początkowym i końcowym pomiarem zmiennej zależnej. Choć może brzmi to mniej sexi niż słowa Angelina Jolie, to w sposób bezdyskusyjny pozwala pokazać oblicze boga badań - przyczynowości. Jej udowodnienie było dotychczas na tyle upierdliwe, że marketerzy w ogóle zapomnieli o jej istnieniu lub utożsamiali ja z ułomną siostrą: korelacją.
Co akademicka dyskusja wnosi do tego przypadku? Zaskakująco wiele.
1. Wpływ kampanii jest precyzyjnie zmierzony:
- pretest pozwolił ustalić poziom i sposób użytkowania Binga przed kampanią
- posttesty pozwoliły zmierzyć ich zmianę po ekspozycji reklam
- porównanie wyników dostarczyło precyzyjnych wskaźników opisujących zmianę postawy
- badacze uzyskali pełną kontrolę nad czynnikami zakłócającymi takimi jak:
- naturalny przyrost użytkowników nowego portalu
- efekty reklamy w innych mediach
- możliwe było uprawnione wyizolowanie efektu działania reklamy na zachowanie
- badany przebywający w laboratorium jest na obcym terenie oraz ma świadomość bycia obserwowanym i ocenianym. Różnica między zachowaniem w domu na kanapie, a tym w sytuacji badania jest taka jak między walką o przeżycie w dżungli a weekendową wycieczką do zoo
Wyniki
Interpret Research uzupełnił behawioralny opis wpływu opracowany przez comScore o (niestety) deklaratywne dane dotyczące postaw i zapamiętania reklamy. Badanie ujawniło następujące informacje
- Osoby które miały styczność z reklamą oceniały markę Bing o połowę lepiej niż grupa kontrolna.
- Tylko co czwarty gracz z grupy eksperymentalnej nie zapamiętał reklamy.
- Gracze którzy mieli styczność z reklamą deklarowali o 55% częstsze odwiedziny na Bing.com
- Osoby z grupy eksperymentalnej o 21% częściej deklarowali rozważanie użycia reklamowanej wyszukiwarki
Frywolna dyskusja końcowa
Nie chcę dyskutować nad wartością ostatnich danych otrzymanych przez Interpret. Kiedy firma współpracująca nad kampanią zaprasza ludzi do swojej wypasionej siedziby, by zapytać Jak Ci się podobała nasza reklama?... cóż. Choć zestawienie odpowiedzi badanych z grupy eksperymentalnej i kontrolnej sporo tu poprawia, to nadal mamy do czynienia z deklaratywnością ułomną w stopniu nie mniejszym niż bohater Dnia za dniem - Corky.
Część prowadzona przez comScore jest krokiem w przód. Jasne...za całość płacił koncern należący do (prawie) najbogatszego człowieka na ziemi i niewiele firm może sobie na to na razie pozwolić na taki wybieg. Jednak jeśli się nad tym zastanowić, technologia została już opracowana i wszystkie kolejne badania będą już tylko tańsze. Zaangażowanie i środki konieczne do przeprowadzenia badań w tym paradygmacie zawsze będą wielokrotnie większe, niż w przypadku fokusa czy ankietki typu Co Pan/Pani myśli, że by Pan/Pani zrobił/zrobiła, gdyby miał/miała Pan/Pani... Moim zdaniem jednak, dyrektor marketingu oszczędzający na badaniach, jest jak człowiek który tak spłukał się na kupno Bentley'a, że nie zostało mu już pieniędzy na paliwo, by sprawdzić jak auto sprawuje się na drodze.
Ostateczny wniosek jest jednak zdecydowanie bardziej optymistyczny i brzmi:
Istnieje naukowy dowód na to, że reklama dynamiczna działa.
Pełny raport możesz pobrać z serwisu Microsoft Advertising.
Wiem, że jak na drugi post, to strasznie ciężka kwestia wypłynęła, ale kiedy ten raport wpadł w moje łapy, nie mogłem się powstrzymać...
OdpowiedzUsuńObiecuję, ze następne artykuły będą bardziej lightowe :)