Twój Ads Manager pokazuje ROAS 5x. Według badań przeprowadzonych na setkach realnych kampanii prawdziwy wynik może być bliżej 1,5x — a różnicę finansujesz Ty. Naukowcy z Kellogg School of Management we współpracy z badaczami Mety porównali raporty atrybucyjne z wynikami rygorystycznych eksperymentów (RCT) i wnioski są brutalne: standardowe metody pomiaru systematycznie zawyżają skuteczność reklam, bo mierzą korelację, a nie przyczynowość. W tym artykule pokazuję, skąd bierze się ta rozbieżność, dlaczego Conversions API jej nie naprawia — i co realnie może zrobić mały i średni reklamodawca w Polsce, którego nie stać na Lift Testy za dziesiątki tysięcy złotych.
Czym jest bias selekcyjny w ekosystemie reklamowym Mety?
Bias selekcyjny występuje, gdy algorytmy optymalizacyjne platformy kierują reklamy do użytkowników o wysokim bazowym prawdopodobieństwie zakupu — niezależnie od tego, czy reklama miała na nich jakikolwiek wpływ. Proste porównanie grupy, która widziała reklamę, z grupą, która jej nie widziała, zawyża wtedy wskaźnik lift (przyrost konwersji), przypisując reklamie zasługi za zakupy, które i tak by nastąpiły.
Skalę problemu pokazało badanie Gordona, Zettelmeyera, Bhargavy i Chapsky’ego (A Comparison of Approaches to Advertising Measurement, Marketing Science 2019), oparte na 15 eksperymentach reklamowych w USA — łącznie 500 milionów obserwacji i 1,6 miliarda wyświetleń. W jednym z analizowanych badań lift obliczony metodą obserwacyjną wyniósł 416%, podczas gdy kontrolowany eksperyment wykazał realny przyrost na poziomie 77%. Reklama działała — ale ponad pięciokrotnie słabiej, niż sugerowały dane obserwacyjne.
Ci sami autorzy poszli dalej. W badaniu Close Enough? (Marketing Science 2023) przeanalizowali już 663 eksperymenty na platformie Mety. Mediany realnego liftu zmierzonego eksperymentalnie wyniosły 29% dla górnego lejka, 18% dla środkowego i zaledwie 5% dla dolnego. Nawet zaawansowane metody statystyczne próbujące „odkręcić” selekcję algorytmu (double machine learning, propensity score matching) zawyżały te wartości kilkukrotnie. Wniosek autorów: dane logowane standardowo przez platformy reklamowe nie wystarczają, by odtworzyć efekt przyczynowy bez eksperymentu.
Mechanizmy napędzające błąd selekcyjny to przede wszystkim algorytmy dostarczania (targeting engine), aktywność licytacyjna konkurencji oraz tzw. activity bias — użytkownicy aktywniejsi w sieci częściej widzą reklamy i częściej kupują, ale jedno nie wynika z drugiego. Architektura aukcyjna ustawia grę pod siebie: reklamy trafiają do osób, które konwertowałyby tak czy inaczej, z powodu lojalności wobec marki lub wcześniejszych intencji zakupowych.
Dlaczego multi-touch attribution nie mierzy realnego wpływu?
Modele multi-touch attribution (MTA) są modelami obserwacyjnymi, a nie eksperymentalnymi — to ich fundamentalna, nieusuwalna wada. Przypisują wagi punktom styku na ścieżce klienta, ale nie znają scenariusza kontrfaktycznego: nie wiedzą, co stałoby się, gdyby danego punktu styku nie było. W efekcie budżety są alokowane na podstawie korelacji statystycznej, a nie realnej perswazji.
Trzy konsekwencje w praktyce:
Po pierwsze, brak grupy kontrolnej oznacza, że MTA technicznie nie jest w stanie odróżnić reklamy, która przekonała klienta, od reklamy, która tylko „stała obok” gotowej decyzji zakupowej.
Po drugie, występuje zjawisko view-through inflation — platforma przypisuje konwersję reklamie, którą użytkownik jedynie przewinął na ekranie, bez żadnej świadomej interakcji. To sztucznie zawyża wyniki kampanii o dużym zasięgu.
Po trzecie, modele last-click systematycznie zaniżają wartość kampanii prospectingowych na górze lejka, premiując retargeting, który zbiera popyt wygenerowany gdzie indziej. Stąd klasyczna pułapka: dashboard pokazuje, że retargeting „dowozi”, więc budżet płynie tam — do ludzi, którzy i tak by kupili.
Czy Conversions API rozwiązuje problem wiarygodności danych?
Krótko: nie, bo rozwiązuje inny problem. Conversions API (CAPI) poprawia dostarczanie danych — omija blokady przeglądarek, ad blockery i ograniczenia ciasteczek, wysyłając zdarzenia konwersji bezpośrednio z serwera. Po wprowadzeniu App Tracking Transparency w iOS 14.5 i postępującej degradacji third-party cookies to konieczność, nie opcja. Ale pełniejsze dane o korelacji to wciąż dane o korelacji.
Co CAPI daje realnie:
- Odzyskuje zdarzenia konwersji gubione po stronie przeglądarki i wzmacnia sygnał dla algorytmów uczących platformy — kampanie optymalizują się lepiej.
- W połączeniu z danymi first-party z CRM (w tym wartością życiową klienta, LTV) pozwala trenować algorytmy na zdarzeniach, które faktycznie mają wartość biznesową, a nie tylko na mikrokonwersjach.
Czego CAPI nie daje: warstwy eksperymentalnej. Skrócone okna atrybucji (z 28 do 7 dni) dodatkowo komplikują obraz — przy długich cyklach zakupowych, typowych choćby dla B2B SaaS, platforma traci z oczu znaczną część ścieżki klienta i raporty potrafią istotnie niedoszacować wpływ górnego lejka. Paradoksalnie więc ten sam system potrafi jednocześnie zawyżać wyniki retargetingu i zaniżać wyniki prospectingu.
Co może zrobić mały i średni reklamodawca? Incrementality bez budżetu korporacji
Oficjalna odpowiedź Mety brzmi: rób Conversion Lift Testy. Problem w tym, że wymagają one minimalnej skali wydatków i liczby konwersji, której większość polskich MŚP po prostu nie osiąga. Na szczęście istnieją tańsze metody pomiaru przyrostowości:
Geo-testy (geo holdout). Wyłącz kampanie w 2–3 porównywalnych województwach lub miastach na 4–6 tygodni i porównaj sprzedaż z regionami, gdzie reklamy działały. To eksperyment naturalny, który nie wymaga żadnych narzędzi platformy — wystarczą dane sprzedażowe z własnego systemu. Kluczowe jest dobranie regionów o podobnej historii sprzedaży i sezonowości.
GeoLift od Mety (open source). Meta udostępniła na GitHubie bibliotekę GeoLift (R), która automatyzuje projektowanie i analizę geo-testów — od doboru regionów kontrolnych po wyliczenie liftu z przedziałami ufności. To metodologia z Lift Testów dostępna za darmo, dla każdego, kto ma dane sprzedażowe z podziałem na lokalizacje.
Robyn — marketing mix modeling. Drugi open-source’owy projekt Mety. MMM nie wymaga danych o pojedynczych użytkownikach (działa na zagregowanych szeregach czasowych), więc jest odporny na całą prywatnościową rewolucję. Dla firmy wydającej na reklamę w kilku kanałach to sposób na oszacowanie realnego wkładu każdego z nich.
Test „wyłącz i zobacz”. Najbrutalniejsza i najtańsza metoda: zatrzymaj kampanię retargetingową na miesiąc. Jeśli sprzedaż nie spadła proporcjonalnie do „konwersji z retargetingu” w dashboardzie — właśnie zmierzyłeś inflację atrybucji w swojej firmie.
Wnioski praktyczne
Traktuj RCT jako punkt odniesienia. Jeśli skala pozwala — Conversion Lift Test. Jeśli nie — geo-test z GeoLift. Każda inna liczba w dashboardzie to estymacja obciążona biasem selekcyjnym.
Porównuj dashboard z CRM. Regularnie zestawiaj konwersje raportowane przez platformę z twardymi danymi sprzedażowymi. Rozbieżność (duplikaty, view-through, konwersje przypisane wielu kanałom naraz) to Twój lokalny współczynnik inflacji atrybucji — i podstawa do korygowania raportowanego ROAS.
Wdrażaj CAPI, ale ze świadomością, czemu służy. Server-side tracking poprawia optymalizację kampanii i ciągłość danych w środowisku privacy-first. Wzbogacaj sygnał danymi o LTV z CRM. Tylko nie myl lepszego sygnału z dowodem przyczynowości.
Optymalizuj pod przyrost, nie pod atrybucję. Budżet z kanałów o wysokiej atrybucji, ale niskiej przyrostowości (agresywny retargeting lojalnych klientów) przesuwaj na działania generujące realnie nowy popyt. Dashboard będzie wyglądał gorzej. Rachunek bankowy — lepiej.
Źródła:
- Gordon B.R., Zettelmeyer F., Bhargava N., Chapsky D., A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook, Marketing Science, 2019.
- Gordon B.R., Moakler R., Zettelmeyer F., Close Enough? A Large-Scale Exploration of Non-Experimental Approaches to Advertising Measurement, Marketing Science, 2023.
- Meta Open Source: GeoLift (github.com/facebookincubator/GeoLift), Robyn (github.com/facebookexperimental/Robyn).
Dodaj komentarz