Już raz o tym pisałam, ale będę młotkować temat do upadłego: Dziki Zachód, czyli brak świadomości u zlecających i realizujących badania komunikacji. Jak długo to jeszcze potrwa?

Od jakiegoś czasu biorę udział w spotkaniach grupy roboczej IAB Polska ds. badań. Na spotkaniu lipcowym zastanawialiśmy się nad potrzebą wprowadzenia standardów dotyczących badań internetu. Niektórzy z nas stwierdzili, że po co tworzyć osobny standard, jeśli te standardy już istnieją, bo zostały wypracowane przez firmy badawcze. Pięknie, tyle, że w toku przeglądania dokumentów opisujących te standardy, okazało się, że dotyczą one tak naprawdę jednej metody badawczej – sondażu. Został on precyzyjnie opisany i skodyfikowany w kilku dokumentach. A co z pozostałymi metodami, także często wykorzystywanymi – jak na przykład analiza treści, analiza danych (wskaźniki czy coraz popularniejsza analiza sieciowa)? I to nie tylko badań dotyczących internetu, ale również innych mediów.

Owszem, informacji na ich temat dostarczają książki o metodologii nauk społecznych, jednak po te rzadko kto sięga. Brakuje dokumentów,  z których mógłby skorzystać każdy marketingowiec czy PRowiec, aby wiedzieć, czego wymagać od firm, które realizują dla niego określone typy badań, czy chociażby wiedzieć, jakie informacje może uzyskać dzięki zastosowaniu danej metody (a jakich informacji z kolei się nie uzyska). Standardy przydałyby się też firmom realizującym badania, tak, aby te firmy wiedziały, że raport z badania powinien wyglądać, jak raport z badania, a każdy wprowadzony do oferty ładnie nazywający się wskaźnik, powinien być nie tylko dobrze pomyślany, ale też zweryfikowany na rzeczywistych danych.

I potem zdarzają się kwiatki typu, że do badania realizowanego techniką analizy treści przekazów medialnych zleceniodawca chce uzyskać odpowiedź na pytanie o “postrzeganie firmy przez lokalną społeczność, samorządy i obecnych oraz potencjalnych klientów”. Tymczasem analiza treści przekazów medialnych nie mówi nic o grupach docelowych i o ich reakcji na przekaz. Mówi nam tylko to, jak organizację przedstawiają media i jaka jest jakość naszej komunikacji z mediami właśnie (np. czy dziennikarze sami podejmują tematy związane z firmą i jakie kluczowe informacje powtarzają z informacji prasowych) – ale nie mówi nam już nic, co z tego przekazu zostaje potem w głowach odbiorców. To trzeba by już sprawdzić w zupełnie inny sposób.

Dlatego właśnie jestem za wprowadzeniem standardów i za edukowaniem odbiorców badań – nie tylko jeśli chodzi o sondaż, ale również jeśli chodzi o pozostałe metody badawcze.

Na konferencji AMEC w Barcelonie uchwaliliśmy Deklarację Barcelońską – wspólne, globalne standardy mierzenia efektywności PR.

To zresztą była najciekawsza część konferencji, bo kolejne punkty deklaracji były przedstawiane na slajdach i dyskutowane przez przedstawicieli organizacji, które wypracowały wstępną wersję deklaracji. Następnie padały pytania z sali. Po pytaniach – głosowanie za przyjęciem lub odrzuceniem zasad. W końcu – przyjęcie ostatecznej wersji Deklaracji. W dużym skrócie, brzmi ona tak:

1. Goal setting and measurement are fundamental aspects of any PR programmes. Ustalanie celów i pomiar są istotnymi składowymi każdego pomiaru PR. Uczę tego na każdym moim szkoleniu czy mówię o tym podczas prezentacji: wychodzimy od dokładnej analizy sytuacji (która często wymaga dodatkowych badań) i ustalamy mierzalne cele programu PR.

2. Media measurement requires quantity and quality – clip cuts are generally meaningless.
Analiza treści przekazów medialnych powinna mieć charakter ilościowy i jakościowy – same wycinki są bez znaczenia. Tutaj ustalono gotowe kategorie kodowania tekstów: wydźwięk (pozytywny, negatywny, neutralny), wiarygodność (autora lub źródła), dostarczenie wiadomości, pozycja firmy w tekście, obecność materiału wizualnego.

3. Advertising Value Equivalents (AVEs) do not measure the value of PR and do not inform future activity; they measure the cost of media space – ekwiwalent reklamowy (AVE) nie mierzy wartości PR i nie informuje o przyszłych aktywnościach, mierzy tylko koszt powierzchni medialnej.
A tutaj był największy dym. Z jednej strony, przedstawiciele organizacji i delegaci zgodzili się, że PR nie da się porównywać z reklamą, a ekwiwalent reklamowy z mnożnikiem w postaci dowolnej liczby pierwszej (na zasadzie, że PR jest tyle i tyle bardziej wiarygodny od reklamy) nie ma najmniejszego sensu. Z drugiej strony, uzgodniono, że można stosować wskaźnik Weighed Media Cost, który od ekwiwalentu różni się tylko tym, że bierze pod uwagę faktyczny koszt analogicznej powierzchni reklamowej (czyli uwzględnia rabaty) i szacuje końcowy koszt artykułu w oparciu o różne parametry, np. wydźwięk czy obecność zdjęcia prezesa firmy. WMC wywołał gwałtowny spór na sali, jednak większość obecnych ostatecznie była za jego stosowaniem. Mądrość tłumu, zachwalana przez niektórych delegatów, jednak nie zawsze się sprawdza…  Moim zdaniem wygląda to tak, jakby numerologię zastąpić horoskopem. Niby horoskop jest bardziej skomplikowany niż numeroskop, ma więcej danych, bardziej profesjonalnie wygląda – ale ostatecznie jest tak samo nienaukowy i niezweryfikowany empirycznie. Podobnie, jak każdy niezweryfikowany empirycznie wskaźnik.

4. Social media can and should be measured. Social media można i należy mierzyć. Zasady pomiaru są takie same, jak przy tradycyjnym PR – strategia, mierzalne cele, różne efekty komunikacji widoczne stopniowo, w różnych momentach czasu etc. Z drugiej strony, można tutaj zmierzyć nie tylko liczbę fanów, ale właśnie świadomość marki czy zaangażowanie w daną społeczność. Informacji może dostarczyć nie tylko wyszukiwarka czy system monitorujący internet, ale również statystyki ruchu na stronach internetowych, czy informacje z systemów CRM i dane dotyczące sprzedaży.

5. Measuring outcomes is preferred to measuring media results. Lepiej mierzyć ostateczne rezultaty niż rezultaty w mediach. Ostatecznymi rezultatami prowadzenia działań komunikacyjnych są m. in. zmiana świadomości, postaw, zachowań powiązana z zakupami, dotacjami, kapitałem marki, reputacją korporacyjną, zaangażowaniem pracowników, decyzjami inwestycyjnymi etc. w przypadku jakiejkolwiek organizacji. I to właśnie można i należy mierzyć.

6. Business results can and should be measured where possible. Rezultaty biznesowe mogą i powinny być mierzone, jak to tylko możliwe.
Podczas konferencji Katie D. Paine pokazała bardzo prosty przykład na pomiar rezultatów sprzedażowych: zestawiła dane dotyczące dotacji przekazywanych na jedną z amerykańskich organizacji pozarządowych z danymi dotyczącymi obecności tej organizacji w mediach. I o to właśnie chodzi. Komunikacja ma zawsze wpływ na biznes.

7. Transparency and replicability are paramount to sound measurement. Przejrzystość i powtarzalność są priorytetem obiektywnego pomiaru (albo: priorytetem pomiaru przeprowadzanego za pomocą sondażu). Tutaj nie mam pewności co do mojego tłumaczenia, bo “sound” oznacza zarówno “słuszny”, “oparty na faktach” ale również “sondaż”. W prezentacji z konferencji w tym miejscu była mowa o dwóch metodach badawczych, analizie treści i sondażu właśnie. Przy czym, przy analizie treści skupiono się na ustaleniu standardowych kategorii pomiaru, a przy sondażu mówiono o zasadach przeprowadzania badań. Jak dla mnie było to spore zamieszanie – bo jeśli mówimy o ogólnych regułach prowadzenia procesu badawczego, to są one takie same dla wszystkich metod badawczych – i skupmy się na tym, a dopiero potem mówmy, jakie są wady i zalety poszczególnych metod badawczych (nie tylko sondażu i analizy treści – mierzenie efektów PR jest też przecież rodzajem eksperymentu naturalnego).

Pełna wersja deklaracji tutaj.

A Wy co o tym wszystkim sądzicie?

No i stało się. Jako pierwsza firma w Polsce należymy do AMEC – Międzynarodowego Stowarzyszenia Pomiaru i Oceny Komunikacji.

Międzynarodowe Stowarzyszenie Pomiaru i Oceny Komunikacji (The International Association for Measurement and Evaluation of Communication, AMEC), zrzesza firmy świadczące usługi związane z analizą treści przekazów medialnych i badaniami działań komunikacyjnych. Obecnie należą do niego firmy z 32 krajów. AMEC został powołany w 1997 roku w Londynie i wówczas zrzeszał 7 firm. Wzrost imponujący, co świadczy o tym, że idea mierzenia efektów komunikacji (w tym public relations) cieszy się coraz większym zainteresowaniem.

Korzyści z członkostwa jest wiele: dostęp do najnowszej wiedzy na temat pomiaru i oceny efektywności działań komunikacyjnych, a także do najlepszych praktyk stosowanych na najbardziej rozwiniętych tym względem rynkach, możliwość wymiany doświadczeń z osobami specjalizującymi się w pomiarze efektów komunikacji z całego świata. Ostatecznie skorzystają na tym klienci NewsPoint, bo dostaną od nas usługi (na przykład analizy i raporty ) zgodne z najnowszymi międzynarodowymi standardami.

A już jutro w Barcelonie rozpoczyna się 3-dniowa konferencja 2nd European Summit on Measurement zorganizowana przez AMEC właśnie. W planach między innymi praca nad wspólnymi standardami branżowymi odnośnie mierzenia komunikacji. “Zabronić stosowania ekwiwalentu reklamowego!”, grzmiał już Barry Leggeter, szef AMEC, na dyskusyjnej liście branżowej. Oj, będzie ciekawie…

Relacja wkrótce – tak szybko, jak pozwoli mi na to wzrok mocno nadwyrężony korektą doktoratu.

Wspominałam już o nich wcześniej, przy okazji opisywania automatycznej analizy treści. Ponieważ napisała o nich ostatnio Katie Delahaye Paine, postanowiłam również poświęcić im kilka słów.

Katie D. Paine skarży się na istniejące w Stanach darmowe rozwiązania monitorujące internet i posiadające automatyczną analizę wydźwięku artykułów. Wskazuje, że niemal połowa wyników z nich jest nierzetelna.  “Gdyby to była księgowość, już dawno siedziałbyś w więzieniu”, pisze ironicznie. Jej zdaniem, rzetelność pomiaru jest tutaj ważna – chodzi o nasz PR, nasz biznes, naszą branżę – a tę, jej zdaniem, mogą zapewnić dopiero zaawansowane rozwiązania, które posiadają wyrafinowane algorytmy, ale zarazem ich wyniki są testowane przez ludzi. Następnie opisuje cztery główne problemy związane z monitoringiem internetu:

• istotność treści – K. D. Paine pisze tutaj o niedokładnym wyszukiwaniu przez spidery, które potrafią mylić frazy “small business objects” z “Business Objects” i dzięki temu potrafią zebrać nawet do 90% nieistotnej treści. Wydaje mi się, że chodzi o rozwiązania, które dopiero zbierają treść w oparciu o zdefiniowane słowa kluczowe. Pewną radą może być odwrotna konstrukcja systemu: zbieranie treści z wybranych źródeł, a następnie jej przeszukiwanie – tutaj kryteria przeszukiwania można dodefiniowywać (tak działa nasz system NewsPoint);
• problem omijania wyników – wszystkim dostawcom rozwiązań monitoringowych zdarza się omijanie wyników, co można łatwo ustalić, korzystając z wyszukiwarek internetu czy wyszukiwarek mikroblogów. Moim zdaniem jest to również kwestia wprowadzenia “ludzkiej” kontroli jakości – sprawdzania zbierania treści ze stron, które znajdują się w bazie, dodawania nowych stron. Żaden spider nie jest w stanie zrobić tego automatycznie, a jeśli mu na to pozwolimy – może również nazbierać stron, które na przykład nie zawierają artykułów, a na przykład podstronę z danymi dotyczącymi reklamy w danym serwisie;
• dokładność analizy – większość rozwiązań nie potrafi dokonać dokładnej analizy wydźwięku treści, potrafią to jedynie zaawansowane systemy wspierane przez ludzkich koderów. Automatyczna analiza odpowiada na pytanie, jak internauci dyskutują o marce, czy też jakich słów używają najczęściej, mówiąc o tej marce. Nie odpowiada na pytanie, jak myślą. K. Paine wspomina też o znanym problemie z ironią czy o tym, że komputery potrafią dosłownie odczytać wyrażenie z lokalnego dialektu, które pozornie wydaje się negatywne, w rzeczywistości oznacza natomiast pochwałę. Rozwiązaniem tego problemu może być półautomat – dany wpis może być przekodowany przez użytkownika systemu lub zdecydowanie się na analizę dokonywaną przez ludzi (i zlecenie jej na zewnątrz w przypadku braku zasobów we własnej firmie). W przypadku dużej ilości artykułów – ograniczenie się do wybranych źródeł lub przeprowadzanie regularnych analiz, obejmujących mniejsze partie materiału.
• niekompletne oszacowanie zmiennych – do niektórych analiz trzeba użyć zupełnie innych metod badawczych niż analiza treści czy pomiar ruchu w internecie. K. D. Paine podaje tutaj przykład mierzonego przez nich programu PR. Badanie prób reprezentatywnych dla populacji Stanów nie wskazało zmian w poziomie świadomości. Dopiero badanie osób z grup docelowych programu pokazało tę zmianę. Moim zdaniem ten problem wykracza już poza monitoring internetu i analizę treści – to jest kwestia doboru metody badawczej do problemu. Sama się z tym zetknęłam, gdy analiza treści rozmów na forach i komentarzy na blogach nie dała klientowi odpowiedzi na to, co mówią osoby z jego grupy docelowej – bo tych osób tam po prostu nie było; doradziliśmy dotarcie do osób z branży i zastosowanie wywiadów pogłębionych. Katie uważa w każdym razie, że najbardziej znacząca dla zmiany zachowań konsumentów jest obecność (lub nieobecność) kluczowych przekazów i tę z pewnością warto monitorować.

Problemy te w równym stopniu dotyczą naszego rynku monitoringu internetu. Tak samo stykamy się z omijaniem treści, wynikami niepasującymi do zapytania czy dyskusją nad automatyczną analizą treści, którą swego czasu prowadziłam na blogu Internetstats.pl z przedstawicielami IR Research Center. Tak samo zdarzają się osoby, które oczekują po analizie treści wyników, których ta metoda badawcza nie zapewni.