Zaczęło się w 2002 r., kiedy to pracowałam w mojej pierwszej firmie, agencji PR, i patrząc na to, jak raportowaliśmy klientom o wynikach naszej pracy, zaczęłam sobie zadawać pytanie, czy na pewno analiza treści jest tutaj jedyną możliwą do zastosowania metodą? Czy nikt nigdy nie wpadł na pomysł, żeby efekty działań PR mierzyć jeszcze jakoś inaczej? Obudziła się ciekawość, zaszczepiona jeszcze na zajęciach z ulubionego przedmiotu – metodologii nauk społecznych (prof. Ireneusz Krzemiński) i metod i technik badań społecznych (dr Jarosław Załęcki).

Zaczęłam szukać informacji na temat mierzenia efektów działań public relations. W amerykańskim internecie było ich całkiem sporo, przede wszystkim na stronach Institute for Public Relations, w polskich książkach i czasopismach – pojedyncze rozdziały czy artykuły. Zrobiłam pierwszy mini-sondaż, razem z portalem piar.pl. To był już jakiś trop. Wiedziałam, że mam temat do dalszej pracy naukowej. Gdy egzaminy na studia doktoranckie dwóch warszawskich uczelni zakończyły się niepowodzeniem i gotowa już byłam zrezygnować, koleżanka z pracy (Iwona Kubicz – jeszcze raz wielkie dzięki) poradziła mi zgłosić się do prof. Jerzego Olędzkiego z dziennikarstwa UW. Profesor przyjął, wysłuchał, zaczęliśmy współpracę. Z mojej strony było to tworzenie listy lektur, godziny spędzone w internecie, w bibliotekach, podpytywanie osób z dłuższym od mojego stażem branżowym, prace nad tematem mojej pracy i koncepcją badawczą – a potem kolejne spotkania i dyskusje z Profesorem.

W 2004 r. zaczęłam uczęszczać na seminarium doktorskie u Profesora w Zakładzie Komunikacji Społecznej Instytutu Dziennikarstwa. W tym czasie, w kolejnej firmie, poznawałam założenia przyświecające tworzeniu strategii public relations i tworzyłam tym strategii całe mnóstwo (jestem wdzięczna mojej ówczesnej szefowej, Annie Czaplickiej, za powierzenie mi tego zadania, bo jak się okazało później, bez strategii w ogóle nie można mówić o mierzeniu efektów działań PR). W 2005 r. złożyłam dokumenty na zaoczne studium doktoranckie Wydziału Nauk Politycznych i Dziennikarstwa UW – i tym razem zostałam przyjęta. Trzy lata studiów, egzaminy, godziny przegadane z koleżankami i kolegami z roku przy piwie w Browarmii i innych okolicznych knajpach – zwłaszcza prof. A. Miś i jego zajęcia z filozofii pobudzały do stawiania kolejnych pytań i ostrych debat. W 2006 r. otwarcie przewodu doktorskiego, ostateczny tytuł mojej rozprawy został ustalony na “Metody pomiaru i oceny rezultatów działań public relations stosowane w Polsce”.

W międzyczasie poszukiwania literatury po bibliotekach, praca nad kolejnymi rozdziałami, dwukrotnie odrzucony przez ministerstwo wniosek o grant na książki z zagranicy (najbardziej rozbawiło mnie pytanie recenzenta grantu do załączonej wyceny: “dlaczego ta literatura jest taka droga?”). Z pomocą przyszła moja siostra, Aleksandra Makojnik, która sprezentowała mi kluczową książkę J. E. Gruniga i T. Hunta. Poszukując w sieci reszty książek odkryła, że ich bardzo duże fragmenty są dostępne przez Google Books. W tym czasie intensywnie zaczęła się też rozwijać branżowa blogosfera amerykańska i inne social media (co pozwoliło mi na bieżąco śledzić debatę branżową toczącą się w Stanach). Prace nad moim doktoratem wyraźnie nabrały tempa. Uczestnictwo w wydarzeniach organizowanych przez AMEC również były ogromnym impulsem – poznałam ludzi, których nazwiska były mi doskonale znane z bibliografii i przypisów, ale też spotkałam się z ich strony z ogromną życzliwością, gdy opowiadałam im o tym co robię (na przykład Tom Watson udostępnił mi spis literatury, z której korzystał pisząc “Evaluating public relations”).

Dwa ostatnie lata, to oddawanie i szlifowanie kolejnych rozdziałów, przeprowadzenie badania, ostateczne poprawki nad pracą. Tutaj wielkie dzięki dla Michała Kosmulskiego, który wnikliwie przeczytał całość i podzielił się ze mną swoimi uwagami i sugestiami – a niekiedy przez żartobliwe komentarze zachęcał do większego dystansu do własnego dzieła Jak również dla mojej Mamy i Taty (szkoda, Tato, że nie doczekałeś) oraz wszystkich przyjaciół i znajomych, którzy częstymi pytaniami o doktorat skłaniali do dalszych wysiłków. Że o samym Profesorze (który, jak trzeba było, też przypilnował i zmotywował), już nie wspomnę… To było siedem naprawdę ważnych lat i dużo się w ciągu nich nauczyłam. Jeszcze raz dziękuję.

A teraz pozostaje czekać na obronę.

Czuję się coraz bardziej jak fundamentalistyczny kaznodzieja nawołujący do zaprzestania grzechu, różnica jest jednak taka, że nawołuję do mierzenia efektów działań w praktyce PR. Tak jak każdy jest przeciwko grzechowi, PR-owcy, z którymi rozmawiam, są za prowadzeniem pomiaru. Jednak ludzie wciąż grzeszą, a PR-owcy wciąż nie robią badań.
J. E. Grunig

To cytat, który wybrałam do zakończenia mojej rozprawy doktorskiej. Właśnie poszła do druku wersja do korekty…

Zwolnienie lekarskie i późniejszy natłok pracy firmowej wyłączyły mnie na dwa tygodnie z regularnego aktualizowania bloga. Niemniej wróciłam do wirtualnego świata. W tej chwili dość intensywnie pracuję nad moją rozprawą doktorską. Przez dwa ostatnie tygodnie na tapecie był temat ankiety – budowa i testowanie narzędzia badawczego. Skorzystałam z serwisu Moje-Ankiety.pl. Jak na razie, jestem zadowolona, chociaż wysłałam administratorom serwisu dużego maila z sugestiami zmian i poprawek. Bardzo szybko mi odpisali, że w styczniu przyszłego roku planują aktualizację serwisu i poprawienie niedociągnięć. Zdecydowałam się przeprowadzić badanie posługując się obecną wersją ankiety. Czas i promotor coraz bardziej mnie gonią.

Problem, jaki napotkałam, to brak opisanej populacji osób, zajmujących się zawodowo public relations w Polsce, tak aby można było wylosować próbę do badania. Mamy kilka organizacji branżowych gromadzących dane swoich członków, a także specjalistycznych portali, które posiadają licznych użytkowników. To, co mi pozostało, to wybór którejś z już istniejących baz, na tyle dużej, aby móc zgromadzić liczny materiał badawczy. Rzecz jasna, wyniki ankiety będą dotyczyły tylko zbiorowości osób, które wypełniły ankietę. W pierwszym rzucie zdecydowałam się na InternetPR.pl – jest to liczba grupa osób, które utożsamiają się z public relations (skoro zapisały się na listę branżową). Dzisiaj wysłałam na listę prośbę o wypełnienie ankiety.

Jeśli ktoś z Was, drodzy Czytelnicy, bierze udział w dyskusjach społeczności InternetPR.pl – będę bardzo wdzięczna za udział w badaniu. Z góry dziękuję!

• prezentacja na IAB Update, 16 września w Warszawie (przygotowywana wspólnie z Olgą Kamińską, naszą dzielną PR manager);
• prezentacja na “V Kongres Public Relations” w dniach 22-23 września odbywający się w Warszawie i organizowany przez Informedia Polska (na którą również zapraszam);
• wystąpienie na konferencję “Public Relations w komunikowaniu społecznym i marketingu”, odbywającą się w dniach 25-26 września w Warszawie i organizowaną na moim macierzystym Wydziale Dziennikarstwa i Nauk Społecznych Uniwersytetu Warszawskiego (na którą również zapraszam);
• szkolenie zamknięte dla przedstawicieli organizacji pozarządowych dotyczące promocji NGOs;
• badanie do mojej rozprawy doktorskiej (niedługo będę informować, że ruszyło i prosić o wypełnienie ankiet);
• i fragment większej pracy na temat… to na razie tajemnica

A do tego dostałam się do Szkoły Trenerów House of Skills, którą rozpoczynam w październiku b.r. Pomijając natłok pracy firmowej – wakacje się skończyły i bardzo wyraźnie odczuliśmy wszyscy podkręcenie obrotów

Druga z koncepcji, która w literaturze przedmiotu nie figuruje jako osobny model pomiaru efektu PR (a w zasadzie powinna, to podejście Jona White’a). Przedstawił on program public relations jako kolejne etapy, a następnie tym etapom przypisał poszczególne typy badań:

• Etap 1 – początek. Działania PR – badania, analiza, planowanie i rozwój programu, wdrożenie i ocena – są ustalane na bieżąco, przyczynkiem do czego może być pojawienie się jakiejś okazji, problemu lub trudności lub potrzeby wsparcia całościowych celów organizacji;
• Etap 2 – okres negocjacji pomiędzy przełożonym a specjalistą PR, lub też w grupie zarządu, aby wyjaśnić cele, sytuację i możliwe kierunki działań. W tym czasie badania powinny dostarczać informacji. Ten okres jest kluczowy dla rozwoju efektywnych programów PR. Na tym etapie powinien zostać osiągnięty consensus uwzględniający daną sytuację, cele, odpowiednie momenty oceny i ocenę końcową;
• Etap 3 – w tym etapie na podstawie osiągniętej zgody, można wybrać działania, które mają pozwolić na osiągnięcie założonych celów. Badanie wstępne może być konieczne, aby ustalić precyzyjne i mierzalne cele oraz przetestować i wybrać spośród alternatywnych kierunków działania;
• Etap 4 – podczas wdrażania programu, kontrola jego przebiegu lub inne badania mogą być przeprowadzone równolegle z działaniami PR. Analiza treści przekazów medialnych na tym etapie służy sprawdzeniu, czy przekazy pojawiające się w mediach są tymi, które były uznane za ważne podczas wcześniejszych dyskusji nad zawartością programu PR;
• Etap 5 – ocena programu. Bierze pod uwagę cele programu, rezultaty tymczasowych pomiarów postępu w realizacji celów, resultaty miar wpływu na postawy i zachowania kluczowych publiczności.

Ten model jest podobny do “tradycyjnych” modeli i modelu EEIA Dona Bartholomew pod tym względem, że zakłada etapowość pojawiania się efektów działań PR, jest chronologiczny – zaczyna od najwcześniejszych efektów, kończy na tych, które pojawiają się najpóźniej. Różni się natomiast tym, że nie ma własnych nazw dla etapów, a wiąże badania z poszczególnymi etapami programu PR.

Źródło: White J., „How to understand and manage public relations: a jargon-free guide to public relations management”, Business Book Limited, London 1991.

Ale gdy podczas pisania rozprawy znajduję kolejnego kwiatka, to jak mam się nie czepiać? Założyłam nawet osobną kategorię na ciekawe cytaty, które znajduję w literaturze: “Złote myśli”. Będę tutaj publikować (i krytykować) co ciekawsze odkrycia.

Żeby nie było. Jestem ogromną fanką książki Barbary Rozwadowskiej “Public relations. Teoria, praktyka, perspektywy”, wydanej w 2002 roku przez Studio Emka. Została napisana prosto i przystępnie. Nawet początkujący praktyk jest w stanie na jej podstawie zrobić coś, czego nigdy wcześniej nie robił – dzięki tej książce udało mi się między innymi przygotować zalecenia sponsoringowe dla jednego z moich klientów, choć nigdy wcześniej tego nie robiłam.

Tym razem zaglądam do Rozwadowskiej, pisząc rozprawę, do rozdziału poświęconego pomiarowi efektywności. Cytat pierwszy:

Efektu tych działań [public relations - przyp. A. M.] nie da się zmierzyć ilościowo (na przykład wyrażając go wielkością sprzedaży), a jedynie jakościowo (zmiany w nastawieniu opinii publicznej)

i cytat drugi:

Efekt działań public relations pozostaje w sferze opinii, a zatem nie da się go zmierzyć matematycznie, a jedynie jakościowo

Z tego stwierdzenia wynikałoby, że opinii (w znaczeniu: opinia publiczna) w ogóle nie można badać, a jeśli już – można to robić wyłącznie za pomocą badań jakościowych. A co w takim razie ze społecznymi badaniami ilościowymi, które bazują na statystyce i matematyce właśnie?

Z kolei opinii, że PR nie da się zmierzyć ilościowo (jeśli przez ilościowo rozumieć wyniki przedsiębiorstwa, na przykład wyniki sprzedaży), przeczy rozwój analizy wskaźnikowej w badaniach public relations (modny ostatnio ROI) i udane próby skorelowania wskaźników w rodzaju Share of Discussion z wynikami sprzedaży. Tutaj jednak jestem w stanie jeszcze zrozumieć, że gdy Rozwadowska pisała tę książkę to był 2001 rok, zachodnioamerykańscy PR-owcy blogów jeszcze nie pisali, a prace nad Share of Discussion były jeszcze w powijakach.

I jeszcze jeden cytat:

Skutki public relations zauważa się dopiero po jakimś czasie, przy czym nigdy do końca nie wiadomo, po jakim.

Spostrzegawczy i doświadczony praktyk PR dla media relations przyjąłby okres pół roku od momentu rozpoczęcia oficjalnej komunikacji z mediami. Jest to czas, w którym dziennikarze otrzymujący materiały prasowe przyzwyczajają się, że dana firma regularnie się z nimi komunikuje, a także nabierają do niej jako takiego zaufania. Przydałoby się oczywiście jeszcze sprawdzić to empirycznie, a także dokonać pomiarów dla innych narzędzi public relations (niniejszym zakładam też nowy tag “nowe kierunki badań w public relations”, gdzie będę spisywać wszelkie pomysły na ten temat – może w przyszłości uda mi się je zrealizować).

Lawrence Nolte nie jest cytowany przez literaturę przedmiotu jako autor kolejnego modelu pomiaru PR. Jednak to, co proponuje w swojej książce “Fundamentals of public relations: professional guidelines concepts and integrations” wpisuje się zarówno we wcześniejsze, jak i późniejsze, koncepcje modelowe pomiaru efektów działań PR. Definiuje on bowiem kolejne etapy pomiaru działań PR, podobnie jak czynili to autorzy innych modeli. Inaczej nazywa etapy pomiaru. Zakłada też, że negatywna ocena na którymkolwiek z etapów świadczy o nieskuteczności całej kampanii PR.

A tak wygląda propozycja etapów pomiaru działań PR według Nolte:

• produkcja – ile materiałów informacyjnych zostało napisanych, ile wydrukowano ulotek, wyprodukowano filmów, wysłano listów, wygłoszono prezentacji itd. Te liczby pokazują ile pracy zostało wykonane i jej całkowity koszy. Ale, jak zaznacza Nolte, jest to zaledwie pierwszy etap oceny.
• dystrybucja – pokazuje, co stało się z produkcją. Mówi, jak wiele kopii materiałów informacyjnych zostało wysłanych i do kogo, co stało się z ulotkami po tym jak zostały już wydrukowane, ile osób widziało filmy, otrzymało listy, było uczestnikami prezentacji. Te liczby pokazują, ile z produkcji trafiło do użytku i miało szansę zadziałać. Do pewnego stopnia jest to też miara efektywności samych PR-owców. Zapewnia, że publiczność odebrała przekazy i że czas oraz pieniądze nie zostały całkowicie stracone, ale jest tylko krokiem dalej w ocenie.
• zainteresowanie -  w przypadku większości działań PR można zastosować miary pokazujące, jak dana aktywność jest interesująca dla grupy docelowej. Wycinki prasowe pokazują nie tylko, że materiały informacyjne zostały opublikowane, ale przez kogo, i jak bardzo zostały zmodyfikowane (i przez to mogą pokazywać, czy były przygotowane w sam raz, czy też były zbyt długie). Podobnie można stwierdzić w przypadku audycji radiowych i telewizyjnych. Dodatkowo może pomóc analiza czytelnictwa prasy i oglądalności programów (a także statystyki ruchu na stronie www – przyp. A.M.). Nolte wspomina także o ekwiwalencie reklamowym, chociaż nie nazywa go w ten sposób. Do miar zainteresowania zalicza też prośby o ulotki, czy rodzaj i liczbę pytań zadawanych na spotkaniach.
• zasięg – istotne, zdaniem Nolte, jest też to, do kogo trafia informacja. Zazwyczaj materiały public relations są zaplanowane i adresowane do określonych grup docelowych. Jeśli są to właściwe grupy, działania są bardziej efektywne, niż gdyby dotarły do dowolnych osób. Pytanie, które musi być zadawane przy pomiarze zasięgu, powinno brzmieć: „czy przekaz dotarł do odpowiednich osób?”.
• zrozumienie – jakikolwiek przekaz PR musi być zrozumiany, jeśli ma być efektywny. Jeśli publiczność nie rozumie przekazu (nawet jeśli ocena na poprzednich etapach była pozytywna) kampania PR nie odniosła sukcesu. Tutaj jako sposób oceny Nolte wymienia testy zrozumienia przekazu, polegające na ocenie zapamiętania i rozumienia głównych przekazów.
• opinia – jedną, jedyną miarą efektywności działań PR jest wpływ na opinię konkretnej grupy docelowej. Koniecznie należy znać stopień wyeksponowania przekazu dla publiczności. Pomiar na tym etapie prowadzi się za pomocą badań sondażowych (często w formie badań wstępnych i badań po zakończeniu kampanii) na próbach reprezentatywnych (aby można było porównywać wyniki).

Źródło: Lawrence W. Nolte, “Fundamentals of public relations: professional guidelines concepts and integrations”, Pergamon Press, New York 1991.

Właśnie przeglądam artykuły i książki, które odnoszą się do rozdziału trzeciego, poświęconego pomiarowi efektów działań public relations. I taki oto smaczny cytat znalazłam:

Bardzo trudnym medium do jakiejkolwiek analizy jest internet. Prawdopodobnie w miarę rozwoju internetu monitorowanie go stanie się jeszcze trudniejsze. Niełatwo oszacować znaczenie poszczególnych publikacji w internecie w porównaniu na przykład z tradycyjnymi mediami. Monitorowanie internetu może się więc stać odrębną dziedziną, wymagającą odpowiednich narzędzi i kryteriów pomiaru.
Agnieszka Łuba, “Konieczność czy niepotrzebny wydatek?”, IMPACT nr 6/2003

A ja powiem tak. Monitoring internetu jest łatwiejszy niż monitoring mediów tradycyjnych i w miarę rozwoju internetu jego monitorowanie staje się coraz łatwiejsze. Nie musimy czekać, aż pismo dotrze z prenumeraty, jak tylko publikacja pojawia się na jakiejś stronie, od razu jest dostępna w systemie monitorującym sieć (oczywiście, monitoring internetu, jak każda technologia, też ma swoje ograniczenia).

Co więcej, w internecie łatwo jest dokonywać pomiaru. Przykładowo, wypuściliśmy ostatnio informację prasową o naszym nowym rozwiązaniu plus mailing do bazy – ruch na naszej stronie w ciągu kolejnych dwóch dni wzrósł dwukrotnie (co zauważyliśmy poprzez nasz system statystyk). Co do kryteriów pomiaru. Jeśli mamy do czynienia z treściami pochodzącymi z portali informacyjnych, które są odpowiednikiem prasy w świecie wirtualnym, analizuje się je w zasadzie tak samo, jak treści z mediów tradycyjnych. Oczywiście, są pewne wyjątki – w internecie materiał może być dodatkowo okraszony na przykład nagraniem lub filmikiem, a nie tylko zdjęciem. Nie mamy jednak zbyt wielu badań mówiących, jakie teksty mają szansę być bardziej zauważone przez odbiorców (co może być na przykład odpowiednikiem lewej strony w gazecie?). Nie wiemy jeszcze, co należy analizować w wypowiedziach pochodzących z forów czy blogów i jak obliczyć ich “siłę rażenia”. To wciąż jest cały wielki obszar, który dopiero domaga się przebadania (aczkolwiek Amerykanie już nad tym mocno pracują).

Rozprawa doktorska (”Pomiar i ocena efektów działań PR w Polsce”) - jestem na finiszu drugiego, wydaje mi się, że najtrudniejszego rozdziału, “Badania w PR”. Piszę w nim o metodologii badań stosowanej w PR, tym, czy public relations może być uznawane za naukę, a także o powiązaniach naszej metodologii z innymi, pokrewnymi dyscyplinami. Trudne, bo do tej pory w żadnym ze znanych mi źródeł polskich i zagranicznych, nikt takiej analizy nie przeprowadził. Ale za to jaka satysfakcja. W planach na najbliższy tydzień, poza delegacją, ostateczne uzupełnienia i redakcja rozdziału. Spodziewam się go oddać w ostatnim tygodniu kwietnia (i od razu wziąć się za rozdział trzeci).

Kolejne ważne wydarzenie. Projekt, na którym moi koledzy i ja pracowaliśmy przez ostatni rok i kwartał, ujrzał nareszcie światło dzienne. Nasz autorski system monitoringu blogów i forów, NewsPoint UGC, jest już oficjalnie dostępny. Właśnie ogłosiliśmy jego rynkową premierę. Teraz czeka nas okres wytężonej pracy, i nad rynkiem, i nad ulepszeniami i rozwojem samego systemu (w planach mamy jego dalszy rozwój o kolejne typy treści).

A jutro wyruszam na Kongres PR w Rzeszowie. Jak zapowiadają organizatorzy, w tym roku spodziewana jest rekordowa frekwencja…

Ostatnimi czasy dość mocno pochłania mnie mój doktorat (piszę rozprawę doktorską na temat “Pomiar i ocena rezultatów działań public relations w Polsce”) i jemu jest podporządkowana każda moja wolna chwila (co widać też po blogu). Jak wiadomo, transfer wiedzy w public relations idzie do nas ze Stanów, ale też i z innych krajów europejskich – przede wszystkim Wielkiej Brytanii i Niemiec. Stamtąd wywodzą się też najbardziej klasyczne publikacje książkowe, zawierające podstawy teorii public relations. W polskich bibliotekach praktycznie ich nie ma (sprawdzałam przez centralny katalog Biblioteki Narodowej). Można je sprowadzić z biblioteki zagranicznej, ale wówczas są dostępne na miejscu w godzinach pracy wypożyczalni (na przykład 10-17 i spróbujcie to teraz pogodzić z pracą zawodową). Kupno zagranicznych książek jest niestety bardzo drogie. Jedna książka ściągana ze Stanów to koszt oscylujący pomiędzy 150 a nawet i 1100 PLN, a obecnie słaba złotówka nie ułatwia życia. Bezskutecznie starałam się o grant promotorski w Ministerstwie Nauki i Szkolnictwa Wyższego, na książki do doktoratu właśnie. Powód odrzucenia wniosku brzmiał, jak następuje: dlaczego ta literatura jest taka droga? Sama chciałabym to wiedzieć…

Ale okazuje się, że i na literaturę jest sposób. Wystarczy mieć konto w poczcie Google i przez nie zalogować się na stronę Google Books. Google Books to rodzaj wyszukiwarki książek, która zawiera zeskanowane fragmenty książek. Literatury przedmiotowej z zakresu public relations, komunikowania społecznego i marketingu jest tam całe mnóstwo. Co prawda, wyszukiwarka ze względów prawnych wzbudza kontrowersje i miała już nawet kilka procesów. Jednak w takich sytuacjach, jak moja (doktorant z Polski chce napisać dobrą rozprawę, a nie ma dostępu do podstawowych książek), jej istnienie jest naprawdę nieocenione.