Broń matematycznej zagłady to książka analityczki, Cathy O’Neil. W Stanach Zjednoczonych ukazała się już jakiś czas temu i miałam ją odłożoną na liście pozycji do kupienia w Amazonie. Tak długo z tym zwlekałam, że pojawiło się tłumaczenie książki na język polski, opublikowane nakładem Wydawnictwa PWN.

Big data entuzjazm

Sięgałam do książki na świeżo po wykładzie Michała Kosińskiego, który nie ukrywał swojej fascynacji algorytmami i tym, jak bardzo trafne może być ich przewidywanie. Znana jest mi też książka “Big data” Victora Mayer Schonenbergera i Kennetha Cukiera. Jej autorzy pisali ją również na fali dość dużego entuzjazmu wobec big data i możliwościami wynikającymi z ich analizy. Czytając ich przykłady, zastanawiałam się, czy to możliwe. Czy faktycznie jesteśmy zdeterminowani przez algorytmy i przez ich działanie, czy już nigdzie nie ma miejsca na wolną wolę. I potem przypomniała mi się jedna, prosta rzecz z metodologii: nauki społeczne są probabilistyczne, ich prawa rządzą się zasadą prawdopodobieństwa. Czyli: zawsze może zdarzyć się jakiś wyjątek i nie będziemy w stanie tego przewidzieć. Właśnie dlatego, że materią nauk społecznych jest człowiek.

Rozczarowanie Cathy O’Neill

Myślałam sobie też, że przecież trend big data, tak entuzjastycznie zachwalany przez Schonenbergera i Cukiera, musi mieć jakieś wady. I oto w Stanach chyba zaczyna się rozczarowanie nim (według Garther Hype Cycle to naturalna faza rozwoju każdej technologii), skoro na rynku pojawiła się “Broń matematycznej zagłady” Cathy O’Neill. Autorka jest z wykształcenia matematykiem. Podobnie jak mój nieżyjący tata uważała, że ta nauka, w przeciwieństwie do historii, nie jest podatna na manipulacje związane z systemem, w którym żyjemy. Do czasu. Kiedy O’Neill z uczelni przeniosła się na stronę biznesu, pracowała w funduszu hedgingowym, następnie w startupie z branży e-commerce. Coraz bardziej świadoma wpływu szkodliwych algorytmów (zwanych przez nią “Bronią matematycznej zagłady”, w skrócie Beemzetem) w różnych dziedzinach życia założyła bloga MathBabe tropiącego te algorytmy. Obecnie prowadzi własną firmę ORCAA, która zajmuje się audytem modeli matematycznych i w ten sposób walczy o większą sprawiedliwość na świecie.

Czym jest broń matematycznej zagłady

Broń matematycznej zagłady to w skrócie algorytm, analizujący duże zbiory danych (big data) i wyciągający wnioski w sposób zautomatyzowany, ale równocześnie “stronniczy”. Wyjaśnię to na przykładzie. Załóżmy, że w jakimś banku system informatyczny, który ocenia wnioski kredytowe i wybiera najlepszych, z punktu widzenia banku, kredytobiorców. Na tej podstawie organizacja przyznaje kredyt. Dobrym algorytmem byłby ten, który bazuje na historii kredytowej kandydata (skoro kiedyś wszystko spłacał w terminie, jest szansa, że tak samo podejdzie do kredytu). Beemzetem byłby taki algorytm, który bierze pod uwagę kod pocztowy miejsca zamieszkania wnioskodawcy (w Stanach miejsce zamieszkania wiąże się z warstwą społeczną). Kryteria działania beemzetu są znane tylko twórcom systemu i są dość niejasne, nawet nie osobom obsługującym go. Beemzet jest też podatny na uprzedzenia, brak zrozumienia oraz stronniczość. W omawianym przykładzie, w efekcie działania beemzetu, kredytu nie dostaje osoba z gorszej dzielnicy. Dałby jej większe możliwości życiowe, a tak trwa w ubóstwie. Beemzety są niesprawiedliwe – premiują bogatych, biednym nie pozwalają się na wyzwolenie się ze swojego położenia. Beemzety karzą też niesłusznie osoby, które dobrze wypełniają swoje obowiązki zawodowe. Od beemzetu nie można się odwołać ani z nim dyskutować, jego rozstrzygnięcia są ostateczne.

Beemzet ewaulacyjny

Big data jest u nas na fali wznoszącej, więc z pewnością sporo ich już u nas działa i sporo jeszcze powstanie. Dlatego wszystkim, którzy interesują się big data, polecam uważną lekturę książki Broń matematycznej zagłady i zastanawianie się, czy istnieje szansa, że ich algorytm może wywrzeć negatywny wpływ na życie jakiejś grupy ludzi. Sama z beemzetami zetknęłam się kilkakrotnie. Po pierwsze, pojawiały się w systemach ewaluacji pracowniczej. Jeśli taki system jest beemzetem, posiada wyjątkowo nieprzejrzyste kryteria. O takich systemach pisze O’Neil, podając jako przykład systemy punktacji dla nauczycieli, stosowane przez szkoły.

Dodam, że przy beemzetach często co mówi oficjalna dokumentacja precyzująca kryteria oceny, co innego – dodatkowe i nigdzie niezapisane warunki oceny. Pojawiają się one wtedy, gdy za dużo osób zaczyna spełniać kryteria. Oto przykłady. Historia 1. Szef za wyrobienie określonych budżetów obiecał pracownikom samochody służbowe. Ponieważ ludzi to bardzo zmotywowało i okazało się, że większa liczba osób spełniła kryterium wysokości budżetu, szef ogłaszając wyniki kwartalnych starań oznajmił: “ale miałem na myśli budżet NETTO”. Historia 2. W pewnej organizacji do oceny pracowniczej liczył się m. in. udział w konferencjach branżowych. Jako potwierdzenia wymagano pisma od organizatorów. Kiedy okazało się, że pracownicy nader chętnie biorą udział w konferencjach, dział ewaluacji postanowił uznać tylko te wydarzenia, dla których pracownicy dostarczyli pisma, ale też oryginalne programy konferencyjne.

Tak właśnie działają beemzety.

Beemzet rekrutacyjny

W książce Broń matematycznej zagłady O’Neil jako przykłady beemzetów podaje też algorytmy oprogramowania wykorzystywanego do selekcji kandydatów do pracy. Czytając to, skojarzyło mi się coś, z czym sama się zetknęłam, a co wygląda dokładnie jak beemzet – jest nieprzejrzyste, a decyzje są tak samo nieodwołalne. Chodzi mi o słynne “testy myślenia analitycznego” czy “kompetencji językowych”, które piszą kandydaci startujący do pracy w międzynarodowych korporacjach. Chociaż mam silne umiejętności analityczne i najwyższe możliwe kompetencje językowe (co wychodziło mi w profesjonalnych testach przeprowadzanych przez psychologów), przez testy korporacyjne nie przeszłam ani razu. Tak jak inne, znane mi i dobrze wykształcone osoby.

Moje najbardziej przykre starcie z beemzetem dotyczyło jednej z międzynarodowych korporacji. W 1999 roku starałam się u nich o praktykę. Pisałam “test myślenia analitycznego”, którego oczywiście nie zdałam. Prowadzący poinformowali o tym, że ten test można pisać tylko raz, i jak ktoś go nie zda, nie ma co startować ponownie. W 2007 ogłosili rekrutację na stanowisko PR-managera. Ponieważ spełniałam kryteria, wysłałam dokumenty. Zaprosili mnie na spotkanie, więc uznałam, że może coś się zmieniło. Niestety. Spotkanie okazało się pisaniem testu. Już na sali prowadzący zapytał, czy ktoś kiedykolwiek pisał dla nich ten test i go nie przeszedł. Ponieważ chciałam być uczciwa i się przyznałam – zostałam wyproszona z firmy.

Jednego do dzisiaj moim ograniczonym rozumem pojąć nie mogę: po co PR managerowi umiejętność szybkiego rozwiązywania zadań matematycznych? Pracuję w tej branży od siedemnastu lat i do tej pory w pracy nie robiłam niczego, co byłoby do tego podobne. Dziwnym trafem najlepiej radzę sobie też z tematami, które wymagają sporej dawki myślenia analitycznego: PR w sektorze nowych technologii.

Człowiek, głupcze!

To, co tracą z oczu twórcy beemzetów, to konkretny człowiek i jego sytuacja. I to o niego właśnie walczy autorka książki Broń matematycznej zagłady – aby tworzyć takie algorytmy, które nie będą dyskryminować ludzi biedniejszych, słabszych, mieszkających w “nie takich” dzielnicach, będących “nie takiego” koloru skóry. Modele matematyczne działające praktycznie wszędzie – od wyboru uczelni, po wybór pracy, ubezpieczenia, kredytu mogą utrwalać klasowe pozycje tych słabszych, wręcz karać ich za biedę. O’Neil jest też za tworzeniem modeli, które opierają się na konkretnych i przejrzystych kryteriach – jak modele wykorzystywane przez trenerów sportowych, które analizują zachowanie zawodników w przeszłych rozgrywkach i otrzymują konkretne wskazówki, co zrobić, aby poprawić swoją grę. Takim przykładem na polskim rynku byłoby narzędzie Sotrender, który analizując przeszłe działania adminstratora fanpejdża, podpowiada mu rzeczy do zoptymalizowania.

Ciekawostka dla tych, którzy widzieli wystąpienie Michała Kosińskiego na Blog Forum w Gdańsku. To Cathy O’Neil podeszła krytycznie do stworzenia przez niego algorytmu, który po rysach twarzy ocenia, czy dany mężczyzna jest gejem. Stwierdziła, że największym problemem jest to, w jaki sposób i przez kogo taki algorytm może zostać użyty. Tutaj jej opinia na temat badania Kosińskiego: ’Gaydar’ Shows How Creepy Algorithms Can Get.

Podsumowując ten mój nieco długawy wywód, książkę Cathy O’Neil warto przeczytać. Zmusza do przemyślenia. Daje mocną kontrę do entuzjastycznych zapewnień ekspertów, że dzięki automatycznej analizie dużych zbiorów danych teraz już będziecie zawsze dokonywali dobrych wyborów. Nie będziecie. Jeśli algorytm jest skonstruowany źle, dokona wyboru za was i nawet o tym nie będziecie wiedzieli.