Zakon malih brojeva: zašto tri zadovoljna kupca i jedna loša recenzija ne znače ništa

Krajem 1990-ih, Fondacija Bila i Melinde Gejts uložila je veliki novac u ideju o malim školama. Analize su pokazale da su među najuspešnijim školama u SAD male škole natprosečno zastupljene. Logičan zaključak: male škole su bolje. Ali kada su statističari pogledali i najlošije škole, i tu su male škole bile natprosečno zastupljene. Male škole nisu bile ni bolje ni lošije. Bile su promenljivije, zato što u maloj školi nekoliko izuzetnih ili slabih učenika jako pomera prosek. Fondacija je kasnije promenila pristup. Ovu priču, između ostalih, prepričava Danijel Kahneman u knjizi „Misliti, brzo i sporo”.

Šta je zakon malih brojeva

Amos Tverski i Kahneman su 1971. objavili rad sa ironičnim naslovom „Verovanje u zakon malih brojeva”. U statistici postoji zakon velikih brojeva: što je uzorak veći, to je prosek bliži stvarnoj vrednosti. Tverski i Kahneman su pokazali da ljudi, uključujući i istraživače sa obukom iz statistike, intuitivno veruju da isto važi i za male uzorke. Ne važi. Mali uzorci su skloni ekstremnim rezultatima koji ne znače ništa.

Bacite pošten novčić deset puta. Verovatnoća da ćete dobiti sedam ili više pisama je oko 17 odsto, dakle otprilike jednom u šest pokušaja. Bacite ga sto puta, i verovatnoća da će sedamdeset ili više puta pasti pismo je praktično nula.

Gde nas mali brojevi zavaravaju

• Recenzije. Proizvod sa tri ocene 5,0 nije nužno bolji od proizvoda sa 400 ocena 4,6. Prvi ima premalo podataka da bi prosek nešto značio.
• Marketinške kampanje. Dva oglasa, svaki prikazan sto puta, jedan sa četiri klika, drugi sa sedam. Razlika deluje velika, ali je verovatno slučajna.
• Zaposleni. Novi prodavac koji zaključi dva posla prve nedelje nije nužno zvezda, a onaj koji ne zaključi nijedan nije nužno promašaj.
• Lično iskustvo. „Moj deda je pušio i doživeo 90” je uzorak od jednog čoveka.
• Prvi meseci poslovanja. Odličan prvi mesec male prodavnice može biti slučajnost, kao i loš.

Kako da čitate male brojeve

• Uvek pitajte: od koliko? Procenat bez veličine uzorka je pola informacije.
• Sačekajte više podataka pre velikih odluka, kad god je to moguće. Unapred odredite koliko podataka vam treba.
• Gledajte trend, ne tačku. Jedan mesec nije pravac; šest meseci verovatno jeste.
• Očekujte promenljivost. Ekstremni rezultati u malim grupama su normalni i obično se vraćaju ka proseku.
• Koristite jednostavne alate. Postoje besplatni kalkulatori statističke značajnosti za A/B testove. Pet minuta provere štedi skupe zaključke.

Ideja koju vredi poneti

Mozak je mašina za pronalaženje obrazaca, i zato vidi priče u šumu. Mali brojevi pričaju najuverljivije priče, a najmanje znače. Pre nego što proglasite pobedu ili poraz, postavite jedno dosadno pitanje: koliko je podataka iza ovog broja? Često je odgovor da je prerano za bilo kakav zaključak.