Térjünk vissza ahhoz a példához, amikor a Barkochbát játszó játékosok abban állapodnak meg, hogy csak 512 keresztnév egyikére lehet gondolni. Ebben az esetben, mint láttuk, a kérdező bizonytalansága a kérdezés megkezdése előtt 9 bit. Közelebbről megvizsgálva a kérdést, könnyű észrevenni, hogy amikor ezt beláttuk, tulajdonképpen hallgatólagosan feltettük, hogy az 512 keresztnév mindegyikére ugyanolyan valószínűséggel gondolt a felelő (pl. az 512 keresztnevet egy-egy cédulára felírja, e cédulákat egy kalapba teszi, megkeveri és találomra kihúz egy cédulát, és az azon álló keresztnévre gondol). Ha ez nem így van, akkor állításunk nem érvényes és módosításra szorul. Ha pl. a felelő annak a személynek a keresztnevére gondol, akivel legutoljára beszélt telefonon, nem jogosult az a feltevés, hogy mind az 512 keresztnév egyformán valószínű, hiszen az egyes keresztnevek gyakoriságai erősen eltérnek. Sokkal valószínűbb, hogy azt, akivel beszélt, Évának, Jánosnak, Andrásnak vagy Máriának hívják, mint hogy Anasztáziának, Szerafinnak, Kleofásnak vagy Upornak. Vizsgáljuk tehát meg a következő, az eddig tárgyaltnál általánosabb kérdést: Jelöljék

x 1 ,

[D]

x 2 , …,

[D]

x N azokat a különböző „dolgokat”, amelyekre a Barkochba játéknál gondolni lehet. (

[D]

x 1 ,

[D]

x 2 , …,

[D]

x N lehetnek nevek vagy általában szavak, számok, tárgyak stb.) Tegyük fel, hogy a kérdező tudja, hogy ezekre a dolgokra a másik játékos milyen valószínűséggel szokott gondolni; jelölje

[D]

P k annak a valószínűségét, hogy a másik játékos

[D]

x k -ra gondolt. (Ez esetben természetesen a

[D]

P k számok pozitívak, és

[D]

P 1 + P 2 + … + P N = 1 ; ez azt fejezi ki, hogy másra, mint

[D]

x 1 ,

[D]

x 2 , …,

[D]

x N valamelyikére, nem gondolhat a „felelő” a játékosok megállapodása szerint.)

Kérdés, mekkora ebben az esetben a kérdező bizonytalansága a kérdezés megkezdése előtt? E szám nyilván csak a

P 1 ,

[D]

P 2 , …,

[D]

P N valószínűségektől fog függeni, és

[D]

x 1 ,

[D]

x 2 , …,

[D]

x N -től nem (hiszen pl. teljesen mellékes, hogy magára a gondolt keresztnévre gondolok-e, vagy a keresztnév sorszámára a keresztnevek egy listájában). Így tehát

[D]

x k -t mindig helyettesíthetjük

[D]

k -val, azaz

[D]

x k sorszámával, más szóval feltehetjük, hogy az

[D]

x 1 ,

[D]

x 2 , …,

[D]

x N sorozat az 1, 2, …,

[D]

N számok sorozata. Jelölje a szóban forgó bizonytalanságot

[D]

H ( P 1 , P 2 , … , P N ) . A

[D]

H ( P 1 , P 2 , … , P N ) számot a

[D]

P 1 , P 2 , … , P N valószínűségeloszlás entrópiájának nevezzük. C. Shannon (és tőle függetlenül N. Wiener) megmutatta, hogy

A (4) képletet Shannon-féle formulának nevezik.^[37] A Shannon-formula helyességét először egy példán keresztül mutatjuk be. Vizsgáljuk a következő példát! Tegyük fel, hogy az első játékos a játék előtt két pénzdarabot feldob úgy, hogy ő látja, de a kérdező nem látja a dobás eredményét. A kérdezőnek azt kell kitalálni, hogy a dobások eredménye 1. mindkét érmével fej, 2. mindkét érmével írás, vagy 3. az egyik érmével fej, a másikkal írás volt-e. A harmadik lehetőségen belül nem teszünk különbséget aközött, hogy melyik érmével dobott a játékos fejet és melyikkel írást (a két érmét ugyanis egyformának tételezzük fel, amikor is e két eset valójában nem is különböztethető meg).

Így tehát az 1, 2 és 3 lehetőségek valószínűségei

P 1 = 1 4 ,

[D]

P 2 = 1 4 ,

[D]

P 3 = 1 2 . Nyilván a kérdező a következőképpen járhat el. Először megkérdezi, hogy a harmadik eset következett-e be; ha a válasz igenlő, már ki is találta, hogy mi történt, csak nemleges válasz esetében kell feltennie a második kérdést, ti. hogy a második lehetőség következett-e be. Így tehát az eseteknek kb. a felében 1 kérdéssel, a másik felében 2 kérdéssel ér célhoz, vagyis átlagban

[D]

1 + 2 2 = 1,5 kérdéssel ki tudja találni, hogy mi történt.

Míg tehát, ha 3 lehetőség valószínűsége egyenlő, mint láttuk, átlagban

log 2 3 = 1,584 96 … kérdésre van szüksége, ha e lehetőségek valószínűségei

[D]

1 4 , 1 4 , 1 2 , akkor átlagban 1,5 kérdés is elegendő. A Shannon-formula erre az esetre nézve ugyanazt az eredményt adja, mivel

A tárgyalt példa alapján már kitalálhatjuk, hogy ha a számításba jövő lehetőségek nem egyformán valószínűek, akkor nem arra kell törekednünk, hogy kérdéseinkkel a lehetőségek számát csökkentsük a felére, hanem arra, hogy a még fennmaradó lehetőségeket úgy csoportosítsuk két osztályba, hogy a két osztályba sorolt lehetőségek valószínűségeinek összege legyen egyenlő (vagy ha ez nem lehetséges, közel egyenlő). Az előbbi példában ez pontosan keresztülvihető volt; az általános esetben ez nem mindig érhető el; tetszőlegesen megközelíthető azonban az ilyen kérdezési módszer akkor, ha megint arra kérjük a másik játékost, hogy ne egy dologra gondoljon, hanem egyszerre sokra, és ezeket együtt igyekszünk kitalálni. Ennek szabatos bizonyítása hosszadalmas, ezért a bizonyításnak csak a gondolatmenetét vázoljuk, a részletek kidolgozása nélkül.

Ha az első játékos

n -szer egymás után gondol az

[D]

x 1 ,

[D]

x 2 , …,

[D]

x N dolgok egyikére, és minden alkalommal az

[D]

x k -t

[D]

( k = 1 , 2 , … , N )

[D]

P k valószínűséggel választja (az előző választásoktól függetlenül), akkor a nagy számok törvénye szerint körülbelül

[D]

n P 1 -szer fogja

[D]

x 1 -et,

[D]

n P 2 -ször

[D]

x 2 -t, …,

[D]

n P N -szer

[D]

x N -et választani, és a gondolt dolgok minden egyes valószínű sorozatának valószínűsége ennek megfelelően körülbelül

[D]

P 1 n P 1 ⋅ P 2 n P 2 ⋅ … ⋅ P N n P N lesz.

Jelölje

S a valószínű sorozatok számát, akkor tehát (mivel a valószínűtlen sorozatok együttes valószínűsége igen kicsiny és így a valószínű sorozatok együttes valószínűsége közel 1 lesz),

vagyis

E közül a

S , közel egyenlő valószínűségű sorozat közül egyet nyilván körülbelül

[D]

log 2 S kérdéssel tudunk kitalálni, és így átlagban egy gondolt dologra

[D]

1 n log 2 S kérdés jut.

Viszont (5)-ből

Tehát a Shannon-formula valóban megadja, hogy átlagban körülbelül hány kérdéssel lehet majdnem biztosan kitalálni, hogy a másik játékos

x 1 ,

[D]

x 2 , …,

[D]

x N közül melyikre gondol.

Figyeljük meg, hogy ebben az esetben már nem állíthatjuk, hogy

H ( P 1 , P 2 , … , P N ) (ill. annál tetszőleges kevéssel több) kérdés biztosan elegendő átlagban a gondolt dolog kitalálásához, csak azt, hogy ennyi kérdéssel 1-hez tetszőlegesen közeli valószínűséggel („majdnem biztosan”) ki tudjuk azt találni. Ez azonban inkább csak elvileg jelent különbséget.