Informationsteori

Den här artikeln har källhänvisningar, men eftersom det saknas fotnoter är det svårt att avgöra vilken uppgift som är hämtad var. (2020-09) Hjälp gärna till med att redigera artikeln, eller diskutera saken på diskussionssidan.

Informationsteori är läran om hur överföring av information kan ske mest effektivt.

Den så kallade statistiska informationsteorin grundlades i mitten av 1900-talet av Claude Shannon som en del av en kommunikationsteori han utvecklade, där det informationsteoretiska begreppet entropi har en central roll. I hans teori är informationsmått ett mått på den ökade bestämningsgrad man erhåller då en mängd möjliga alternativ reduceras till en mindre mängd alternativ. Denna mäts som logaritmen av kvoten mellan antalet alternativ före och efter reduktionen.

Detta informationsmått används bland annat inom kommunikationsteori för att beräkna en kanals kapacitet att överföra information och inom kodningsteori för att beräkna redundans och graden av möjlig datakomprimering.

Exempel på områden där teorin har fått stor betydelse är telekommunikation, datateknik, rymdteknik och biologi. I de flesta fall handlar det om att sända ett komplett meddelande från en sändare till en mottagare.