Dywergencja Kullbacka-Leiblera

362 jpg' alt='Dywergencja_Kullbacka-Leiblera'>
Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest matematyka .php'>miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa p i q. Czasem zwana jest też odległością Kullbacka-Leiblera, w rzeczywistości nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta Dywergencja Kullbacka-Leiblera dana jest wzorem:dla rozkładów dyskretnych, orazdla rozkładów ciągłychW powyższej definicji przyjmuje się, że p reprezentuje dane rzeczywiste, zaś q teoretyczny model.Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne.