Entropy hợp và entropy điều kiện
Entropy hợp của một cặp bnn rời rạc (X, Y) với phân phối hợp p(x, y) là:
(
,
)
=−
(
,
)
(,)
∈∈
Hay
(
,
)
=−(,)
Entropy điều kiện:
(
|
)
=−
(
,
)
(|)
∈∈
=−(|)
Luật xích
(
,
)
=
(
)
+(|)
Hệ quả:
(
,
|
)
=
(
|
)
+(|,)
Ví dụ
Giả sử (X, Y) có phân phối hợp sau:
Hình 2. Hàm pmf phụ thuộc p(x,y)
Hãy tính H(X), H(Y), H(X|Y).
Ví dụ (tiếp)
Phân phối lề của X là (1/2, 1/4, 1/8, 1/8) và của Y là (1/4, 1/4, 1/4, 1/4). Do đó
H(X)=7/4 và H(Y)=2. Từ luật xích ta suy ra :
(
|
)
=
(
,
)
−()
(
,
)
=−
(
,
)
(,)
=
−2
1
8
1
8
−
1
4
1
4
−6
1
16
1
16
−4
1
32
1
32
=
3
4
+
1
2
+
3
2
+
5
8
=
6+4+12+5
8
=
27
8
(
|
)
=
27
8
−2=
11
8
Entropy tương đối
Entropy tương đối hay khoảng cách Kullback-Leibler giữa hai hàm pmf p(x) và
q(x) là :
(|
|
)
=
(
)
(
)
(
)
∈
=
()
()
Chú ý :
- Entropy tương đối không phải khoảng cách thực sự vì nó không đối xứng
và không thỏa mãn bđt tam giác
- Tuy vậy, để dễ hình dung, ta có thể coi Entropy tương đối là "khoảng cách"
Thông tin tương hỗ
Giả sử X và Y là các bnn với hàm pmf phụ thuộc là p(x,y) và các hàm pmf biên
là p(x) và p(y). Thông tin tương hỗ I(X ;Y) là độ đo cho ta biết bnn này chứa
bao nhiêu thông tin về bnn khác. Nó được tính bởi entropy tương đối giữa
phân phối phụ thuộc và phân phối tích p(x)p(y) :
(
;
)
=
∑ ∑
(
,
)
(,)
(
)
()
=((,)|
(
)
(
)
=
(,)
(,)
(
)
()
Ví dụ
Giả sử ={0,1} và p và q là hai phân phối trên đó. Giả sử p(0)=1-r, p(1)=r và
q(0)=1-s, q(1)=s. Khi đó:
(|
|
)
=
(
1−
)
1−
1−
+
Và
(|
|
)
=
(
1−
)
1−
1−
+
Nếu r=s thì D(p||q)=D(q||p)=0. Nếu r=1/2 và s=1/4 thì (|
|
)
=1−
3=
0.2075bit
Còn (|
|
)
=
3−1=0.1887bit
Quan hệ giữa entropy và thông tin tương hỗ
Hình 3. Quan hệ giữa entropy và thông tin tương hỗ
Hình vẽ minh họa các pt sau:
(
;
)
=
(
)
−
(
|
)
(
;
)
=
(
)
−(|)
Quan hệ giữa entropy và thông tin tương hỗ
(tiếp)
(
;
)
=
(
)
+
(
)
−(,)
(
;
)
=(;)
(
;
)
=()
Luật xích cho entropy
Giả sử X
1
, X
2
, …, X
n
là các bnn có hàm phân phối phụ thuộc là p(x1, x2, …,
xn). Khi đó:
(
,
,…,
)
= (
|
,…,
)
Chứng minh:
…
Không có nhận xét nào:
Đăng nhận xét