GIÔÙI HAÏN CAÊN BAÛN AÛNH

HÖÔÛNG ÑEÁN HOAÏT ÑOÄNG

CUÛA HEÄ THOÁNG

Bộ môn Viễn Thông

Trường ĐH Bách Khoa TPHCM
Daïng baøi taäp ñaëc tröng cuûa chöông2
 Cho moät daõy caùc tín hieäu caàn maõ hoùa:
+ Thöïc hieän tieàn maõ hoùa.
+ Maõ hoùa Huffman cho chuoãi tín hieäu,tính
entropy, chieàu daøi trung bình töø maõ…..
+ Töø maõ sau ñoù ñöôïc truyeàn qua keânh rôøi raïc
khoâng nhôù vôùi xaùc xuaát loãi Pe, tính xaùc suaát ngoõ
ra…
……………………………………………………………………………………….

Moïi chi tieát xin lieân laïc qua ñòa chæ: ncngoc@hcmut.edu.vn
 CHÖÔNG 2: GIÔÙI HAÏN CAÊN BAÛN AÛNH HÖÔÛNG
ÑEÁN HOAÏT ÑOÄNG CUÛA HEÄ THOÁNG

 2.1 Uncertainty, Information vaø Entropy

 2.2 Ñònh lyù maõ hoùa nguoàn
 2.3 Maõ Huffman
 2.4 Keânh rôøi raïc khoâng coù nhôù
 2.5 Thoâng tin qua laïi
 2.6 Dung löôïng keânh
 2.7 Ñònh lyù maõ hoùa keânh
 2.8 Vi phaân entropy vaø thoâng tin qua laïi cho thoâng
tin lieân tuïc
 2.9 Ñònh lyù dung löôïng keânh
 2.10 Toùm taét.
 2.1 GIỚI HẠN CƠ BẢN TRONG
THỰC THI

 Yếu tố để đánh giá hiệu quả thông tin

của hệ thống thông tin số là khả năng
thông tin của nguồn.

 Yếu tố còn lại gắn liền với tốc độ mà

thông tin có thể truyền trên một kênh
truyền có nhiễu.
 GIỚI HẠN CƠ BẢN TRONG THỰC
THI

Giới hạn cơ bản của các yêu tố về khả năng thực

thi của hệ thống có nguồn gốc từ lý thuyết
thông tin bắt nguồn từ mô hình toán học và
khả năng phân tích thông tin
Uncertainty,information,and
entropy
 Xét một tập hợp các ký tự.
 {s1,s2………sk}
 có xác suất lần lượt là
 {P1,P2…….Pk}
 Uncertainty,information,and
entropy
Tập hợp xác suất phải thoả mãn điều kiện
k 1

p
k 0
k 1
caùc tín hieäu ñöôïc taïo ra bôûi nguoàn laø ñoäc laäp
thoáng keâ thì nguoàn ñoù ñöôïc goïi laø nguoàn rôøi
raïc khoâng nhôù (discrete memoryless source)
Uncertainty,information,and
entropy
 Memoryless coù nghóa laø tín hieäu taïo ra
sau ñoäc laäp vôùi tín hieäu tröôùc noù
 Khái niệm về “information” gần giống

với “uncertainty” hoặc “surprise”

 Khảo sát biến cố S=sk có xác suất pk=1

và pi=0 với tất cả các i#k khi đó sẽ

không có “surprise”
 Uncertainty,information,and
entropy
 Khi mà xác suất của sk giảm xống và xác
suất của si với i#k tăng lên thì khái niệm
“information” , “uncertainty” và “surprise”
là hoàn toàn giống nhau.

 Trước khi biến cố S=sk suất hiện ta goi là

uncertainty, khi biến cố S=sk suất hiên ta
goi là surprise, sau khi biến cố S=sk suất
hiện ta gọi là information
Uncertainty,information,and
entropy
 Chúng ta định nghĩa một lương
thông tin là
1
I ( sk )  log( ) (2.4)
pk
Hàm I(sk) có các thuộc tính sau.
I(sk)=0 khi pk=1
Uncertainty,information,and
entropy
I(sk)≥0 khi 0≤pk≤1
 Từ đây chúng ta có thể nói sự xuất
hiện của biến cố S=sk cung cấp thông
tin hoăc không, nó không diễn tả sự
mất mát của thông tin
 I(sk)>I(si) khi pk<pi

 Biến cố có xác suất nhỏ hơn thì mang

thông tin nhiều hơn
Uncertainty,information,and
entropy
 Khi si và sk độc lập thông kê
I(sksi)=I(sk)+I(si)
 Cơ số trong hàm logarithm (2.4) là 10
nhưng theo tiêu chuẩn thực tế ngày
nay ta dùng hàm logarithm với cơ số
là 2 khi đó chúng ta có đơn vị thông
tin gọi là bit
Uncertainty,information,and
entropy
Khi đó đơn vị thông tin định nghĩa
như sau

1
I ( sk )  log 2 ( )
pk

K=1,2….k-1
Uncertainty,information,and
entropy
Giá trị trung bình của I(sk) trên một
nguồn mẫu tự L là:
K 1
1
H ( L)  E[ I ( S k )]   Pk log 2 ( )
k 0 Pk

H(L): goi là entropy dùng để đo lường

nôi dung thông tin trung bình của
một nguồn ký tự
 THUỘC TÍNH CỦA ENTROPY
0≤H(L)≤log2K
K là số lượng ký số của một ký tự.
H(L)=0 nêu Pk=1 với vài k và phần
còn lại có xác suất bằng 0
H(L)=1 nếu Pk=1/k với tất cả giá trị
của k
LÝ THUYẾT MÃ HOÁ NGUỒN
Vấn đề quan trọng của thông tin là khả
năng biểu diễn của dữ liêu được tạo
ra bởi một nguồn rời rạc.

Khi chúng ta cải tiến để tăng hiêu quả

của bộ mã hoá nguồn cần chú ý thoả
mãn 2 tính chất sau.
LÝ THUYẾT MÃ HOÁ NGUỒN
Từ mã tạo ra bởi bộ mã hoá phải ở
dạng nhị phân{0,1}
Từ mã sau khi được giải mã phải là duy
nhất
Binary
sequence
Discrete
Source
memoryless
encoder
source
LÝ THUYẾT MÃ HOÁ NGUỒN
 K=0,1,……k-1 mỗi từ mã của ký tự sk
có chiều dài là lk
 Chúng ta định nghĩa chiều dài trung
bình của từ mã Ltb
k 1
Ltb   pk lk
k 0
LÝ THUYẾT MÃ HOÁ NGUỒN
Chúng ta định nghĩa hiệu suất của mã
hoá nguồn như sau.
Lmin
 
Ltb
Do Ltb≥Lmin nên η≤1
Mã hoá nguồn gọi là hiệu quả nếu η
gần bằng 1
LÝ THUYẾT MÃ HOÁ NGUỒN
Ta có Lmin =H(L)
Khi đó hiêu suất được viết lại.

H ( L)

Ltb
Prefix coding
Xét một nguồn ký tự {s0,s1,s2,s3}
Có xác suật lần lượt là {0.5; 0.25;
0.125; 0.125} s
Initial 0 0
state
1
0
s1
1
0
s2
1

s3
Prefix coding
Khi đó các từ mã của mã hoá prefix
coding
S0=0
S1=10
S2=110
S3=111
Prefix coding
 Xét nguồn mẫu tư {s0,s1,……sK-1}
 Với ký tự sk có chiều dài lk
 Khi đó các chiều dài phải thoả mãn bất
đẳng thức Kraft-McMilan
K 1

2
k 0
lk
1
Prefix coding
Vì H(L)≤Ltb<H(L)+1
Dấu bằng chỉ xảy ra khi
 lk
pk  2
Với điều kiện Kraft-Mcmilan chúng ta có
thể xây dựng prefix code của các từ
mã sk có chiều dài lk
Prefix coding
chiều dài trung bình của các từ mã
K 1
lk
Ltb   lk
k 0 2

Entropy của nguồn

K 1
lk
H ( L)   lk
k 0 2
Vậy hiệu suất sẽ bằng 1
 2.3 MAÕ HOÙA HUFFMAN
„ Ñònh nghóa:
„ Maõ hoùa Huffman laø loaïi maõ hoùa sao cho chieàu daøi
trung bình cuûa töø maõ ñaït ñöôïc giôùi haïn entropy cuûa
moät nguoàn maõ hoùa rôøi raïc khoâng nhôù (Discrete
Memoryless Source). Maõ hoùa naøy nhaèm laøm giaûm
chieàu daøi trung bình cuûa caùc töø maõ cuûa caùc tín hieäu
caàn ñöôïc maõ hoùa ñeå truyeàn ñi. Nhôø vaøo ñoù seõ tieát
kieäm baêng thoâng vaø naêng cao hieäu suaát cuûa ñöôøng
truyeàn.
 MAÕ HOÙA HUFFMAN
Thuaät toaùn maõ hoùa Huffman ñöôïc thöïc hieän theo
trình töï sau:
 1. Lieät keâ caùc kyù töï theo thöù töï xaùc suaát giaûm daàn.
 2. Laàn löôït nhoùm hai kyù töï thaønh moät vôùi xaùc suaát
baèng toång cuûa hai kyù töï ñoù. Laëp laïi böôùc hai cho ñeán
ñeán giaù trò cuoái cuøng.
 3. Tieáp theo ta gaùn cho caùc nhaùnh laàn löôït caùc giaù trò
bit 0 vaø 1. Theo quy öôùc nhaùnh ôû vò trò treân seõ gaùn vôùi
giaù trò 0, nhaùnh döôùi gaùn vôùi giaù trò 1. Töø maõ sau khi
maõ hoùa seõ ñöôïc xaùc ñònh baèng caùch ñoïc ngöôïc laïi töø
giaù trò cuoái.
 MAÕ HOÙA HUFFMAN
 Phaân loaïi:
 Maõ hoùa Hufman ñöôïc phaân laøm hai loaïi:
 1. Loaïi 1: Giaù trò nhaän ñöôïc sau khi coäng
xaùc suaát cuûa hai kyù töï seõ ñöôïc ñöa leân vò
trí cao hôn. (tröôøng hôïp ví duï 1).
 2. Loaïi 2: giaù trò nhaän ñöôïc sau khi coäng
xaùc suaát cuûa hai kyù töï seõ ñöôïc giöõ nguyeân
ôû vò trí thaáp (tröôøng hôïp ví duï 2).
MAÕ HOÙA HUFFMAN
 Caùc coâng thöùc tính toaùn:
„ - Coâng thöùc tính Entropy cuûa töø maõ:

„ - Coâng thöùc tính ñoä daøi trung bình cuûa

töø maõ
MAÕ HOÙA HUFFMAN
 Ñeå so saùnh hai loaïi maõ hoùa treân (theo
söï thay ñoåi ñoä daøi cuûa töø maõ), chuùng
ta xem xeùt ñeán heä soá variance cuûa ñoä
daøi trung bình töø maõ ñöôïc tính theo
coâng thöùc.
 MAÕ HOÙA HUFFMAN
 Ví duï1: Thuaät toaùn maõ hoùa
MAÕ HOÙA HUFFMAN
 Töø maõ thu ñöôïc
MAÕ HOÙA HUFFMAN
+Tính Entropy cuûa töø maõ
H(x)=2.1219
+Ñoä daøi trung bình cuûa töø maõ:
L=0.4(2)+0.2(2)+0.2(2)+0.1(3)+0.1(3)
= 2.2
+ Variance cuûa töø maõ
 =0.16
2
MAÕ HOÙA HUFFMAN
 Ví duï 2 (cuøng moät xaùc suaát kyù töï nhö
ví duï 1). Ta coù sô ñoà maõ hoùa:
MAÕ HOÙA HUFFMAN
 Töø maõ thu ñöôïc:
MAÕ HOÙA HUFFMAN
+ Entropy cuûa töø maõ:
H(x)=2.1219
+ Ñoä daøi trung bình cuûa töø maõ:
L =0.4(1)+0.2(2)+0.2(3)+0.1(4)+0.1(4)
= 2.2
+ Variance cuûa töø maõ
 =1.36
2
 MAÕ HOÙA HUFFMAN
 Nhaän xeùt:
v Hai loaïi maõ hoùa cho caùc töø maõ coù ñoä daøi khaùc
nhau, nhöng ñoä daøi trung bình cuûa töø maõ thì baèng
nhau.
v Entropy cuûa hai loaïi maõ hoùa thì baèng nhau.
v Variance cuûa chieàu daøi trung bình töø maõ theo loaïi
2 seõ coù giaù trò lôùn hôn. Giaù trò variance toái thieåu cuûa
maõ hoùa Huffman ñaït ñöôïc khi ta aùp duïng maõ hoùa
loaïi 1.
 MAÕ HOÙA HUFFMAN
 Ví duï aùp duïng:
 Cho töø maõ caàn maõ hoùa nhö sau, thöïc hieän maõ hoùa
Huffman theo hai caùch loaïi:

 a) Tính entropy vaø ñoä daøi trung bình cuûa töø maõ.
 b) Tính varian cuûa hai töø maõ treân.
 2.4 KEÂNH RÔØI RAÏC KHOÂNG
NHÔÙ
Ñònh nghóa: Keânh rôøi raïc khoâng nhôù laø moät
khaùi nieäm duøng cho keânh truyeàn tin. Keânh
truyeàn ñöôïc giôùi thieäu coù ngoõ vaøo laø x vaø ngoõ
ra laø y. Caû x vaø y laø caùc bieán ngaãu nhieân thuoäc
caùc taäp hôïp X vaø Y
*Cuïm töø “rôøi raïc” duøng ñeå chæ hai taäp hôïp X vaø
Y coù kích thöôùc höõu haïn.
*Cuïm töø “khoâng nhôù” laø ñeå chæ kyù töï ngoõ ra töùc
thôøi chæ phuï thuoäc vaøp ngoõ vaøo töông öùng chöù
khoâng phuï thuoäc vaøo tín hieäu tröôùc ñoù.
KEÂNH RÔØI RAÏC KHOÂNG NHÔÙ
Tín hieäu ngoõ vaøo laø:

Tín hieäu ngoõ ra laø:

 KEÂNH RÔØI RAÏC KHOÂNG NHÔÙ
 Keânh rôøi raïc khoâng nhôù ñöôïc moâ taû döôùi daïng
ma traän:

xaùc suaát lan truyeàn ñöôïc ñònh nghóa:

 KEÂNH RÔØI RAÏC KHOÂNG NHÔÙ
 Vôùi ñieàu kieän raøng buoäc:

Ghi chuù:
+ X vaø Y coù theå coù kích thöôùc khaùc nhau.
+ j =k :theå hieän xaùc suaát truyeàn ñuùng. Ngöôïc
laïi laø xaùc suaát truyeàn sai.
 KEÂNH RÔØI RAÏC KHOÂNG NHÔÙ
 Caùc xaùc suaát coù theå saép xeáp döôùi daïng ma
traän:

 Haøng theå hieän ngoõ vaøo coá ñònh.

 Coät theå hieän ngoõ ra coá ñònh.
 KEÂNH RÔØI RAÏC KHOÂNG NHÔÙ
 Xaùc suaát nhaän ñöôïc yk ôû ngoõ ra ñöôïc tính theo coâng
thöùc:

 Toång xaùc suaát truyeàn sai ñöôïc tính theo coâng thöùc:

 Vaäy xaùc suaát truyeàn ñuùng laø :

 KEÂNH RÔØI RAÏC KHOÂNG NHÔÙ
 Ví duï: keânh truyeàn nhò phaân vôùi hai bit ñaàu
vaøo laø x0  0 , x1  1 vôùi ngoõ ra töông öùng
vaø y0  0 , y1  1 xaùc suaát loãi ñöôøng truyeàn cuûa
hai kyù töï ñeàu baèng p.

Tính xaùc suaát xuaát hieän bit 0 vaø 1 ôû ngoõ ra trong

tröôøng hôïp ñaàu vaøo coù xaùc suaát xuaát hieän bit 1
laø 1/3 vaø bit 0 laø 2/3
 2.5 THOÂNG TIN QUA LAÏI
(MUTUAL INFORMATION)
 Coi keânh ngoõ ra Y nhö moät kieåu nhieãu cuûa
keânh ngoõ vaøo X, vaø entropy H() ñöôïc ño
baèng söï khoâng chaéc chaén cuûa X.

 Laøm sao chuùng ta coù theå ño ñöôïc söï khoâng

chaéc chaén cuûa X sau khi quan saùt Y? Ñeå traû
lôøi caâu hoûi naøy, chuùng ta môû roäng yù kieán ôû
phaàn 2.1 baèng caùch ñònh nghóa entropy coù
ñieàu kieän (conditional entropy) cuûa X, vôùi
Y=yk laø
 (2.39)

J 1  1 
H (  Y  y k )   p(x j | y k ) log  
j 0  j k 
2 p(x | y )
 THOÂNG TIN QUA LAÏI
 Soá löôïng naøy töï noù laø bieán ngaãu nhieân nhaän
caùc giaù trò H(|Y=y0) …. H(|Y=yk-1) vôùi
xaùc suaát p(y0)…. p(yk-1).

 Giaù trò thöïc cuûa H(|Y=yk) treân ngoõ ra  vì

vaäy ñöôïc cho bôûi:
(2.40)
K 1
H (   )   H (  Y  y ) p( y )
k k
k 0
 
K 1 J 1
 1 
  p( x j y ) p( yk ) log  
2
k 0 j 0 k
 p( x j yk ) 

 
K 1 J 1
 1 
  p( x j , y ) log  
2
 p( x j yk ) 
k
k 0 j  0

 THOÂNG TIN QUA LAÏI

Soá löôïng H(|) ñöôïc goïi laø entropy coù

ñieàu kieän. Noù theå hieän soá löôïng khoâng
chaéc chaén coøn laïi ôû keânh ngoõ vaøo sau khi
xem xeùt keânh ngoõ ra.
 THOÂNG TIN QUA LAÏI
 Vì entropy H( ) theå hieän söï khoâng chaéc chaén
veà keânh ngoõ vaøo tröôùc khi xem xeùt keânh ngoõ
ra,vaø entropy coù ñieàu kieän theå hieän söï khoâng
chaéc chaén ôû keânh ngoõ vaøo sau khi xem xeùt
keânh ngoõ ra neân hieäu H( ) - H(|) phaûi theå
hieän söï khoâng chaéc chaén veà keânh ngoõ vaøo
ñöôïc giaûi quyeát baèng caùch xem xeùt keânh ngoõ
ra
 THOÂNG TIN QUA LAÏI
 Tính chaát quan troïng naøy ñöôïc goïi laø thoâng
tin qua laïi (mutual information) cuûa keânh.
Ñònh nghóa thoâng tin qua laïi baèng I(;)

I(;) = H( ) - H(|) (2.41)

 Tính chaát cuûa thoâng tin qua laïi

 Tính chaát 1:
Thoâng tin qua laïi cuûa 1 keânh thì ñoái xöùng:

I(;) = I(; ) (2.42)

Duøng coâng thöùc entropy vaø 2.34, 2.36
J 1  1 
H (  )   p ( x j ) log  
j 0
2


p( x j ) 

J 1  1  K 1
  p ( x j ) log    p( y x j )
j 0
2


p ( x j )  k 0

k

J 1 K 1  1 
  p ( y x j ) p ( x j ) log  
j 0 k 0
k 2


p( x j ) 

J 1 K 1  1 
  p ( x j , y ) log  
j 0 k 0
k 2


p( x j ) 

Tính chaát cuûa thoâng tin qua laïi

 Theá phöông trình 2.40 vaø 2.43 vaøo 2.41:

J 1 K 1  p(x j | y k ) 
I (; )    p(x j , y k ) log   (2.44)
j 0 k 0
2
 p(x j ) 
Tính chaát cuûa thoâng tin qua laïi
 Töø ñònh luaät Bayes cho xaùc suaát coù
ñieàu kieän, ta coù:

p(x j | y k ) p(yk | x j )
 (2.45)
p(x j ) p(yk )
 Theá 2.45 vaøo 2.44

K 1 J 1
 p(yk | x j ) 
I (; )    p(x j , y k ) log    I ( ;  ) (2.46)
 p(yk ) 
2
k 0 j 0
 Tính chaát cuûa thoâng tin qua laïi

 Tính chaát 2: Thoâng tin qua laïi thì

khoâng aâm
I (; )  0 (2.47)
Tính chaát cuûa thoâng tin qua laïi
 Chuùng ta caàn chuù yù:
p(x j , y k )
p(x j y k )  (2.48)
p(yk )
 Tính chaát cuûa thoâng tin qua laïi
 Vì vaäy, theá 2.48 vaøo 2.44,chuùng ta coù
theå bieåu dieãn thoâng tin qua laïi cuûa
keânh laø:
J 1 K 1  p(x j , y k ) 
I (; )    p(x j , y k ) log   (2.49)
j 0 k 0 
2 p(x )p(y )
j k 

 Tính chaát cuûa thoâng tin qua laïi
 Tieáp theo,öùng duïng tröïc tieáp cuûa baát
ñaúng thöùc caên baûn( ñònh nghóa bôûi pt
2.12) vaøo baát phöông trình 2.47.
Daáu baèng xaûy ra neáu vaø chæ neáu: (vôùi
moïi j,k)
p(xj , y k )  p(xj )p(yk ) (2.50)
 Tính chaát cuûa thoâng tin qua laïi
 Tính chaát 2 phaùt bieåu raèng noùi chung
chuùng ta khoâng theå maát thoâng tin, baèng
caùch xem xeùt ngoõ ra cuûa keânh.

 Hôn nöõa,thoâng tin trung bình baèng 0 neáu

vaø chæ neáu ,ngoõ vaøo vaø ngoõ ra cuûa keânh
thoûa maõn ñieàu kieän ñoäc laäp nhö phöông
trình 2.50
 Tính chaát cuûa thoâng tin qua laïi
 Tính chaát 3:Thoâng tin qua laïi cuûa moät
keânh coù theå trình baøy döôùi daïng caùc soá
haïng cuûa entropy cuûa keânh ngoõ ra
nhö:
I (  ;  )  H ( )  H (  ) (2.51)
 Tính chaát cuûa thoâng tin qua laïi
 Tính chaát 4:Thoâng tin qua laïi cuûa keânh lieân
quan ñeán entropy chung cuûa keânh ngoõ vaøo
vaø keânh ngoõ ra:
I (  ;  )  H (  )  H ( )  H (  ,  ) (2.52)

 Vôùi
J 1 K 1  1 
H ( ,  )    p(x j , y k ) log   (2.53)
j 0 k 0  j k 
2 p(x , y )

Tính chaát cuûa thoâng tin qua laïi
 H(, ) ñöôïc vieát laïi
J 1 K 1  p(x j )p(yk ) 
H ( ,  )    p(x j , y k ) log  
j 0 k 0
2
 p(x j , y k ) 
J 1 K 1  1 
  p(x j , y k ) log   (2.54)
j 0 k 0  j k 
2 p(x , y )

J 1 K 1  1   1  K 1
J 1


j 0

k 0
p(x j , y ) log 
k 2

 p(x j , y ) 
  log 
j 0
  p(x j , y )
 x j)  k 0
2 p( k
 k 

K 1  1  J 1
 log 2  p( )   p(x j , yk)
k 0
 yk  j 0

J 1  1  K 1  1 
 j 0
p(x j) log     p(y ) log 
 x j)  k 0
2 p( k 2

 p(y ) 
 k 

 H    H   (2.55)
 Tính chaát cuûa thoâng tin qua laïi
 Duøng phöông trình 2.49 vaø 2.55 vaøo phöông
trình 2.54,ta ñöôïc:
H (  ;  )  H (  )  H ( )  I (  ;  ) (2.56)
 Tính chaát cuûa thoâng tin qua laïi
. Hình 2.9:Minh hoïa aûnh höôûng giöõa caùc keânh
khaùc nhau
H(; )

H(| ) H(|)
I(; )

H()
H(
)
 2.6 DUNG LÖÔÏNG KEÂNH
 Xeùt 1 keânh rôøi raïc khoâng coù nhôù vôùi ngoõ vaøo
, ngoõ ra  vaø xaùc suaát truyeàn laø p(yk|xj).
Thoâng tin qua laïi ñöôïc ñònh nghóa bôûi doøng
ñaàu tieân cuûa pt2.46, ñöôïc vieát laïi nhö sau:

J 1 K 1
 p(yk | x j ) 
I (; )    p(x j , y k ) log   (2.57)
j 0 k 0
2
 p(yk ) 
 DUNG LÖÔÏNG KEÂNH
 Töø pt 2.36 vaø 2.37:

p ( x j , yk )  p ( y k x j ) p ( x j )

J 1
p ( yk )   p ( yk x j ) p ( x j )
j 0
 DUNG LÖÔÏNG KEÂNH
 Töø 3 phöông trình treân chuùng ta thaáy caàn thieát
ñeå bieát xaùc suaát phaân boá ôû ngoõ vaøo
{p(xj),j=0,1…J-1} ñeå chuùng ta tính ñöôïc thoâng
tin qua laïi I (, ). Thoâng tin qua laïi, vì vaäy
khoâng chæ phuï thuoäc vaøo keânh maø coøn phuï
thuoäc vaøo caùch thöùc keânh ñöôïc söû duïng.
 DUNG LÖÔÏNG KEÂNH
 Xaùc suaát phaân boá ôû ngoõ vaøo{p(xj)}thì ñoäc
laäp vôùi keânh . Chuùng ta coù theå cöïc ñaïi giaù
trò trung bình cuûa thoâng tin qua laïi I (, )
cuûa keânh truyeàn khi xeùt ñeán {p(xj)}
 DUNG LÖÔÏNG KEÂNH
 Ñònh nghóa : dung löôïng keânh truyeàn cuûa 1
keânh rôøi raïc khoâng coù nhôù laø giaù trò trung bình
cöïc ñaïi cuûa thoâng tin qua laïi I (, ) trong1
tröôøng hôïp baát kyø khi söû duïng keânh,ôû ñoù söï
cöïc ñaïi coù theå xaûy ra ôû taát caû caùc xaùc suaát
phaân boá ngoõ vaøo coù theå {p(xj)} trong taäp  )
 DUNG LÖÔÏNG KEÂNH

Dung löôïng keânh thöôøng ñöôïc ñònh nghóa laø

C. Ñôn vò C laø bits per channel use
Ta coù:
C  max I (  ;  ) (2.58)
p( x j )
 DUNG LÖÔÏNG KEÂNH
 Dung löôïng keânh truyeàn C laø moät haøm chæ
phuï thuoäc vaøo xaùc suaát truyeàn p(yk|xj) ñöôïc
xaùc ñònh bôûi keânh.
 DUNG LÖÔÏNG KEÂNH
 Ví duï 6: KEÂNH NHÒ PHAÂN ÑOÁI XÖÙNG
 Xeùt keânh nhò phaân ñoái xöùng ,ñöôïc moâ taû ôû
hình 2.8. Sô ñoà naøy ñöôïc ñòng nghóa duy nhaát
theo xaùc suaát loãi coù ñieàu kieän, p.
 Dung löôïng cuûa keânh nhò phaân ñoái xöùng vôùi
xaùc suaát ngoõ vaøo p(x0)= p(x1)=1/2, x0 ,x1 baèng
0 hoaëc 1.Vì vaäy
C  I (  ;  )P( X 0 )P( X 1 )1/ 2 (2.59)
 DUNG LÖÔÏNG KEÂNH
 Töø hình 2.8 ta coù:

p( y0 x1 )  p( y1 x0 )  p
p( y0 x0 )  p( y1 x1 )  1  p
 DUNG LÖÔÏNG KEÂNH
 Thay theá xaùc suaát keânh truyeàn vaøo pt 2.57 vôùi
J=K=2, vaø thieát laäp xaùc suaát ngoõ vaøo phuø hôïp
vôùi pt 2.16 , dung löôïng cuûa keânh nhò phaân ñoái
xöùng laø:
C  1  p log 2 p  (1  p) log 2 (1  p) (2.60)
 DUNG LÖÔÏNG KEÂNH
 Döïa vaøo pt 2.16, chuùng ta coù theå ñònh nghóa
haøm entropy:

1  1 
( p)  p log 2    (1  p) log 2   (2.61)
 p 1 p 
 DUNG LÖÔÏNG KEÂNH
 Chuùng ta coù theå vieát laïi pt 2.60
C=1-H (p) (2.62)
Dung löôïng keânh C khaùc vôùi xaùc suaát loãi p
trình baøy ôû hình 2.10.
So saùnh ñöôøng cong ôû hình naøy vôùi hình 2.2,
chuùng ta coù nhöõng nhaän xeùt :
Söï thay ñoåi dung löôïng keânh cuûa
keânh ñoái xöùng vôùi xaùc suaát truyeàn p

 .
Dung löôïng keânh, C
1.0

0.5

0
 DUNG LÖÔÏNG KEÂNH
 Khi keânh noise-free, p=0 , dung löôïng keânh C
ñaït ñöôïc giaù trò cöïc ñaïi 1 bit per channel use
,ñuùng baèng thoâng tin ôû moãi keânh ngoõ vaøo. Taïi
giaù trò naøy cuûa p, haøm entropy H(p) coù giaù trò
laø 0.
 Khi keânh coù nhieãu, cho xaùc suaát loãi coù ñieàu
kieän laø p=1/2, dung löôïng keânh C ñaït ñöôïc giaù
trò nhoû nhaát zero, trong khi haøm entropy ñaït
ñöôïc giaù trò cöïc ñaïi.
 2.7 LYÙ THUYEÁT MAÕ HOÙA KEÂNH
 Söï coù maët cuûa nhieãu trong keânh truyeàn gaây ra
söï khaùc bieät (loãi) giöõa chuoãi döõ lieäu vaøo vaø ra
cuûa heä thoáng thoâng tin soá. Trong 1 keânh coù
nhieãu,xaùc suaát loãi coù theå cao ñeán 10-2, coù
nghóa laø trung bình 99 bit cuûa 100 bit truyeàn
ñöôïc nhaän ñuùng. Xaùc suaát loãi coù theå baèng 10-6
hoaëc nhoû hôn laø yeâu caàu caàn thieát.
 LYÙ THUYEÁT MAÕ HOÙA KEÂNH
Muïc ñích cuûa maõ hoùa keânh laø taêng söï
choáng nhieãu cuûa heä thoáng thoâng tin soá . Maõ
hoùa keânh bao goàm saép xeáp chuoãi döõ lieäu vaøo
thaønh 1 chuoãi keânh truyeàn vaøo( maõ hoùa),vaø
saép xeáp ñaûo laïi chuoãi keânh truyeàn ôû ngoõ ra
thaønh chuoãi döõ lieäu ra (giaûi maõ).
 LYÙ THUYEÁT MAÕ HOÙA KEÂNH
.
Nguoàn rôøi Keânh Keânh rôøi Keânh Ñích
raïc khoâng raïc khoâng giaûi maõ
nhôù maõ hoùa nhôù

Maùy
Nhieãu
Maùy
phaùt thu
Hình 2.11: Sô ñoà khoái heä thoáng thoâng tin
soá
 LYÙ THUYEÁT MAÕ HOÙA KEÂNH
 Block codes:chuoãi thoâng tin ñöôïc chia thaønh
chuoãi nhöõng khoái daøi k bit, vaø moãi khoái k bit
ñöôïc saép xeáp thaønh khoái n bit ,vôùi n>k. Soá bit
dö theâm vaøo baèng caùch maõ hoùa khoái truyeàn laø
n-k bit.Tæ soá k/n ñöôïc goïi laø code rate . Duøng r
bieåu thò toác ñoä maõ, chuùng ta coù
k
r
n
 LYÙ THUYEÁT MAÕ HOÙA KEÂNH

 Khoâi phuïc chính xaùc chuoãi döõ lieäu

goác taïi ñích caàn xaùc suaát loãi trung
bình cuûa kyù töï phaûi thaáp.
 LYÙ THUYEÁT MAÕ HOÙA KEÂNH
 Giaû söû nguoàn rôøi raïc khoâng nhôù ôû hình 2.11
coù nguoàn s vaø entropy H(s) bit/kyù töï nguoàn ,
nguoàn phaùt kyù töï 1 laàn moãi Ts giaây . Vì vaäy
toác ñoä thoâng tin trung bình cuûa nguoàn laø H(s)/
Ts bit/s. Boä giaûi maõ chuyeån nhöõng kí töï ñöôïc
giaûi maõ ñeán ñích töø nguoàn s vôùi cuøng toác ñoä
nguoàn laø 1 kyù töï moãi Ts giaây .
 LYÙ THUYEÁT MAÕ HOÙA KEÂNH

 Giaû söû keânh rôøi raïc khoâng nhôù ñöôïc söû duïng
moät laàn moãi Tc giaây,dung löôïng keânh laø C .
Dung löôïng keânh treân 1 ñôn vò thôøi gian laø
C/Tc bits/s,töôïng tröng cho toác ñoä cöïc ñaïi cuûa
thoâng tin vaän chuyeån treân keânh.
 ÑÒNH LYÙ MAÕ HOÙA KEÂNH

 Ñònh lyù maõ hoùa keânh cho keânh truyeàn rôøi raïc
khoâng nhôù ñöôïc phaùt bieåu thaønh 2 phaàn nhö
sau:
 ÑÒNH LYÙ MAÕ HOÙA KEÂNH
 (i) Cho nguoàn rôøi raïc khoâng nhôù coù nguoàn s vaø entropy
H(s) bit/kyù töï nguoàn , nguoàn phaùt kyù töï 1 laàn moãi Ts
giaây ; keânh rôøi raïc khoâng nhôù ñöôïc söû duïng moät laàn
moãi Tc giaây,dung löôïng keânh laø C .Neáu
H ( ) C
 (2.63)
T s T c

 thì toàn taïi 1 kieåu maõ hoùa maø ngoõ ra cuûa nguoàn coù theå
truyeàn treân keânh vaø ñöôïc khoâi phuïc vôùi xaùc suaát loãi
nhoû. C/Tc ñöôïc goïi laø toác ñoä tôùi haïn.
 ÑÒNH LYÙ MAÕ HOÙA KEÂNH

H ( ) C
 (ii) Ngöôïc laïi, neáu 
T s T c

thì khoâng theå truyeàn thoâng tin treân keânh vaø

khoâi phuïc noù vôùi xaùc suaát loãi nhoû.
 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Coi 1 nguoàn rôøi raïc khoâng coù nhôù phaùt ra caùc
kí töï nhò phaân (0s vaø 1s) 1 laàn moãi Ts ..Vôùi
entropy nguoàn baèng 1bit/kí töï nguoàn,toác ñoä
thoâng tin cuûa nguoàn laø H(s)/Ts bit/s. Chuoãi
nguoàn ñöôïc ñöa vaøo keânh maõ hoùa vôùi code
rate r . Boä maõ hoùa taïo ra 1 kyù töï moãi Tc giaây .
Vì vaäy ,toác ñoä truyeàn kí töï ñöôïc maõ hoùa laø
1/Tc symbols/s.
 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Dung löôïng keânh treân moät ñôn vò thôøi
gian laø C/ Tc bit/s.,C ñöôïc xaùc ñònh bôûi
xaùc suaát p vôùi coâng thöùc 2.61,2.62. Döïa
vaøo ñònh lyù maõ hoùa keânh (phaàn (i)) ,neáu:
1 C
 (2.64)
T s T c
 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Xaùc suaát loãi coù theå thaáp hôn baèng caùch
duøng caùch maõ hoùa thích hôïp. Nhöng tæ
soá Tc / Ts baèng vôùi toác ñoä boä maõ hoùa.

r T c
(2.65)
T s
 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Vì vaäy chuùng ta coù theå phaùt bieåu laïi ñieàu
kieän pt 2.64 :

r C (2.66)
 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Ví duï 7: Coi keânh nhò phaân ñoái xöùng vôùi xaùc
suaát loãi p=10-2 .Töø giaù trò naøy cuûa p,aùp duïng
pt. 2.60 vaø 2.61 dung löôïng keânh C=0.9192.
Vì vaäy töø ñònh lyù maõ hoùa keânh ,chuùng ta coù
theå phaùt bieåu raèng baát cöù ξ >0 vaø r <= 0.9192
,toàn taïi moät maõ coù chieàu daøi n vaø toác ñoä maõ r
,vaø moät thuaät toaùn maõ hoùa thích hôïp, ñeå khi
maõ ñöôïc söû duïng trong keânh ñöôïc cho ,xaùc
suaát loãi maõ hoùa trung bình nhoû hôn ξ
Hình 2.12:Minh hoïa quan troïng
cuûa ñònh lyù maõ hoùa keânh
1.0

10 -1 Maõ laëp laïi

Xaùc suaát loãi trung bình

10 -2
10 -3

10 -4
Giaù trò giôùi
10 -5 haïn, ξ=10 -8
Dung löôïng keânh C
10 -6

10 -7

10 -8

0.01 0.1 1.0

 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Repetition code ( maõ laëp laïi): moãi bit cuûa baûn
tin ñöôïc laëp laïi nhieàu laàn. Moãi bit( 1 hoaëc 0 )
ñöôïc laëp laïi n laàn , taïi n = 2m+1 (n laø soá
leû).Ví duï,n=3 chuùng ta truyeàn bit 0 vaø bit 1 laø
000 vaø 111.
 Neáu 1 khoái n bit nhaän ñöôïc ( töôïng tröng cho
1 bit thoâng tin ), soá bit 0 vöôït quaù soá bit 1 thì
boä maõ hoùa quan taâm ñeán bit 0.Ngöôïc laïi, noù seõ
quan taâm ñeán bit 1.
 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Vì vaäy loãi seõ xaûy ra khi m+1 bit hoaëc nhieàu
hôn bò loãi trong n= 2m+1 bit . Xaùc suaát loãi
trung bình pe ,ñoäc laäp vôùi xaùc suaát bit 0 vaø 1
tröôùc ñoù.Ta coù:
n
 n i
pe     p (1  p) n  i (2.67)
i  m 1  i 

Vôùi p laø xaùc suaát truyeàn cuûa keânh.

Baûng 2.3 Xaùc suaát loãi trung bình
cuûa maõ hoùa laëp laïi
toác ñoä maõ hoùa Xaùc suaát loãi
r=1/n trung bình pe
1 10 -2
1/3 3. 10 -4
1/5 10 -6
1/7 4. 10 -7
1/9 10 -8
1/11 5. 10 -10
 ÖÙng duïng cuûa ñònh lyù maõ hoùa keânh
truyeàn vaøo keânh nhò phaân ñoái xöùng
 Baûng 2.3 ñöôïc tính baèng coâng thöùc 2.67 vôùi
xaùc suaát truyeàn p=10 -2.

 Keát quaû cuûa baûng 2.3 ñöôïc veõ ôû hình 2.12 ôû

daïng ñöôøng cong “maõ laëp laïi”. Ñöôøng cong
naøy minh hoïa söï thay ñoåi cuûa toác ñoä maõ cho
ñoä tin caäy cuûa baûn tin.