Microsoft PowerPoint - Telecommunication Networks-Information Theory.ppt

Bản ghi

1 ạng vễn thông - lý thuyết thông tn

2 Outlne Gớ thệu ạng vễn thông Khá nệm cơ bản Thông tn Entropy ã hóa nguồn 2

3 Gớ thệu Vễn thônglàgì? Tếng H Lạp : "tele -xa; và và Latn, "communcate cha sẻ. Vễn thông là truyền thông cự ly xa. Bản chất của Vễn thông là truyền Thông tn đến hay nhều ngườ dùng trong bất kỳ dạng nào có thể 3

4 Vễn thông Cóxuhướng nghĩ Vễn thông là đện thoạ, mạng máy tính, Internet, truyền hìnhcáp. Bao gồm phương tện đện, đện từ, và quang đã được nhắc đến, đồng thờ Baogồm dây dẫn đơn gản, rado, hay dạng khác. 4

5 Vễn thông thờ kỳđầu trống và cò khó/tín hệu lửa ánh sáng bồ câu trống khó Tower usng mrrors bồ câu 5

6 Vễn thông phát trển đện tín (orse) đện thoạ (Bell) truyền thông không dây truyền thôngvệtnh A BTS (oble Communcaton) VINASAT- satellte 6

7 hệ thống truyền thông d động Hệ thống truyền thông không dây hệ thống truyền thông dữ lệu ạng vễn thông Hệ thống truyền thôngvệ t hệ thống chuyển mạch hệ thống truyền thông quang hệ thống thoạ và truyền hình 7

8 ạng vễn thông là mạng gồm lênkết và nút mạng vễn thông được sắp xếp để thông tn chuyển từ phần của mạng đến mạng khác qua nhều kếtnố và thông qua chế độ khác nhau. 8

9 ạng vễn thông ạng vễn thông được cha thành: Transport chuyển mạch truy nhập Customer Premses Equpment (CPE) thết bị truyền nhận Swtch hay Exchange hay Central Offce (CO) thết bị để truy nhập của thuê bao (truy nhập mạngs AN) thết bị đầu cuố thuê bao thết bị chuyển mạch và thết bị truyền nhận cùng nhau hình thành mạng lõ thết bị đầu cuố hướng khách hàng kết nố đến mạng lõ thông qua truy nhập mạng truyền tả và chuyển mạch là 2 chức năng cơ bản để truyền tả Thông tn ngườ dùng. 9

10 SIEENS NIXDORF SIEENS NIXDORF SIEENS NIXDORF SIEENS NIXDORF AN N T Transport AN AN N T N T Exchange AN N T truy nhập mạng (AN) vớ đầu cuố thuê bao (CPE) truyền tả kênh truyền(trao đổ lên kết kết nố): trung kế để truyềnthông tn ngườ dùng tín hệu kết nố để truyền thông tn đều khển 0

11 Khá nệm cơ bản sơ đồ khố của hệ thống truyền thông số nguồn mã hóa nguồn mã hóa kênh truyền bộ đều chế kênh truyền nhễu đích bộ gả mã nguồn bộ gả mã kênh bộ gả đều chế

12 lý thuyết thông tn? lý thuyết thông tn cung cấp cáchđo lường của nguồn Thông tn, dung lương thông tn của một kênh truyền mã hóa là phương tện tố ưu hóa dung lượng kênh truyền để lưu chuyển Thông tn lý thuyết mã hóa của Shannon: Nếu tốc độ của Thông tn từ nguồn ko vượt quá dung lượng của kênhtruyền thông tn, thì tồn tạ kỹ thuật mã hóa mà Thông tn được phát qua kênh truyền vớ xác suất lỗ nhỏ, bất chấp sự tồn tạ của lỗ 2

13 đo lường Thông tn lý thuyết thông tn: bao nhêu Thông tn chứa trongtínhệu? hệ thống phát snh? một kênh truyền truyền tả? Thông tn là dạng hàng hóa sản xuất bở nguồn để đến và ngườ dùng ở đích Ví dụ : Barcelona vs GĐT-LA 3

14 đo lường Thông tn 3 kết quả: thắng, hòa, thua Cases sự kệns Thông tn khả năng Barca thắng không có Thông tn, chắc chắn 2 Barca hòa vớ GĐT-LA Thông tn nhều hơn Tương đố thấp 3 Barca thua Lượng Thông tn lớn Xác suất thấp xuất hện trong tình huống đặc bệt Sự kện càng ít khả năng, càng chưa nhều thông tn Thông tn định nghĩa toánhọc như thế nào? 4

15 Thông tn x j là sự kện vớ p(x j ) là khả năng của sự kện x j được chọn để truyền dẫn Nếu x j xảy ra I( xj) = loga = log a p( xj) px ( ) () đơn vị của Thông tn I(x j ) được gọ self-nformaton I(x j ) 0 for 0 p(x j ) I(x j ) 0 for p(x j ) I(x j )>I(x ) for p(x j )<p(x ) j 5

16 Thông tn cơ số của logarthm 0 đo lường của Thông tn là hartley e đo lường của Thông tn là nat 2 đo lường của Thông tn là bt Ví dụ : thí nghệm ngẫu nhên vớ 6 kết quả tương đương: Thông tn tương ứng vớ mỗ kết quả : I(x j )=-log 2 (/6)=log 2 6=4 bts Thông tn là lớn hơn bt,do khả năng của mỗ kết quả là ít hơn ½. 6

17 Entropy và Thông tn tốc độ xem xét nguồn Thông tn phát chuỗ symbols từ tập X={x,x 2..,x } mỗ symbol x được xem như thông tn vớ khả năng p(x ) và self-nformatoni(x ) Nguồn cótốc độ trung bình r symbols/sec Nguồn kobộ nhớ gán đoạn Lượng Thông tn cung cấp bở nguồn trong khoảng tùy ý symbol là bến X gán đoạn ngẫu nhên. Thông tn trung bình mỗ symbol là n : H( X) = E{ I( x j )} = j= p( x )log p( x bt/symbo Entropy = Thông tn = sự ko chắc chắn Nếu tín hệu là hoàn toàn dự đoán được, nó có 0 entropy và không có Thông tn Entropy = số trung bình bts yêu cầu để truyền tả tínhệu j 2 j ) (2) 7

18 Ví dụ bến ngẫu nhên vớ phân bố chính tắc qua 32 kết quả H(X) = - (/32).log(/32) = log 32 = 5 # bts yêu cầu = log 32 = 5 bts! do đó H(X) = số bts yêu cầu để đạ dện sự kện ngẫu nhên Bao nhêu bts là cần thết : kết quả của thảy đồng xu ngày ma là Thứ 5 8

19 Entropy gá trị của H(X) từ nguồn phụ thuộc vàoxácsuất symbol p(x ) và Tuy nhên, 0 ( X) log (3) H 2 Bên thấp tương xứng đến không có sự ko chắc chắn bên trên tương xứng đến sự ko chắc chắn lớn nhất, xảy ra khmỗ symbol là tương đương có thể xảy ra chứng mnh của sư không cân bằng được thể hện trong [2] Chapter 5 9

20 chứng mnh 0 H ( X ) log2 Bên thấp vớ tùy ý dễ dàng chứng mnh, gh nhớ là a.log(a) 0 as a 0 chứng mnh của bêntrênlàphức tạp hơn H ( X ) = = = p( x X p( x).log ).log p( x p( x) log ) log 2 2 Dựa vàobất đẳng thức ln a (a-) 20

21 2 xem xét: X H X H x p e X H x p e X H x p x p e x p x p e x p x p x p x p x p x p x p X H X log ) ( 0 log ) ( ) ( log log ) ( ) (. log log ) ( ) (. ). (. log ) (. ).ln (. log ) (. ).log ( ) (. log ) ( ).log ( log ) ( ).log ( log ) ( = = = = = = = = = = = = chứng mnh X H 2 log ) ( 0 dấubằng xảy ra kh: x p x p ) ( ) (. = =

22 Ví dụ Vớ nguồn nhị phân (=2), p()=α và p(0)=-α = β. từ (2), entropy nhị phân: H(X)= -α.logα -(-α).log(-α) 22

23 lý thuyết mãhóanguồn Thông tn từ nguồn tạo ra symbols khác nhau dễn tả bở entropy H(X) tốc độ nguồn Thông tn (bt/s): R s = rh(x) (bt/s) H(X): entropy nguồn (bts/symbol) r: tốc độ symbol(symbols/s) gả định nguồn là C: dung lượng (bts/symbol) S: tốc độ symbol(symbols/s) S.C: bts/s đầu vào đến một kênhtruyền: 23

24 lý thuyết mãhóanguồn(t.t. ) Thuyết Shannon(lý thuyết mã hóa ko nhễu ): Cho một kênh truyền và nguồn phát snh Thông tn ở tốc độ ít hơn dung lượng kênh truyền, có thể mã hóa đầu ra của nguồn bằng cách phát thông qua kênh truyền Bểu dễn của ã hóa nguồn bằng Ví dụ : nguồn nhị phân rờ rạc nguồn tốc độ symbol = r = 3.5 symbols/s mã hóa nguồn kênh truyền nhị phân C = bt/symbol S = 2 symbols/s SC = 2 bts/s 24

25 Ví dụ của ã hóa nguồn nguồn nhị phân rờ rạc: A(p=0.9), B(p=0.) nguồn tốc độ symbol (3.5) >dung lượng kênh truyền(2) nguồn symbols có thể ko được phát đ trực tếp Kểm trathuyết Shannon: H(X)=-0. log log 2 0.9=0.469bts/symbol R s = rh(x) = 3.5(0.469)=.642 bts/s < S.C = 2 bts/s truyền dẫn cóthể dùng ã hóa nguồn để làm gảm tốc độ symbol trung bình 25

26 Ví dụ của ã hóa nguồn(t.t. ) Từmã được gán nhóm n-symbol của nguồn symbols QUyluật: Từ mã ngắn nhất đến nhóm khả năng lớn nhất Từ mã dà nhất đến nhóm thấp khả năng nhất Nhóm n -symbol của nguồn symbols # mở rộng thứ n của nguồn nguyên gốc 26

27 mở rộng thứ nhất nguồn symbol P () từ mã [P()].[số mã hóa Symbols] A B L=.0 tốc độ symbol của bộ mã hóa = tốc độ symbol của nguồn lớn hơn của kênh truyền cóthể chứa 27

28 mở rộng thứ ha nguồn nhómsymbol 2 nguồnp symbols () từ mã cùng thờ [P()].[số đểm của : mã hóa Symbols] AA AB BA BB L=.29 L = n 2 = p( x )* l L: trung bình chều dà mã p(x ): khả năng symbol th của nguồn mở rộng l : chều dàcủa từ mã tương ứng vớ th symbol 28

29 mở rộng thứ ha L n =.29 2 = code symbols/source symbol tốc độ symbol tạ đầu ra bộ mã hóa : L r n =3.5(0.645) = mã hóa symbols/sec >2 vẫn lớn hơn 2 symbols/s của Tếp tục vớ mở rộng thứ 3 kênh truyền 29

30 mở rộng thứ ba nhóm 3 nguồn symbols cùng thờ đểm : nguồn P () từ mã [P()].[số của mã hóa Symbols] symbol AAA AAB ABA BAA ABB BAB BBA BBB L=

31 mở rộng thứ ba L n.598 = = tốc độ symbol tạ đầu ra bộ mã hóa : mã hóa symbols/nguồn symbol r L n = 3.5(0.533) =.864 code symbols/second tốc độ này là chấp nhận được bở kênh truyền 3

32 hệu quả của nguồn mãhóa Độ hệu quả là cách đo khả năng của nguồn mãhóa Lmn Lmn eff = = n L p( x ) l L mn 2 = H( X ) = log D eff = H ( X ) L log 2 D Trong đó H(X): entropy của nguồn D: số symbols trong codng alphabet or eff = H ( X ) L Cho alphabet nhị phân 32

33 Entropy và hệu quả của nguồn mở rộng nhị phân Entropy mở rộng thứ n của nguồn rờ rạc ko nhớ : H (X n )=n*h (X) hệu quả của nguồn mở rộng: eff = n. H( X L ) 33

34 Bểu dễn của L/n L n H(X) L/n luôn vượt quá entropy nguồn và hộ tụ đến entropy nguồn kh n lớn gảm chều dà trung bình từ mã dẫn đến tăng độ phức tạp của mã hóa n 34

35 ã hóa Shannon-Fano [] Trình tự : 3 bước. lệt kê nguồn symbols theo thứ tự gảm xác suất 2. phân cha tập thành 2 tập con gần nhất cóthể. 0 s được gán đến tập trênvà s đến tập dướ 3. tếp tục phân cha tập con cho đến kh ko thể phân cha được nữa Ví dụ : 35

36 Ví dụ ã hóa Shannon-Fano U p Từ mã U U U U U U U

37 ã hóa Shannon-Fano L 7 = = p l 7 = 2.4 H( U) = p log2 p eff = = H( U) L = = = mã hóa phát snh là tền mã hóa do khả năng phân cha không dẫn đến tền mãhóađặc bệt. nhều tền mãhóacó hệu quả gống nhau. 37

38 ã Huffman [][2][3] Trình tự : 3 bước. lệt kê nguồn symbols theo thứ tự gảm xác suất. 2 nguồn symbols xác suất thấp nhất được gán a 0 và a nguồn symbols kết hợp thành nguồn symbol mớ vớ xácsuất tương đương tổng của 2 xác suất nguyên gốc. xác suất mớ đặt trong danh sách tương ứng vớ gátrị của nó. 3. lập lạ cho đến kh khả năng cuố cùng của symbol kết hợp mớ là.0. Ví dụ : 38

39 Ví dụ của ã hóa Huffman 0.0 U U U 2.23 U 3.9 U 4. U 5.07 U 6.06 U 7.0 p U U 00 U 2 U 3 0 U 4 Từ mã U 5 0 U U

40 ã hóa Huffman : khuyết đểm kh nguồn cónhều symbols (đầu ra/thông tn ), mã hóa trở thành cồng kềnh mã hóa Hufman + chều dà mã hóa cố định. vẫn có dư thừa và dư thừa làlớn so vớ tập nhỏ thông tn nhóm nhều thông tn đôc lập 40

41 ã hóa Huffman : khuyết đểm Vídụ 9.8 và 9.9 ([2],pp ) nhóm tạo dư thừa nhỏ nhưng số Từ mã tăng lũy thừa, mã hóa trở thành phức tạp hơn và trì hoãn phát snh. 4

42 Entropy Ví dụ 2 Đua ngựa vớ 8 con ngựa, vớ xácsuất thắng ½, ¼, /8, /6, /64, /64, /64, /64 Entropy H(X) = 2 bts Bao nhêu bts cần thết? (a) Chỉ số mỗ con ngựa log8 = 3 bts (b) gán mã hóa ngắn hơn đến con ngựa vớ khả năng cao hơn : 0, 0, 0, 0, 00, 0, 0, chều dà mô tả trung bình = 2 bts! 42

43 Entropy Cầnít nhất H(X) bts để đạ dện X H(X) là Bên thấp on chều dà mêu tả theo yêu cầu Entropy = sự ko chắc chắn của bến ngẫu nhên 43

44 Entropy kết hợp và đều kện entropy kết hợp : H(X,Y) = x y p(x,y) log p(x,y) mở rộng đơn gản của entropy đến 2 RVs entropy đều kện : H(Y X) = x p(x) H(Y X=x) = x y p(x,y) log p(y x) Entropy của Y Nếu X được bết? Dễ kểm chứng: Nếu X, Y độc lập, H(Y X) = H(Y) Nếu Y = X, H(Y X) = 0 H(Y X) = Thông tn thêm gữa X & Y Thực tế : H(X,Y) = H(X) + H(Y X) 44

45 Thông tn tương hỗ I(X;Y) = H(X) H(X Y) = suy gảm entropy do bến khác I(X;Y) = x y p(x,y) log p(x,y)/{p(x)p(y)} Bao nhêu Thông tn về Y chứa trongx? Nếu X,Y độc lập, I(X;Y) = 0 Nếu X,Y gống nhau, I(X;Y) = H(X) = H(Y) đố xứng và không âm 45

46 Thông tn tương hỗ Quan hệ gữa entropy, Thông tn kết hợp và tương hỗ 46

47 Thông tn tương hỗ I(X;Y) đo lường sự tương tự gữa X và Y sửdụng rộng rã trong xử lý ảnh /tín hệu Ảnh y khoa Ví dụ : đăng ký ảnh dựa trêni tạ sao? I ko nhạy cảm vớ độ lợ và bas 47

48 Bà tập về nhà tính toán H(X) để nguồn rờ rạc konhớ có 6 symbols vớ xácsuất : P A =/2, P B =/4, P C =/8, P D =P E =/20,P F =/40 tìm lượng Thông tn chứa trong thông tn ABABBA và FDDFDF và so sánh vớ lượng Thông tn mong đợ trong thông đệp 6-symbol. 48

49 Bà tập về nhà 2 ột nguồn dữ lệu có 6 symbols xác suất bằng nhau, mỗ symbol ms. Symbols phát snh trong khố 5, cách nhau khoảng 5-ms. Tìm tốc độ nguồn symbol. 49

50 Bà tập về nhà 3 Tìm mã Shannon-Fano của nguồn trong Bà tập về nhà, và tính độ hệu quả. 50

51 Tham khảo []. R. E. Zemer & W. H. Transter, Informaton Theory and Codng, Prncples of Communcatons: Systems, odulaton, and Nose, 5 th edton. John Wley, pp , [2]. A. Bruce Carlson, Communcatons Systems, c Graw-Hll, 986, ISBN [3]. S. Haykn, Fundamental Lmts n Informaton Theory, Communcaton Systems, 4 th edton, John Wley & Sons Inc, pp , 200 5