ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ THU HẰNG MỘT SỐ MÔ HÌNH XÁC SUẤT TRONG

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - - - - - - - - - - - - - - - - - - - - - - - PHẠM THỊ THU HẰNG MỘT SỐ MÔ HÌNH XÁC SUẤT TRONG KHOA HỌC MÁY TÍNH Chuyên ngành: Lý thuyết Xác suất và Thống kê toán học Mã số: 60406106 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2016

Mục lục Lời nói đầu.................................. 4 1 Xác suất trong lý thuyết tổ hợp và đồ thị 6 1.1 Các ví dụ................................ 6 1.1.1 Đồ thị ngẫu nhiên....................... 6 1.1.2 Thuật toán Tìm kiếm và Sắp xếp nhanh.......... 7 1.1.3 Mô hình danh sách tự tổ chức................ 8 1.1.4 Sinh hoán vị ngẫu nhiên................... 9 1.2 Phương pháp xác suất......................... 9 1.2.1 Lời giới thiệu.......................... 9 1.2.2 Ứng dụng xác suất để chứng minh sự tồn tại....... 10 1.2.3 Xác định cận từ kỳ vọng................... 10 1.2.4 Bài toán tập hợp độc lập có trọng số tối đa: Thuật toán cận biên và ngẫu nhiên..................... 10 1.2.5 Bài toán phủ tập hợp..................... 11 1.2.6 Phản xích............................ 11 1.2.7 Bổ đề rút gọn Lovasz..................... 12 1.2.8 Thuật toán ngẫu nhiên để tính phân hoạch cực tiểu của một đồ thị............................ 12 2 Xích Markov và mô phỏng MCMC 13 2.1 Xích Markov.............................. 13 2.1.1 Giới thiệu............................ 13 2.1.2 Phương trình Chapman-Kolmogorov............ 13 2.1.3 Phân loại trạng thái...................... 14 2.1.4 Xác suất giới hạn và xác suất dừng............. 14 2.1.5 Ứng dụng............................ 15 1

2.1.6 Xích Markov với thời gian đảo ngược............ 16 2.2 Mô phỏng................................ 17 2.2.1 Mô phỏng Monte Carlo.................... 17 2.2.2 Tạo các biến ngẫu nhiên rời rạc............... 18 2.2.3 Tạo các biến ngẫu nhiên liên tục: Phương pháp biến đổi nghịch.............................. 18 2.3 Mô phỏng MCMC........................... 19 3 Quá trình Poisson 21 3.1 Quá trình Poisson không dừng.................... 21 3.2 Quá trình Poisson dừng........................ 22 3.3 Một số tính toán quá trình Poisson................. 22 3.4 Phân loại biến cố của một quá trình Poisson không dừng..... 22 3.5 Phân phối có điều kiện của các thời điểm đến........... 22 2

Công trình được hoàn thành tại: Trường Đại học Khoa hoc Tự nhiên - Đại học Quốc gia Hà Nội Người hướng dẫn khoa học: GS.TSKH Đặng Hùng Thắng Hội đồng chấm luận văn: Chủ tịch: PGS.TS Trần Hùng Thao - Viện Toán học - Viện Hàn lâm KH và CN Việt Nam Phản biện 1: TS. Nguyễn Thịnh - Đại học Khoa học Tự Nhiên - ĐHQGHN Phản biện 2: TS. Ngô Hoàng Long - Đại học Sư phạm Hà Nội Thư ký: TS. Lê Vỹ - Đại học Khoa học Tự Nhiên - ĐHQGHN Ủy viên: TS. Trần Mạnh Cường - Đại học Khoa học Tự Nhiên - ĐHQGHN Luận văn đã được bảo vệ trước Hội đồng chấm luận văn thạc sĩ họp tại: Khoa Toán-Cơ-Tin học Trường Đại học Khoa học Tự nhiên (ĐHQGHN) vào 15h giờ 30 ngày 28 tháng 12 năm 2016 Có thể tìm đọc luận văn tại: - Trung tâm thư viện Đại học Quốc gia Hà Nội 3

LỜI NÓI ĐẦU Trong những năm gần đây, xác suất đã phát triển đa dạng và có nhiều ứng dụng quan trọng trong lĩnh vực khoa học máy tính. Ví dụ, các chủ đề liên quan đến thuật toán như thuật toán ngẫu nhiên, thuật toán ước lượng và phân tích xác suất của thuật toán đều sử dụng phương pháp xác suất. Trong luận văn này, tôi muốn giới thiệu các loại mô hình và phân tích xác suất hữu dụng nhất trong khoa học máy tính. Giả sử với một hàm mở đầu trong xác suất, tôi trình bày một số đề tài quan trọng như phương pháp xác suất, xích Markov, mô phỏng MCMC và quá trình Poisson không dừng. Luận văn này cung cấp nhiều ví dụ và bài tập mô tả các đề tài như thuật toán sắp xếp, thuật toán tìm kiếm và biểu đồ ngẫu nhiên, bài toán tự sắp xếp theo danh sách, phản xích, phân hoạch cực đại và cực tiểu trong đồ thị và nhiều đề tài khác. Cấu trúc luận văn được chia làm 3 chương chính: Chương 1 đưa ra các ví dụ hay trong khoa học máy tính, đồng thời trình bày phương pháp xác suất và một số cách ứng dụng phương pháp này. Chương 2 viết về xích Markov trên không gian trạng thái rời rạc, phương pháp Monte Carlo và xích Markov Monte Carlo (MCMC). Chương 3 giới thiệu một số lớp quá trình Poisson, từ đó nghiên cứu bài toán phân loại biến cố của một quá trình Poisson không dừng và bài toán xác định phân phối có điều kiện của thời điểm đến. Trong khuôn khổ của luận văn này, do sự hạn hẹp về thời gian cũng như năng lực của bản thân, vì vậy không thể tránh khỏi những hạn chế về nội dung cũng như việc trình bầy. Tôi nhận thấy xác suất trong khoa học máy tính còn rất nhiều điều thú vị khác nữa và tôi rất mong có dịp trình bầy đầy đủ hơn. Luận văn được hoàn thành dưới sự hướng dẫn tận tâm của GS.TSKH Đặng Hùng Thắng. Tôi xin được bày tỏ lòng biết ơn và kính trọng sâu sắc của mình đến thầy. Qua đây tôi xin chân thành gửi lời cảm ơn tới các thầy cô trong Tổ 4

bộ môn Xác suất thống kê và Ban Chủ nhiệm khoa Toán - Cơ - Tin học Trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội đã chỉ bảo và hướng dẫn tận tình giúp tôi hoàn thành luận văn này! Rất mong nhận được ý kiến đóng góp của các thầy cô và các bạn! Hà Nội, tháng 11/2015 5

Chương 1 Xác suất trong lý thuyết tổ hợp và đồ thị 1.1 Các ví dụ 1.1.1 Đồ thị ngẫu nhiên Giờ hãy xem xét đồ thị với tập hợp đỉnh V = {1, 2,..., n} và tập hợp cạnh A = {(i, X(i)), i = 1,..., n} trong đó X(i) là các biến ngẫu nhiên độc lập thỏa mãn P {X(i) = j} = P j, Đồ thị vừa xây dựng là một đồ thị ngẫu nhiên. n P j = 1 Chúng ta sẽ tính xác suất để đồ thị ngẫu nhiên này là đồ thị liên thông. Để tìm được xác suất này, ta chọn một đỉnh, giả sử đỉnh 1 và lần theo chuỗi các đỉnh 1, X(1), X 2 (1),..., trong đó X n (1) = X(X n 1 (1)) để xác định giá trị của biến ngẫu nhiên N là chỉ số k nhỏ nhất sao cho X k (1) không là một đỉnh mới. Tức là, Đồng thời, gọi j=1 N = min(k : X k (1) {1, X(1),..., X k 1 (1)}) W = P 1 + N 1 i=1 P Xi (1) Nói cách khác, N là số đỉnh tiếp xúc trong chuỗi 1, X(1), X 2 (1),... trước khi một đỉnh xuất hiện hai lần còn W là tổng các xác suất của các đỉnh này. 6

Bổ đề 1.1.1. Xét một đồ thị ngẫu nhiên gồm các đỉnh 0, 1,..., r, và các cạnh (i, Y i ), i = 1,..., r, trong đó Y i là các biến ngẫu nhiên độc lập và r P {Y i = j} = Q j, j = 0,..., r, Q j = 1 Đồ thị ngẫu nhiên ở trên bao gồm r đỉnh thông thường (đánh số từ 1 đến r) và một đỉnh đặc biệt (đánh số 0); cứ mỗi đỉnh thông thường có một cạnh độc lập đi qua đỉnh j với xác suất Q j ; không có cạnh nào xuất phát từ đỉnh đặc biệt. Khi đó, P {đồ thị liên thông} = Q 0. Mệnh đề 1.1.1. P{đồ thị liên thông} = E[W] Trường hợp đặc biệt trong đó cạnh xuất phát từ mỗi đỉnh có thể đến mọi đỉnh của đồ thị với cùng xác suất P j = 1 n, j = 1,..., n. Hệ quả sau cho ta công thức tính xác suất đồ thị liên thông trong trường hợp đặc biệt này. Hệ quả 1.1.1. Khi P j = 1/n, j=0 P {đồ thị là liên thông} = (n 1)! n n n 1 j=0 n j j! Hệ quả 1.1.2. Với n lớn, P {đồ thị là liên thông} π/2n 1.1.2 Thuật toán Tìm kiếm và Sắp xếp nhanh Gọi X là số phép so sánh cần sử dụng. Để tính E[X], trước hết ta biểu diễn X thành tổng các biến ngẫu nhiên khác theo cách sau. Đầu tiên, ta đánh dấu cho các giá trị được sắp xếp: 1 biểu thị giá trị nhỏ nhất, 2 biểu thị giá trị nhỏ nhì, cứ như vậy cho tới hết. Khi đó, với 1 i < j n, lấy I(i, j) bằng 1, nếu i và j được so sánh trực tiếp và bằng 0 nếu i và j không được so sánh trực tiếp. Tính tổng các biến này với i < j cho ta tổng số phép so sánh. Đó là n j 1 X = I(i, j) j=2 i=1 7

tức là E[X] = n j 1 P { i và j được so sánh } j=2 i=1 1.1.3 Mô hình danh sách tự tổ chức Xem xét n phần tử e 1,..., e n ban đầu được sắp xếp theo một trật tự. Tại mỗi thời điểm có một yêu cầu đối với một trong số các phần tử này; e i được yêu cầu độc lập với trước đó, xác suất P i. Sau khi đáp ứng được yêu cầu, phần tử này được chuyển lên đầu danh sách. Chúng ta sẽ xác định vị trí kỳ vọng của phần tử được yêu cầu với giả thiết quá trình này diễn ra trong thời gian dài. Đặt R là vị trí phần tử được yêu cầu, ta sẽ tìm E[R] phần tử được chọn bằng cách kiểm tra điều kiện với Y. Ta có n E[R] = E[ vị trí của e i ]P i i=1 Dấu bằng cuối cùng dựa trên cơ sở vị trí của e i và biến cố e i được yêu cầu độc lập với nhau. Điều này có được do xác suất để e i được yêu cầu là P i cho dù hiện tại e i có ở vị trí nào đi nữa. Tuy nhiên, ta thấy vị trí của e i = 1 + trong đó j i I i,j ta thu được { 1, nếu ej đứng trước e I i,j = i 0, ngược lại E[vị trí của e i ] = 1 + E[I i,j ] j i = 1 + P {e j đứng trước e i } (1.1) j i Để xác định P {e j đứng trước e i }, ta thấy e j đứng trước e i nếu lần yêu cầu cuối cùng với một trong hai phần tử này là lần yêu cầu với e j. Tuy nhiên, biết rằng một lần yêu cầu có thể yêu cầu hoặc e i hoặc e j nên xác suất để e j được yêu cầu là P (e j e i hoặc e j ) = P j P i + P j 8

Do đó, P {e j đứng trước e i } = P j /(P i + P j ). Từ kết quả (??) và (1.1) ta có E[R] = 1 + n P i i=1 j i P j P i + P j 1.1.4 Sinh hoán vị ngẫu nhiên Ta nói rằng vec-tơ X(1),..., X(n) ngẫu nhiên là hoán vị ngẫu nhiên của giá trị 1,..., n nếu P {(X(1),..., X(n)) = (i 1,...i n )} = 1/n! cho tất cả n! hoán vị i 1,..., i n của 1,..., n. Khi đó, một hoán vị ngẫu nhiên có thể là bất cứ hoán vị nào trong n! hoán vị của 1,..., n. Giả sử trong phần này X(1),..., X(n) là một hoán vị ngẫu nhiên. Hệ quả 1.1.3. N = n j=1 trong đó I 1,..., I n là các biến ngẫu nhiên độc lập sao cho P {I j = 1} = Từ Hệ quả 1.1.3, có I j 1 n j + 1 = 1 P {I j = 0}, j = 1,..., n E[N] = n i=1 1 i Var(N) = n i=1 i 1 i 2 Ngoài ra, khi n lớn, từ Hệ quả 1.1.3 và định lý giới hạn trung tâm, N có hàm phân phối xấp xỉ chuẩn. 1.2 Phương pháp xác suất 1.2.1 Lời giới thiệu Phương pháp xác suất là một kỹ thuật phân tích thuộc tính của phần tử trong một tập hợp bằng cách đưa ra một không gian xác suất cho tập hợp này và khảo sát một phần tử ngẫu nhiên. Phương pháp này chủ yếu được ứng dụng để giải quyết các bài toán lý thuyết tổ hợp và đồ thị. 9

1.2.2 Ứng dụng xác suất để chứng minh sự tồn tại Giả sử chúng ta muốn chứng minh một phần tử của tập hợp S có một tính chất nào đó. Ta có thể nghiên cứu một phần tử ngẫu nhiên X trong tập hợp S rồi chứng minh xác suất của biến cố đối,biến cố mà X không có tính chất này, nhỏ hơn 1. 1.2.3 Xác định cận từ kỳ vọng Gọi f là hàm của phần tử s thuộc tập hợp hữu hạn S, giả sử ta muốn tìm m = max s S f(s) Cận dưới hữu ích có thể được xác định bằng cách sau: gọi X là một phần tử ngẫu nhiên của S có giá trị kỳ vọng f(x) có thể tính được, với m f(x) ta có m E[f(X)] Bất đẳng thức mạnh nếu f(x) là một đại lượng ngẫu nhiên không đổi. 1.2.4 Bài toán tập hợp độc lập có trọng số tối đa: Thuật toán cận biên và ngẫu nhiên Giả sử mỗi đỉnh i, i = 1,..., n có trọng số w i dương liên hợp với nó. Với mỗi tập hợp đỉnh A thì và w(a) = i A w i m = max w(a) A trong đó lấy cực đại trên các tập hợp A độc lập. m được gọi là số độc lập của đồ thị. Gọi X i, i = 1,..., n là các biến ngẫu nhiên lũy thừa độc lập với hệ số λ i, i = 1,..., n. Mệnh đề 1.2.1. Với mỗi số dương λ i, i = 1,..., n, m n w i λ i / i i=1 10

trong đó i = j D(j) Đây là thuật toán sắp xếp ngẫu nhiên để ước lượng cả m và tập hợp độc lập có trọng số tối ưu. λ j Thuật toán ước lượng ngẫu nhiên hóa 1. Đặt λ i = (w i /d(i)) b với tất cả các đỉnh i trong tập hợp đỉnh V 2. Tạo giá trị cho mỗi biến ngẫu nhiên I theo P {I = j} = λ j, λ i i V j V 3. Đặt đỉnh I vào tập hợp độc lập, loại bỏ I và các đỉnh kề nó khỏi tập hợp đỉnh của đồ thị. Tính lại bậc của các đỉnh còn lại rồi quay lại bước 1. Lặp lại các bước này thu được tập hợp độc lập có trọng số lớn nhất là một ước lượng của tập hợp độc lập có trọng số tối đa. Ta có thể chạy lại thuật toán với cùng giá trị của b hoặc thay giá trị khác sau mỗi lần chạy. 1.2.5 Bài toán phủ tập hợp Gọi S i, i = 1,..., m, là tập con của S = {1, 2,..., s}, Gọi n i là số tập hợp con chứa i, và giả sử n i > 0 với mỗi i = 1,..., s. Bài toán phủ tập hợp là bài toán tìm số tập con nhỏ nhất có thể hợp lại thành tập S. Gọi r là số tập con nhỏ nhất, sử dụng phương pháp xác suất, chứng minh rằng với mỗi số nguyên k ( s m ni ) k r k + ) m k + 1 n i + 1 1.2.6 Phản xích i=1 ( m k (1.2) Tập hợp A 1, A 2,..., A r là các tập hợp con của {1, 2,..., n}, được gọi là một phản xích nếu không có tập hợp nào trong các tập hợp này là tập hợp con của tập khác, tức là A i / A j với tất cả các cặp i j. Định lý Sperner chỉ ra rằng số tập hợp lớn nhất trong một phản xích là ( n [n/2]) trong đó [n/2] là số nguyên lớn nhất nhỏ hơn hoặc bằng n/2. Do đó, tập hợp tất cả các tập hợp con của {1, 2,..., n} kích thước [n/2] tạo thành phản xích lớn nhất. 11

1.2.7 Bổ đề rút gọn Lovasz Xem xét tập hợp các biến cố {A i, i = 1,..., n} với 0 < P (A i ) < 1, giả sử ta muốn chứng minh không biến cố nào có thể xảy ra. Rõ ràng đây là trường hợp các biến cố độc lập với nhau nhưng ngay cả khi chúng không độc lập thì kết quả này cũng có thể xảy ra khi mỗi biến cố độc lập lẫn nhau với mỗi tập hợp con chứa hầu hết các biến cố khác như định nghĩa sau đây. Định nghĩa 1.2.1. Biến cố A độc lập lẫn nhau với tập hợp các biến cố {B 1,..., B r } nếu xác suất có điều kiện của A, với điều kiện để B i xảy ra, bằng xác suất không điều kiện P (A). Bổ đề 1.2.1. Bổ đề rút gọn Lovasz Cho các biến cố A 1,..., A n, nếu với mỗi i, i = 1,..., n, A i độc lập lẫn nhau với một tập hợp chứa tất cả các biến cố ngoại trừ nhiều nhất d biến cố A j khác, j i và P (A i ) 1 e(d + 1) thì ( n P j=1 A c j ) > 0 1.2.8 Thuật toán ngẫu nhiên để tính phân hoạch cực tiểu của một đồ thị ta đặt Giả sử ta muốn tìm một cách phân hoạch có sức chứa nhỏ nhất. Tức là nếu m 0 = min c(x, X c ) thì bài toán trở thành tìm m 0 cùng với một phân hoạch sức chứa m 0. Với X 0, X0 c là một phân hoạch có sức chứa nhỏ nhất. Xây dựng một thuật toán xác suất để cho ra một phân hoạch mà sức chứa của nó bằng c(x 0, X0 c) với xác suất lớn hơn hoặc bằng 2/n 2. Thuật toán này còn có thể cho ta một phân hoạch cực tiểu với xác suất cao tùy ý. 12

Chương 2 Xích Markov và mô phỏng MCMC 2.1 Xích Markov 2.1.1 Giới thiệu Xét quá trình ngẫu nhiên thời gian rời rạc. Nếu X n = i thì quá trình được gọi là trong trạng thái i tại thời điểm n. Giả sử khi quá trình ở trạng thái i, có một xác suất cố định P i,j để trạng thái tiếp theo là trạng thái j. Tức là P {X n+1 = j X n = i, X n 1 = i n 1,..., X 0 = i 0 } = P i,j (2.1) P i,j 0, P i,j = 1 Gọi P là ma trận các xác suất chuyển tiếp một bước P i,j P 0,0 P 0,1... P 0,j... P 1,0 P 1,1... P 1,j... P =............... P i,0 P i,1... P i,j.................. 2.1.2 Phương trình Chapman-Kolmogorov P n i,j j là xác suất để xích chuyển từ trạng thái i sang trạng thái j sau n bước. Phương trình Chapman Kolmogorov giúp ta tính được xác suất n bước này. Phương trình như sau: P n+m i,j = k=0 P n i,k P m k,j (2.2) 13

2.1.3 Phân loại trạng thái Ta nói trạng thái i đến được trạng thái j nếu tồn tại Pi,j n > 0 với n 0, kí hiệu i j. Hai trạng thái i và j được gọi là liên thông nếu i j và j i, kí hiệu i j Quan hệ liên thông là quan hệ tương đương. Một Xích Markov được gọi là tối giản nếu hai trạng thái bất kỳ đều liên thông với nhau. Với mỗi trạng thái i, gọi f i là xác suất để bắt đầu từ trạng thái i, quá trình sẽ trở lại trạng thái đó. Trạng thái i được gọi là hồi quy nếu f i = 1 và trạng thái i được gọi là trans nếu f i < 1. Mệnh đề 2.1.1. Trạng thái i hồi quy nếu Pi,i n = trans nếu n=0 n=0 P n i,i < Hệ quả 2.1.1. Nếu trạng thái i hồi quy và trạng thái i liên thông j thì trạng thái j hồi quy. 2.1.4 Xác suất giới hạn và xác suất dừng Nếu trạng thái i hồi quy thì nó được gọi là hồi quy dương nếu bắt đầu từ i, kỳ vọng thời gian đến khi quá trình quay lại trạng thái i là hữu hạn. Trạng thái hồi quy dương không tuần hoàn được gọi là giả thiết ergodic. Định lí 2.1.1. Với một xích Markov tối giản ergodic, tồn tại lim n P n i,j và độc lập với i. Gọi π j = lim P i,j n n thì π j, j 0, là nghiệm không âm duy nhất của π j = π i P i,j (2.5) i π j = 1 (2.6) j Mệnh đề 2.1.2. Gọi {X n, n 1} là xích Markov tối giản với xác suất dừng π j và gọi r là hàm giới hạn không gian trạng thái. Khi đó, với xác suất 1, N n=1 lim r(x n) = r(j)π j N N 14 j

2.1.5 Ứng dụng Mô hình cho hiệu suất thuật toán Bài toán tối ưu hóa sau đây được gọi là quy hoạch tuyến tính: cực tiểu biểu thức cx với điều kiện: Ax = b, x 0 trong đó A là một ma trận hằng có kích thước m n, c = (c 1,..., c n ) và b = (b 1,..., b m ) là các véc tơ hằng cố định và x = (x 1,.., x n ) R + n được chọn để tối tiểu hóa cx = n i=1 c ix i. Ta xem xét một mô hình xác suất (xích Markov) đơn giản thể hiện cách thuật toán di chuyển theo tập hợp các điểm cực biên. Cụ thể, giả sử nếu tại thời điểm nào đó thuật toán đang ở điểm cực biên tốt thứ j, nên sau lần lặp tiếp theo, điểm cực biên tìm thấy có thể là bất cứ điểm nào trong j 1 điểm cực biên tốt hơn. Xem xét một xích Markov trong đó P 1,1 = 1, và với i > 1 P i,j = 1, j = 1,..., i 1 i 1 Gọi T i là số lần chuyển tiếp cần thiết để đi từ trạng thái i đến trạng thái 1. Ta viết được hàm đệ quy cho E[T i ] bằng cách lấy xác suất điều kiện với trạng thái ban đầu: E[T i ] = 1 + 1 i 1 i 1 E[T j ] i 1 Chứng minh bằng phương pháp quy nạp, ta có E[T i ] = 1/j Để biểu thị T N một cách hoàn chỉnh hơn, ta sử dụng biểu thức T N = N 1 j=1 j=1 j=1 I j (2.11) trong đó I j = { 1, nếu xích ở trạng thái j 0, nếu ngược lại 15

Mệnh đề 2.1.3. Dãy biến ngẫu nhiên I 1,..., I N 1 là độc lập, và Hệ quả 2.1.2. (a) E[T N ] = (b) V ar(t N ) = N 1 j=1 P {I j = 1} = 1/j, j = 1,..., N 1 1 j (1 1 j ) N 1 j=1 1 j (c) Với n lớn, T N có phân phối xấp xỉ chuẩn với trị số trung bình và phương sai đều bằng ln N. Tổng quát, để mô hình hóa số lần lặp của một thuật toán luôn chuyển tới một trạng tối ưu hơn ta có thể sử dụng một xích Markov có xác suất chuyển thỏa mãn điều kiện: P i,j = 0 nếu0 i < j (2.12) Gọi D i là lượng trạng thái giảm khi chuyển tiếp từ trạng thái i, khi đó P {D i = k} = P i,i k Mệnh đề 2.1.4. Đặt N n là số chuyển tiếp cần để một xích Markov có xác suất chuyển tiếp thỏa mãn điều kiện (2.12) đi từ trạng thái n sang trạng thái 0. Nếu tồn tại hàm không tăng d(i), i > 0, thoả mãn E[D i ] d(i) thì E[N n ] n i=1 1 d(i) (2.13) 2.1.6 Xích Markov với thời gian đảo ngược Xem xét một xích Markov dừng có xác suất chuyển tiếp là P i,j và xác suất dừng π i. Giả sử bắt đầu từ thời điểm n, ta thấy xích trạng thái quay ngược lại trình tự trước đó. Tức là với một xích các trạng thái X n, X n 1, X n 2,... bản thân xích này là một xích Markov với xác suất chuyển tiếp Q i,j trong đó Q i,j π j P j,i π i Nếu Q i,j = P i,j thì xích Markov được gọi là đảo ngược thời gian. 16

Định lí 2.1.2. Điều kiện Kolmogorov để đảo ngược thời gian Một xích Markov có P i,j = 0 khi P j,i = 0 có tính đảo ngược thời gian nếu bắt đầu từ trạng thái i, bất cứ đường đi từ i nào đều có cùng xác suất với đường đi từ hướng ngược lại. Tức là xích có tính đảo ngược thời gian nếu P i,i1 P i1,i 2... P ik,i = P i,ik P ik,i k 1... P i1,i (2.3) với mọi k và trạng thái i, i 1,..., i k. Khái niệm xích nghịch đảo khá hữu dụng ngay cả khi xích Markov ban đầu không có tính đảo ngược thời gian. Để mô tả điều này, ta cần sử dụng Mệnh đề sau. Mệnh đề 2.1.5. Xem xét một xích Markov tối giản có xác suất chuyển tiếp P i,j. Nếu có thể tìm được các số dương π i, i 0 có tổng bằng 1 và ma trận xác suất chuyển tiếp Q = [Q i,j ] thỏa mãn P i,j = π j Q j,i (2.4) thì Q i,j là xác suất chuyển tiếp của xích nghịch đảo và π i là xác suất dừng của cả xích ban đầu và xích nghịch đảo. 2.2 Mô phỏng 2.2.1 Mô phỏng Monte Carlo Đặt X = (X 1,..., X n ) là véc tơ ngẫu nhiên có hàm mật độ chung là f(x 1,..., x n ), giả sử ta cần xác định θ = E[g(X) =... g(x 1,..., x n )f(x 1,..., x n )dx 1...dx n với hàm n chiều g nào đó. Trong nhiều trường hợp, ta không thể tính được cụ thể tích phân trên hay thậm chí cũng không thể ước lượng được một khoảng chính xác nào đó. Ta chỉ có thể ước lượng θ bằng cách mô phỏng. Để ước lượng θ bằng phương pháp mô phỏng, trước hết ta tạo một vec tơ ngẫu nhiên X (1) có hàm mật độ f, và tìm giá trị Y 1 = g(x (1) ). Sau đó tạo ra một thứ ngẫu nhiên vector X (2), độc lập đầu tiên, cũng với mật độ f, và sau đó tính Y 2 = g(x (2) ). Tiếp tục như vậy cho đến khi bạn có tạo ra các giá trị của r, một 17

số được xác định trước, của các biến ngẫu nhiên Y i = g(x (i) ), i = 1,..., r Theo luật số lớn mạnh ta có: Y 1 +... + Y r lim r r = E[g(X (1) )] = θ Do đó, ta có thể sử dụng trung bình các giá trị tạo được Y i là một ước lượng của θ. Phương pháp ước lượng E[g(X)] này được gọi là phương pháp mô phỏng Monte Carlo. 2.2.2 Tạo các biến ngẫu nhiên rời rạc suất Giả sử ta cần tạo giá trị của một biến ngẫu nhiên X có hàm phân bố xác p i = P {X = x j }, j = 0, 1,... Ta có thể thực hiện bằng cách tạo một số ngẫu nhiên U và thiết lập x 0, nếu U < p 0 x 1, nếu p 0 U < p 0 + p 1 X =. x j, nếu j 1 i=1 p i U < j i=1 p i. Vì P {a U < b} = b a với 0 < a < b < 1, ta có { j 1 P {X = x j } = P p i U < i=1 j } p i = p j i=1 2.2.3 Tạo các biến ngẫu nhiên liên tục: Phương pháp biến đổi nghịch Xem xét một biến ngẫu nhiên liên tục X có hàm phân phối F. Một phương pháp tổng quát để tạo ra X, được gọi là phương pháp biến đổi nghịch, dựa trên mệnh đề sau. Mệnh đề 2.2.1. Gọi U là biến ngẫu nhiên đều (0, 1). Với bất kỳ hàm phân phối liện tục F, biến ngẫu nhiên X được xác định như sau X = F 1 (U) Có phân phối F trong đó F 1 (u) là giá trị của x thỏa mãn F (x) = u. 18

2.3 Mô phỏng MCMC Gọi X là véc tơ ngẫu nhiên rời rạc có tập hợp các giá trị là x j, j 1. Đặt P {X = x j }, j 1 là hàm phân bố xác suất của X và giả sử ta cần tính θ = E[h(X)] = h(x j )P {X = x j } j Với mọi hàm h cho trước. Trong nhiều trường hợp việc tính tất cả các h(x j ) là rất phức tạp nên ta thường chuyển sang mô phỏng để ước lượng θ. Một trong các phương pháp như vậy là Mô phỏng Monte Carlo, nó dùng các số ngẫu nhiên để tạo ra một dãy các véc tơ ngẫu nhiên độc lập {X 1, X 2,..., X n } có cùng phân bố P {X = x j }. Theo luật mạnh số lớn n i=1 lim h(x i) = θ n n Nên ta có thể ước lượng θ bằng cách chọn n đủ lớn và dùng trung bình các giá trị của h(x i ) làm ước lượng. Tuy nhiên, thông thường rất khó để tạo ra một véc tơ ngẫu nhiên có hàm phân bố xác suất cho trước, đặc biệt khi X là véc tơ của các biến ngẫu nhiên phụ thuộc. Hơn nữa, có nhiều ứng dụng trong đó hàm phân bố xác suất của X chỉ được biết sai khác một hằng số nhân, tức là hàm được cho theo dạng P {X = x j } = Cb j, j 1 trong đó b j được cho trước nhưng phải tính C. Tuy nhiên, vẫn có một phương pháp khác bên cạnh phương pháp Monte Carlo thông thường là sử dụng mô phỏng để ước lượng θ. Bằng cách tạo ra một xích không phải gồm các véc tơ ngẫu nhiên độc lập mà là các trạng thái liên tiếp của một xích Markov mang giá trị véc tơ X n, n 1,ở đó xác suất dừng là P {X = x j }, j 1. Khi điều này được thực hiện, ta có thể áp dụng Mệnh đề 2.1.2 và sử dụng n i=1 h(x i)/n để ước lượng θ. Để hiểu cách tạo một xích Markov với xác suất dừng ngẫu nhiên chỉ được cho dưới dạng một hàm hệ số bội, gọi b(j), j 1, là các số dương có tổng B = j=1 b(j) hữu hạn. Thuật toán sau đây, được gọi là thuật toán Hastings Metropolis, được sử dụng để tạo ra một xích Markov đảo ngược thời gian có xác suất dừng: π(j) = b(j)/b, j 1. 19

Gọi Q ma trận xác suất chuyển của xích Markov tối giản có không gian trạng thái là tập các số nguyên, với q(i, j) biểu diễn giá trị ở hàng i cột j. Giờ ta sẽ xác định xích Markov {X n } như sau: Khi X n = i, tạo một biến Y ngẫu nhiên sao cho P {Y = j} = q(i, j). Nếu Y = j thì đặt X n+1 bằng j với xác suất α(i, j) và đặt bằng i với xác suất 1 α(i, j), trong đó giá trị của α(i, j) sẽ được cho dưới đây. Với những điều kiện này, dãy các trạng thái là một xích Markov có xác suất chuyển tiếp P i,j thỏa mãn cho bởi P i,j = q(i, j)α(i, j), j i P i,i = q(i, i) + q(i, k)[1 α(i, k)] k i xích Markov này có tính khôi phục ngươc thời gian và có xác suất dừng π(j) nếu điều này tương đương với π(i)p i,j = π(j)p j,i Tuy nhiên, nếu ta chọn π(j) = b(j)/b và đặt π(i)q(i, j)α(i, j) = π(j)q(j, i)α(j, i) (2.5) α(i, j) = min ( π(j)q(j, i) π(i)q(i, j), 1) (2.6) thì đẳng thức (2.5) dễ dàng được thỏa mãn (vì nếu π(j)q(j, i)/π(i)q(i, j) 1 thì α(i, j) bằng tỉ lệ này và α(j, i) bằng 1; với một kết quả nghịch đảo nếu tỉ lệ này lớn hơn 1.) Do vậy, xích Markov là khả nghịch với xác suất dừng π(j) = b(j)/b. Hơn nữa, từ đẳng thức (2.6) ta thấy α(i, j) = min ( b(j)q(j, i) b(i)q(i, j), 1) tức là để xác định xích Markov thì không cần biết giá trị của B mà chỉ cần biết các giá trị b(j), j 1 là đủ. Hơn nữa, thường thì π(j) không chỉ là xác suất dừng mà còn là xác suất giới hạn của xích Markov tìm được. Một điều kiện đủ để đảm bảo điều này là p i,i > 0 với mọi i. 20

Chương 3 Quá trình Poisson 3.1 Quá trình Poisson không dừng Một quá trình ngẫu nhiên {N(t), t 0} được gọi là quá trình đếm nếu các biến cố xuất hiện ngẫu nhiên trong một thời gian và N(t) là số biến cố xảy ra trong khoảng thời gian từ 0 đến t. Định nghĩa 3.1.1. Quá trình đếm N(t), t 0 được gọi là một quá trình Poisson không dừng có hàm cường độ λ(t), t 0, nếu 1. N(0) = 0 2. N(t), t 0 có gia số độc lập 3. P {N(t + h) N(t) = 1} = λ(t)h + o(h) 4. P {N(t + h) N(t) 2} = o(h) Nếu ta đặt thì ta có kết quả sau đây. m(t) = 1 0 λ(y)dy Định lí 3.1.1. [m(s+t) m(s)] [m(s + t) m(s)]n P {N(s + t) N(s) = n} = e n! Nghĩa là N(s + t) N(s) là một biến Poisson ngẫu nhiên có trị số trung bình m(s + t) m(s). 21

3.2 Quá trình Poisson dừng Một quá trình Poisson không dừng có λ(t) λ được gọi là quá trình Poisson dừng có tham số λ. Với quá trình Poisson có tham số λ, gọi T 1 là thời gian xảy ra biến cố đầu tiên và T n, n > 1, là thời gian giữa biến cố thứ (n 1) và biến cố thứ n. Dãy T n, n 1 được gọi là dãy thời gian các lần đến liên tiếp. Mệnh đề 3.2.1. Thời gian các lần đến liên tiếp T n, n 1, độc lập và là các biến lũy thừa ngẫu nhiên có tham số λ phân phối giống hệt nhau. 3.3 Một số tính toán quá trình Poisson Một phương pháp thường được sử dụng để tính giá trị kỳ vọng của biến ngẫu nhiên X(t), trong đó t là thời gian và giá trị X(t) phần nào được xác định bởi quá trình Poisson, là tìm một phương trình vi phân. Ví dụ 3.3.1 và 3.3.2 sẽ mô tả phương pháp này. 3.4 Phân loại biến cố của một quá trình Poisson không dừng Quan sát một quá trình Poisson không dừng {N(t), t 0} có hàm cường độ λ(t). Giả sử một biến cố xảy ra tại thời điểm s độc lập với các biến cố trước đó là một biến cố loại 1 với xác suất p(s) hoặc loại 2 với xác suất 1 p(s), s 0. Gọi N i (t) là số biến cố loại i xảy ra tính đến thời điểm t. Mệnh đề sau đây thường được áp dụng trong các bài toán. Mệnh đề 3.4.1. {N 1 (t), t 0} và {N 2 (t), t 0} là các quá trình Poisson không dừng độc lập có hàm cường độ tương ứng là λ(t)p(t) và λ(t)(1 p(t)). 3.5 Phân phối có điều kiện của các thời điểm đến Với một biến cố riêng trong một quá trình Poisson không dừng xảy ra trước thời điểm t, ta sẽ tìm phân phối có điều kiện của thời điểm xảy ra biến cố này. Gọi S 1 là thời điểm xảy ra biến cố, khi đó với 0 s t, 22

Mệnh đề 3.5.1. Biết N(t) = n, n thời điểm biến cố 0 < S 1 < S 2 <... < S n < t được phân phối theo thống kê thứ tự từ một tập hợp n biến ngẫu nhiên độc lập cùng phân phối có hàm mật độ F (s) = λ(s) m(t), 0 s t 23

Tài liệu tham khảo Tiếng Việt [1] Đặng Hùng Thắng (2012), Mở đầu về lý thuyết xác suất và các ứng dụng, NXB Giáo dục Việt nam. [2] Nguyễn Duy Tiến, Vũ Viết Yên (2013), Lý Thuyết Xác suất, NXB Giáo dục Việt Nam. Tiếng Anh [3] Barbour, A.,Holst, L., and Jansen, S. (1992),Poisson Approximations. Oxford University Press. [4] Bollobas, B. (1999), Random Graphs. 2nd ed., San Diego: Academic Press. [5] Ross, S. (1996), Stochastic Processes. 2nd ed., NY: Wiley. [6] Sheldon M.Ross (2002), Probability Models for Computer science, Harcourt/ Academic Press. 24