ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - 2016

ĐẠI HỌC QUỐC GIA HÀ NÔI ĐẠI HỌC KHOA HỌC TỰ NHIÊN Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS. Trần Mạnh Cường HÀ NỘI - 2016

Lời cảm ơn Luận văn này được hoàn thành với sự hướng dẫn tận tình và cũng hết sức nghiêm khắc của TS. Trần Mạnh Cường. Trước khi trình bày nội dung chính của luận văn, tác giả muốn bày tỏ lòng biết ơn chân thành và sâu sắc tới người thầy đáng kính của mình. Thầy đã luôn tận tình hướng dẫn cũng như giải đáp các thắc mắc của tác giả trong suốt quá trình làm luận văn. Tác giả cũng muốn gửi tới toàn thể các thầy cô Khoa Toán - Cơ - Tin học trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội, các thầy cô đã đảm nhận giảng dạy khóa Cao học 2014-2016, đặc biệt là các thầy cô tham gia giảng dạy nhóm Xác suất thống kê 2014-2016 lời cảm ơn chân thành đối với công lao dạy dỗ trong suốt thời gian của khóa học. Tác giả xin cảm ơn gia đình, bạn bè, đồng nghiệp và các anh chị em trong nhóm Xác suất thống kê 2014-2016, các thành viên trong nhóm Seminar do thầy Trần Mạnh Cường phụ trách về các chủ đề liên quan đến đã quan tâm, giúp đỡ, tạo điều kiện và động viên tinh thần để tác giả có thể hoàn thành được khóa học này. Tác giả xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2016. Học viên Đỗ Thị Len 0

Mục lục Lời cảm ơn 0 Lời mở đầu 2 1 5 5 1.1 Giới thiệu......................................... 5 1.2 Một số phân phối thường dùng........................... 7 1.3 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức.............. 14 1.3.1 Tiên nghiệm.................................. 14 1.3.2 Hậu nghiệm................................... 15 1.3.3 Ước lượng.................................... 15 1.3.4 Kiểm định giả thiết.............................. 16 1.4 Suy luận Bayes cho kỳ vọng phân phối Gaussian................ 17 1.4.1 Tiên nghiệm.................................. 17 1.4.2 Hậu nghiệm................................... 17 1.4.3 Ước lượng.................................... 18 1.4.4 Kiểm định giả thiết.............................. 19 1.5 Hồi quy Bayes...................................... 20 1.5.1 Suy luận Bayes cho mô hình hồi quy tuyến tính Bayes đơn...... 21 1.5.2 Mô hình hồi quy tuyến tính Bayes bội................... 25 1.5.3 Mô hình hồi quy Logistic Bayes....................... 27 1

MỤC LỤC MỤC LỤC 2 Phương pháp VB 30 2.1 Nguồn gốc toán học.................................. 30 2.2 Xấp xỉ phân phối hậu nghiệm............................ 32 2.2.1 Xấp xỉ phân phối hậu nghiệm của biến Z độc lập từng khối..... 32 2.2.2 Xấp xỉ địa phương - Tham số biến phân................. 34 2.3 Áp dụng phương pháp VB cho phân phối Gaussian............... 36 2.3.1 Phân phối Gaussian một chiều....................... 36 2.3.2 Phân phối đa thức Gaussian......................... 40 2.4 Áp dụng phương pháp VB cho mô hình hồi quy Bayes............. 47 2.4.1 Mô hình hồi quy tuyến tính Bayes..................... 47 2.4.2 Mô hình hồi quy Logistic Bayes....................... 52 3 Ứng dụng 59 3.1 Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết........ 59 3.1.1 Bài toán..................................... 60 3.1.2 Thuật toán................................... 63 3.1.3 Code chạy phần mềm mathlab....................... 63 3.1.4 Kết quả...................................... 66 3.2 Phân phối hậu nghiệm thuộc họ phân phối đã biết............... 67 3.2.1 Bài toán..................................... 67 3.2.2 Thuật toán................................... 71 3.2.3 Code chạy phần mềm mathlab....................... 71 3.2.4 Kết quả...................................... 73 Kết luận 75 1

Lời mở đầu Hiện nay, thống kê có hai trường phái: Thống kê tần suất và thống kê Bayes. Thống kê tần suất ra đời trước và là phương pháp phổ biến hiện nay. Nó dựa trên những kết quả quan sát mẫu của hiện tại mà không cần đến những thông tin, dữ liệu đã biết trước. Thống kê Bayes dựa trên những thông tin dữ liệu đã biết trước và kết quả quan sát mẫu của hiện tại để suy luận cho những thống kê hiện tại. hay còn gọi là suy luận Bayes ra đời trên cơ sở định lý Bayes. Đó là kiểu suy luận thống kê mà trong đó, các nhà thống kê sử dụng phân phối tiên nghiệm thông tin đã biết trước) về vấn đề đang xét và thông tin mẫu các quan sát hay bằng chứng), áp dụng công thức trong định lý Bayes để tìm ra phân phối hậu nghiệm xác suất xảy ra ở hiện tại), từ đó dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại. Ví dụ: Xét bài toán ước lượng cho tham số θ của biến ngẫu nhiên X với mẫu X 1, X 2,..., X n. Theo thống kê tần suất, tham số θ của biến ngẫu nhiên nhận một giá trị nào đó. Ta tìm được tham số của mẫu θ theo công thức tính dựa theo giá trị quan sát mẫu. Ta có E[θ ] = θ. Do đó, ta dùng θ để ước lượng cho tham số θ. Chẳng hạn, ước lượng cho giá trị trung bình µ của biến ngẫu nhiên: ta tính trung bình mẫu X = 1 n X i, sau đó dùng n giá trị trung bình mẫu để ước lượng cho µ. Theo thống kê Bayes, tham số θ cũng là một biến ngẫu nhiên liên tục. Trước hết, ta biết phân phối tiên nghiệm của θ là p θ). Sau đó, áp dụng định lý Bayes ta tính được mật độ hậu nghiệm p θ X 1, X 2,..., X n ). Khi đó tham số của mẫu dùng để ước lượng được xác i=1 2

Lời mở đầu định như sau: θ = E[θ] = θp θ X 1, X 2,..., X n )dθ Để ước lượng cho các tham số của các thống kê hiện tại, các nhà thống kê Bayes cần dùng phân phối hậu nghiệm để ước lượng. Như vây ta có thể nói rằng phân phối hậu nghiệm là một yếu tố đặc biệt quan trọng trong quá trình suy luận Bayes. Tuy nhiên, việc tính toán để tìm ra phân phối hậu nghiệm đôi khi rất phức tạp hoặc có thể không tính được. Để giải quyết vấn đề này, người ta tìm cách xấp xỉ phân phối hậu nghiệm. Do đó, phương pháp VB Variational Bayesian) ra đời để tìm giá trị gần đúng nhất của phân phối hậu nghiệm. Trong luận văn này, tác giả trình bày về một phương pháp trong suy luận Bayes là phương pháp VB và một số ứng dụng của phương pháp này. Luận văn của tác giả được chia làm 3 chương: Chương 1. Trong chương này, tác giả giới thiệu chung về thống kê Bayes; một số phân phối thông thường; một số mô hình suy luận Bayes: Suy luận Bayes cho tham số của phân phối nhị thức, kỳ vọng của phân phối Gaussian một chiều, tham số của mô hình hồi quy tuyến tính Bayes đơn. Từ đó làm cơ sở để nghiên cứu các phần tiếp theo. Chương 2. Phương pháp VB Trong chương này, tác giả trình bày kiến thức về phương pháp VB bao gồm: Nguồn gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối Gaussian, áp dụng phương pháp VB cho mô hình hồi quy Bayes. Chương 3. Ứng dụng Trong chương này, tác giả giới thiệu ứng dụng phương pháp VB cho hai trường hợp: Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết; phân phối hậu nghiệm thuộc họ phân phối đã biết. Để nghiên cứu về đề tài "Phương pháp VB và ứng dụng", tác giả đã tham khảo một số tài liệu trong và ngoài nước về thống kê tần suất, thống kê Bayes, phần mềm Mathlab. Trong đó 3

Lời mở đầu Nội dung chính chương 1 của luận văn tham khảo tài liệu [5] và [8]; Nội dung chính chương 2 của luận văn tham khảo tài liệu [5] và [6]; Nội dung chính chương 3 của luận văn tham khảo tài liệu [5]; Ở phần ứng dụng phương pháp VB, tác giả áp dụng phương pháp VB để tính toán. Từ đó, viết thuật toán và dùng phần mềm Mathlab để thực hiện ra kết quả. 4

Chương 1 có sự khác biệt so với thống kê tần suất ở cách thức tiếp cận vấn đề: Thống kê tần suất quan niệm tham số của biến ngẫu nhiên là một giá trị nào đó, còn thống kê Bayes quan niệm tham số của biến ngẫu nhiên cũng là một biến ngẫu nhiên. Suy luận Bayes thực hiện theo trình tự: từ phân phối tiên nghiệm mà ta tin tưởng, áp dụng định lý Bayes tìm phân phối hậu nghiệm, sau đó dùng phân phối hậu nghiệm để ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính. 1.1 Giới thiệu Suy luận Bayes xuất phát từ định lý Bayes điều chỉnh các xác suất khi có thông tin mới theo cách sau đây: P X Z ).P Z ) P Z X ) = P X ) Trong đó Z đại diện cho một giả thiết, giả thiết này được suy luận trước khi có thông tin mới. P Z ) được gọi là xác suất tiên nghiệm của Z. P X Z ) là xác suất xảy ra X nếu biết giả thiết Z là đúng. Đại lượng này còn được gọi là hàm hợp lý likelihood) biểu diễn dưới dạng một hàm của X khi cho trước Z và là thông tin mới. 5

Giới thiệu P X ) được gọi là xác suất biên duyên của X. P Z X ) được gọi là xác suất hậu nghiệm của Z nếu biết X. Theo định lý này thì xác suất hậu nghiệm tỉ lệ với tích của xác suất tiên nghiệm và hàm hợp lý, kí hiệu là P Z X ) P Z ) P X Z ). Tức là tiên nghiệm nhân với hằng số bất kỳ cũng không ảnh hưởng đến kết quả của hậu nghiệm. P X Z ) Hệ số Bayes B = đại diện cho ảnh hưởng của thông tin mới thu được đối với P X ) xác xuất xảy ra Z nếu biết X. Nếu hệ số này sẽ có giá trị lớn, khi nhân xác suất tiên nghiệm với hệ số này, ta được một xác suất hậu nghiệm lớn. Nhờ đó, trong suy luận Bayes, định lý Bayes đo được mức độ mà thông tin mới sẽ làm thay đổi mức độ tin tưởng vào một giả thiết. Khi có thông tin mới về một biến ngẫu nhiên, suy luận Bayes cho biến ngẫu nhiên đó thực hiện theo các bước sau: Xác định phân phối tiên nghiệm Phân phối tiên nghiệm prior distribution) của biến ngẫu nhiên Z là phân phối mà ta tin tưởng, có được từ kinh nghiệm tích lũy, kí hiệu là p Z ). Áp dụng định lý Bayes để tìm phân phối hậu nghiệm. Phân phối hậu nghiệm posterior distribution) của biến Z nếu biết X là phân phối có được bằng tính toán theo định lý Bayes, sau khi có thông tin mới p X Z ). Kí hiệu là p Z X ). Dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại: Ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính. Trong luận văn này, phân phối tiên nghiệm để suy luận cho biến ngẫu nhiên là phân phối tiên nghiệm liên hợp. Phân phối tiên nghiệm liên hợp conjugate prior) là phân phối tiên nghiệm mà phân phối hậu nghiệm tìm được cùng họ với phân phối tiên nghiệm. Các nhà thống kê Bayes lập luận rằng ngay cả khi người ta có các xác suất chủ quan tiên nghiệm rất khác nhau thì với thông tin mới từ các quan sát lặp đi lặp lại sẽ có xu hướng đưa các xác suất hậu nghiệm của họ lại gần nhau hơn. 6

1.2. MỘT SỐ PHÂN PHỐI THƯỜNG DÙNG 1.2 Một số phân phối thường dùng Phân phối Bernoulli Phân phối Bernoulli với tham số π là phân phối của biến ngẫu nhiên X nhận hai giá trị 0,1 với P X = 1) = π;p X = 0) = 1 π có hàm mật độ xác định như sau: Ber n X π) = π x 1 π) 1 x Các tham số đặc trưng của biến ngẫu nhiên X : E[X ] = π var[x ] = π1 π) Phân phối này là trường hợp đặc biệt của phân phối nhị thức chỉ có một quan sát. Phân phối tiên nghiệm liên hợp cho tham số π là phân phối Beta. Phân phối Beta Phân phối Beta với hai tham số a và ba > 0,b > 0) là phân phối của biến ngẫu nhiên liên tục Π nhận giá trị trên [0,1] có hàm mật độ xác định như sau: trong đó Γx) = u x 1 e u du. 0 Bet a Π a,b) = Các tham số đặc trưng của biến ngẫu nhiên Π Γa + b) Γa)Γb) πa 1 1 π) b 1 E[Π] = a a + b ab var[π] = a + b) 2 a + b + 1) Phân phối Beta là phân phối tiên nghiệm liên hợp cho phân phối Bernoulli. Khi a = b = 1 thì phân phối Beta trở thành phân phối đều. Phân phối Beta là trường hợp đặc biệt của phân phối Dirichlet K chiều với K = 2. Phân phối nhị thức 7

Một số phân phối thường dùng Phép thử ngẫu nhiên thực hiện n lần với xác suất thành công các lần thử đều bằng nhau và bằng π. Trong n lần thực hiện có m lần thành công. Phân phối nhị thức với tham số n số lần thử) và tham số π [0,1]xác suất thành công của các lần thử) của biến ngẫu nhiên M số lần thành công) nhận giá trị 1,2,...,n có hàm mật độ xác định như sau: B M n,π) = n m π m 1 π) N m Các tham số đặc trưng của biến ngẫu nhiên M: E[M] = nπ var[m] = nπ1 π) Khi n = 1 thì phân phối nhị thức chính là phân phối Bernoulli và khi n rất lớn thì phân phối nhị thức xấp xỉ phân phối Gaussian. Phân phối tiên nghiệm liên hợp cho π là phân phối Beta. Phân phối Dirichlet Phân phối Dirichlet với tham số α = α 1,...,α K ) T,α k > 0,k = 1,K là một phân phối đa thức của biến ngẫu nhiên K chiều Π = Π 1,...,Π K ) T sao cho có hàm mật độ xác định như sau: 0 π k 1,k = 1,K K π k = 1 k=1 Dir Π α) = C α) K k=1 π α k 1 k 8

Một số phân phối thường dùng Trong đó Các đặc trưng của biến ngẫu nhiên Π: Γ α) C α) = Γα 1 )...Γα K ) K α = α k k=1 E[Π k ] = α k α var[π k ] = α k α α k ) α 2 α + 1) cov [ ] α j α k Π j Π k = α 2 α + 1) E[lnπ k ] = ψα k ) ψ α) Trong đó ψa) d da lnγa) Phân phối Dirichlet là phân phối tiên nghiệm liên hợp cho phân phối đa thức và là dạng tổng quát của phân phối Beta. Phân phối Gamma Phân phối Gamma với hai tham số a và ba > 0,b > 0) là phân phối xác suất của biến ngẫu nhiên dương τ > 0 có hàm mật độ xác định như sau: Gam τ a,b) = 1 Γa) ba τ a 1 e bτ Các đặc trưng của biến ngẫu nhiên τ: E[τ] = a b var[τ] = a b 2 E[lnτ] = ψa) lnb 9

Một số phân phối thường dùng Phân phối Gamma là phân phối tiên nghiệm liên hợp cho độ chính xác của biến ngẫu nhiên tuân theo quy luật phân phối Gaussian. Nói cách khác, phân phối Gama ngược là phân phối tiên nghiệm liên hợp của phương sai của biến ngẫu nhiên tuân theo quy luật phân phối Gaussian. Đặc biệt khi a = 1 phân phối Gamma chính là phân phối mũ. Phân phối Gaussian - Phân phối Chuẩn Phân phối Gaussian là phân phối biến ngẫu nhiên liên tục và là phân phối phổ biến nhất của biến ngẫu nhiên. Trường hợp biến ngẫu nhiên một chiều: Phân phối Gaussian với tham số kỳ vọng µ và tham số phương sai σ 2 > 0 là phân phối của biến ngẫu nhiên liên tục X nhận giá trị trên R, kí hiệu là N X µ,σ 2) có hàm mật độ xác định như sau: p X µ,σ 2) = { 1 ) 2πσ 2 1/2 exp 1 } ) 2 x µ 2σ 2 Các đặc trưng của biến ngẫu nhiên X : E[X ] = µ var[x ] = σ 2 Nghịch đảo của phương sai τ = 1 được gọi là độ chính xác, căn bậc hai của phương σ2 sai σ 2 được gọi là độ lệch chuẩn. Phân phối tiên nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của τ là phân phối Gamma. Nếu cả µ và τ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Gamma. Trường hợp biến ngẫu nhiên X là vecto D-chiều: Phân phối Gaussian với tham số là vecto kỳ vọng µ D-chiều và ma trận phương sai là phân phối của biến ngẫu nhiên X R D, kí hiệu là N X µ,σ ) có hàm mật độ xác định như sau: p X µ,σ 2) { 1 1 = 2π) D/2 exp 1 ) T 1/2 x µ Σ 1 x µ )} Σ 2 10

Một số phân phối thường dùng Các đặc trưng của biến ngẫu nhiên X E[X ] = µ var[x ] = Σ Nghịch đảo của ma trận phương sai Λ = Σ 1 là ma trận độ chính xác. Phân phối tiên nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của Λ là phân phối Wishart. Nếu cả µ và Λ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Wishart. Phân phối Gaussian - Gamma Phân phối Gaussian - Gamma với tham số µ 0,β, a,b là phân phối của biến ngẫu nhiên µ,λ ) kỳ vọng, phương sai của biến ngẫu nhiên một chiều tuân theo quy luật phân phối Gaussian)có hàm mật độ xác định như sau: p µ,λ µ 0,β, a,b ) = N µ µ 0, βλ ) 1 ) Gam λ a,b) Phân phối Gaussian - Gamma là phân phối tiên nghiệm của phân phối Gaussian N X µ,λ 1) trong đó cả kỳ vọng và phương sai đều chưa biết. Phân phối Gaussian - Wishart Phân phối Gaussian - Wishart với tham số µ 0,β,W, v là phân phối của biến ngẫu nhiên µ,λ ) vectơ kỳ vọng và ma trận độ chính xác của biến ngẫu nhiên nhiều chiều tuân theo quy luật phân phối Gaussian) có hàm mật độ xác định như sau: p µ,λ µ 0,β,W, v ) = N µ µ 0, βλ ) 1 ) W Λ W, v) Phân phối Gaussian - Wishart là phân phối tiên nghiệm của phân phối đa thức Gaussian N X µ,λ 1) trong đó cả kỳ vọng và ma trận phương sai đều chưa biết. Phân phối đa thức Biến ngẫu nhiên K -chiều X = X 1,..., X K ) trong đó X k nhận 2 giá trị 0 và 1 với k = 1,K thỏa mãn K x k = 1 và P X k = 1) = π k, K π k = 1 k=1 k=1 11

Một số phân phối thường dùng Khi đó, ta có hàm mật độ của biến ngẫu nhiên X p X ) = K k=1 π x k k Các đặc trưng của biến ngẫu nhiên thành phần: E[X k ] = π k var[x k ] = π k 1 π k ) cov [ X j X k ] = I j k π k Phân phối đa thức với hai tham số n quan sát và π = π 1,...π K ) là phân phối của biến ngẫu nhiên rời rạc K -chiều với các thành phần là biến đếm M k có hàm mật độ xác định như sau: Mul t M 1, M 2,..., M K π,n) = n m 1 m 2...m K K k=1 π m k k Đặc trưng của các thành phần: E[M k ] = nπ k var[m k ] = nπ k 1 π k ) cov [ M j M k ] = nπj π k Phân phối tiên nghiệm liên hợp cho các tham số Π k là phân phối Dirichlet. Phân phối Student Trường hợp biến một chiều: Phân phối Student với các tham số µ,λ, v của biến ngẫu nhiên liên tục X nhận giá trị 12

Một số phân phối thường dùng trên R có hàm mật độ và các đặc trưng xác định như sau: St X µ,λ, v ) ) Γv/2 + 1/2) λ 1/2 = [1 + λ x µ ) 2 Γv/2) πv v E[X ] = µ, v > 1 var[x ] = 1 λ v v 2, v > 2 ] v/2 1/2 Trong đó v > 0 là hệ số tự do của phân phối. Trường hợp biến D-chiều: Phân phối Student với tham số µ,λ, v của biến ngẫu nhiên X R D có hàm mật độ và các đặc trưng xác định như sau: St X µ,λ, v ) Γv/2 + D/2) Λ 1/2 = [1 Γv/2) vπ) D/2 + 2 v E[X ] = µ, v > 1 cov[x ] = v v 2 Λ 1, v > 2 ] v/2 1/2 Trong đó 2 = x µ ) T Λ x µ ) Khi v phân phối Student trở thành phân phối Gaussian với kỳ vọng µ và ma trận độ chính xác Λ. Phân phối Wishart Phân phối Wishart với tham số W, v của biến ngẫu nhiên ma trận Λ có hàm mật độ 13

1.3. SUY LUẬN BAYES CHO THAM SỐ TỈ LỆ PHÂN PHỐI NHỊ THỨC và các đặc trưng xác định như sau: W Λ W, v) = B W, v) Λ v D 1)/2 exp 12 Tr W 1 Λ )) B W, v) = W v/2 E[Λ] = vw D v + 1 i E[ln Λ ] = ψ 2 i=1 2 vd/2 π DD 1)/4 D i=1 ) + D ln2 + ln W ) ) 1 v + 1 i Γ 2 Trong đó W là ma trận xác định dương cỡ D D, tham số v là hệ số tự do và v > D 1. Phân phối Wishart là phân phối tiên nghiệm liên hợp của ma trận độ chính xác của biến nhiều chiều tuân theo quy luật phân phối Gaussian. Trong trường hợp một chiều thì phân phối Wishart chính là phân phối Gam λ a,b) với tham số a = v/2 và b = 1/2W. 1.3 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức 1.3.1 Tiên nghiệm Họ liên hợp các phân phối tiên nghiệm của tham số tỷ lệ Π của phân phối nhị thức là họ phân phối Bet a Π a,b) có dạng. g Π a,b) = Γa + b) Γa)Γb) πa 1 1 π) b 1 1.1) Trong đó tham số a,b được xác định như sau: Dựa theo kinh nghiệm và cái mà người ta tin tưởng, phân phối tiên nghiệm có kỳ vọng π 0 và phương sai σ 2 0. Theo công thức tính kỳ vọng và phương sai của phân phối Beta ta có: π 0 = a a + b σ 2 0 = ab a + b) 2 a + b + 1) = π 0 1 π 0 ) a + b + 1) Giải hệ trên ta sẽ tìm được a,b. Từ đó có phân phối nghiệm của tham số Π. 14

Suy luận Bayes cho tham số tỉ lệ Theo công thức tính đặc trưng của phân phối nhị thức, ta cần chọn mẫu quan sát để thu thập thông tin có kích thước là n = a +b +1 và kết quả số lần thành công là M. Khi đó ta có hàm hợp lý: f M n,π) = n m π m 1 π) n m,0 π 1. 1.2) 1.3.2 Hậu nghiệm Theo định lý Bayes và công thức 1.1), 1.2) ta có phân phối hậu nghiệm của tham số Π được xác định như sau: g Π M = m) = g Π) f M n,π) 1 g Π) f M n,π)dπ 0 = πa+m 1 1 π) n m+b 1 1 π a+m 1 1 π) n m+b 1 dπ = 0 Γn + a + b) Γm + a)γn m + b) πa+m 1 1 π) n m+b 1 1.3) Như vậy, phân phối hậu nghiệm của tham số Π là phân phối Bet a Π a,b ) với a = a + m và b = b + n m 1.3.3 Ước lượng Ước lượng điểm cho tham số Π là π = m n Ước lượng khoảng cho tham số Π: Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m, s ) 2 ) Kỳ vọng của phân phối hậu nghiệm là m = a a + b Phương sai của phân phối hậu nghiệm là s ) 2 a b = a + b ) 2 a + b + 1) Với độ tin cậy 1 α) 100%, khoảng tin cậy của π xấp xỉ khoảng xác định như sau: m z α 2 s ;m + z α 2 s ) 1.4) 15

Suy luận Bayes cho tham số tỉ lệ Trong đó z α là phân vị trên mức α/2 của phân phối chuẩn tắc, ví dụ với độ tin cậy 95% 2 thì z α = 1.96. Xấp xỉ hiệu quả nếu ta có cả a 10 và b 10. 2 1.3.4 Kiểm định giả thiết Kiểm định một phía Bài toán kiểm định với mức ý nghĩa α H 0 : π π 0 H 1 : π > π 0 Ta tính xác suất để giả thiết đúng bằng tích phân của mật độ hậu nghiệm 1.3) trên miền giả thiết π 0 P H 0 : π π 0 m) = g Π m)dπ Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơn mức ý nghĩa α. Kiểm định hai phía Bài toán kiểm định với mức ý nghĩa α 0 H 0 : π = π 0 H 1 : π π 0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của π với mức ý nghĩa α. Nếu giá trị quan sát được không thuộc khoảng tin cậy 1.4) thì ta bác bỏ giả thiết; nếu giá trị quan sát được thuộc khoảng tin cậy thì ta không thể bác bỏ giả thiết. 16

1.4. SUY LUẬN BAYES CHO KỲ VỌNG PHÂN PHỐI GAUSSIAN 1.4 Suy luận Bayes cho kỳ vọng phân phối Gaussian 1.4.1 Tiên nghiệm Xét biến quan sát Y tuân theo quy luật phân phối chuẩn có kỳ vọng bằng µ và phương sai bằng σ 2 đã biết. Giả sử phân phối tiên nghiệm là phân phối chuẩn với kỳ vọng m và phương sai s 2. Khi đó hàm mật độ tiên nghiệm của µ có dạng: g µ ) e 1 2s 2 µ m) 2 1.5) Ở đây, ta bỏ qua phần không phụ thuộc µ vì tiên nghiệm nhân với hằng số bất kỳ sẽ không ảnh hưởng đến kết quả hậu nghiệm. Hàm hợp lý có dạng: f Y µ ) 1 2σ e 2 y µ)2 1.6) Ở đây, ta bỏ qua phần không phụ thuộc µ vì tiên nghiệm nhân với hằng số bất kỳ sẽ không ảnh hưởng đến kết quả hậu nghiệm. 1.4.2 Hậu nghiệm Theo định lý Bayes hậu nghiệm tỷ lệ với tích tiên nghiệm và hàm hợp lý g µ y ) g µ ) f Y µ ) Do đó, theo 1.5) và 1.6) ta có: g µ y ) { exp { exp [ 1 µ m) 2 + y µ)2 2 s 2 1 2σ 2 s 2 /σ 2 +s 2 ) ]} σ 2 [ ] µ σ2 m+s 2 y) 2 } σ 2 +s 2 Như vậy phân phối hậu nghiệm của tham số µ là phân phối chuẩn với kỳ vọng và 17

Suy luận Bayes cho kỳ vọng phương sai xác định như sau: σ 2 m + s 2 y ) m = σ 2 + s 2 s ) 2 = σ 2 s 2 σ 2 + s 2 [ s ) 2 ] 1 = 1 σ 2 + 1 s 2 Công thức tính kỳ vọng có thể biến đổi sang dạng: m = σ 2 m + s 2 y ) σ 2 + s 2 = σ2 σ 2 + s 2 m + s2 σ 2 + s 2 y 1/s 2 = 1/σ 2 + 1/s 2 m + 1/σ 2 1/σ 2 + 1/s 2 y Một cách khác, với mẫu ngẫu nhiên y 1,... y n phân phối chuẩn kỳ vọng µ và phương sai σ 2 đã biết, ta dùng hàm hợp lý của trung bình mẫu y. Trong đó y tuân theo quy luật phân phối chuẩn với kỳ vọng µ và phương sai σ2. Phân phối hậu nghiệm xác định với kỳ n vọng và phương sai theo biểu thức sau: m = 1 1/s 2 n/σ 2 + 1/s 2 m + n/σ 2 n/σ 2 + 1/s 2 y 1.7) s ) 2 = 1 s 2 + n σ 2 1.8) 1.4.3 Ước lượng Phương sai đã biết Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m, s ) ) 2 Kỳ vọng của phân phối hậu nghiệm m được xác định theo công thức 1.7), thực hiện theo 3 bước: 1. Độ chính xác bằng nghịch đảo của phương sai: 1 s 2 2. Độ chính xác của hậu nghiệm bằng tổng độ chính xác của tiên nghiệm và độ chính xác của trung bình mẫu: 1 s 2 + n σ 2 3. Kỳ vọng hậu nghiệm bằng tổng có trọng số giữa kỳ vọng tiên nghiệm và trung bình 18

Suy luận Bayes cho kỳ vọng mẫu, trọng số bằng tỷ lệ của độ chính xác với độ chính xác của hậu nghiệm: 1/s 2 n/σ 2 + 1/s 2 m + n/σ 2 n/σ 2 + 1/s 2 y Phương sai s xác đinh theo công thức 1.8). sau: Từ đó, với độ tin cậy 1 α) 100%, khoảng tin cậy của π xấp xỉ khoảng xác định như m z α 2 s ;m + z α 2 s ) 1.9) Trong đó z α là phân vị trên mức α/2 của phân phối chuẩn tắc. 2 Phương sai chưa biết Tìm phương sai mẫu: σ 2 = 1 n yi y ) 2 n 1 i=1 Từ đó tìm m và s theo công thức 1.7), 1.8) trong đó dùng σ 2 xác định như trên thay cho phương sai σ 2 chưa biết. Khi đó, phân phối hậu nghiệm xấp xỉ phân phối Student. Với độ tin cậy 1 α) 100%, khoảng tin cậy của µ xấp xỉ khoảng xác định như sau: m t α 2 s ;m + t α 2 s ) 1.10) Trong đó t α 2 là phân vị trên mức α/2 của phân phối Student với hệ số tự do n 1. 1.4.4 Kiểm định giả thiết Kiểm định một phía Bài toán kiểm định với mức ý nghĩa α H 0 : µ µ 0 H 1 : µ > µ 0 19

1.5. HỒI QUY BAYES thiết Ta tính xác suất giả thiết đúng bằng tích phân của mật độ hậu nghiệm trên miền giả P µ0 ) H 0 : µ µ 0 y 1, y 2,... y n = g µ y 1, y 2,... y n ) dµ µ m = P s µ 0 m ) s = P Z µ 0 m ) Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơn mức ý nghĩa α. Nếu dùng ước lượng cho phương sai mẫu thì Z tuân theo quy luật phân phối Student với hệ số tự do bằng n 1. Kiểm định hai phía Bài toán kiểm định với mức ý nghĩa α s H 0 : µ = µ 0 H 1 : µ µ 0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của µ với mức ý nghĩa α theo 1.9) hoặc 1.10). Nếu giá trị quan sát được không thuộc khoảng tin cậy thì ta bác bỏ giả thiết; nếu giá trị quan sát được thuộc khoảng tin cậy thì ta không thể bác bỏ giả thiết. 1.5 Hồi quy Bayes Mô hình hồi quy tuyến tính biểu biễn mối liên hệ giữa hai biến X và Y quan sát được. Với niềm tin rằng giá trị Y phụ thuộc vào giá trị của X, 20

Hồi quy Bayes 1.5.1 Suy luận Bayes cho mô hình hồi quy tuyến tính Bayes đơn Mô hình hồi quy đơn giữa hai biến X và Y y = βx + α Trước hết, ta thu thập thông tin n cặp giá trị ) x i, y i,i = 1,2,...,n. Từ đó tìm hai tham số β và α sao cho tổng bình phương sai số của các điểm quan sát được là nhỏ nhất. n [ SS = yi βx i + α )] 2 Theo định lý Bayes hậu nghiệm tỉ lệ với tích tiên nghiệm và hàm hợp lý. Hàm hợp lý Các quan sát là độc lập, với mỗi quan sát thứ i ta có i=1 y i = α x + β x i x ) + ε i Trong đó α x là giá trị trung bình của y khi x = x, β là hệ số góc và các ε i độc lập với nhau, tuân theo quy luật phân phối chuẩn với kỳ vọng bằng 0 và phương sai σ 2. Do đó các y i x i độc lập với nhau và tuân theo quy luật phân phối chuẩn với kỳ vọng bằng α x + β x i x ) và phương sai σ 2 Ta có hàm hợp lý của quan sát thứ i f i αx,β ) e 1 2σ 2 [ y i α x + β x i x ))] 2 Ở đây, ta bỏ qua phần không chứa tham số, α x. Các quan sát là độc lập nên ta có hàm 21

Hồi quy Bayes hợp lý của hai tham số α x,β là f α x,β ) n i=1 e 1 2σ 2 e 1 2σ 2 [y i α x +βx i x))] 2 n i=1 [y i α x +βx i x))] 2 [ e 1 2σ 2 [SS y 2βSS x y +β 2 SS x] e 1 2σ 2 nα x y) 2] [ 1 e 2σ 2 /SSx β SS x y SSx e 1 2σ 2 /SSx [β B]2 e 1 2σ 2 /n f α x ) f β ) ] 2 [ e 1 2σ 2 αx y) 2] /n [ αx A x ) 2] Trong đó Tiên nghiệm SS x = SS y = SS x y = n xi x ) 2 i=1 n yi y ) 2 i=1 1.11) 1.12) n xi x ) y i y ) 1.13) i=1 Phân phối tiên nghiệm đồng thời cho α x,β là B = SS x y SS x ; A x = y 1.14) g α x,β ) = g α x ) g β ) Trong đó α x,β tuân theo phân phối chuẩn: g α x ) = N m αx, s 2 α x ) g β ) = N ) m β, s 2 β Hậu nghiệm 22

Hồi quy Bayes Phân phối tiên nghiệm đồng thời cho α x,β là g α x,β dat a ) g α x,β ) f α x,β ) g α x dat a ) g β dat a ) g α x dat a ) ) ) = N m, s 2 α αx x g β dat a ) ) ) = N m β, s 2 β Theo 1.11) 1.14), kỳ vọng và phương sai của α x,β được xác định như sau: 1 s α x ) 2 = m α x = 1 s β 1 ) 2 = 1 s 2 β s 2 α x + n σ 2 1/s2 α x 1/ s α x ) 2 m α x + n/σ2 1/ s α x ) 2 A x + SS x σ 2 1.15) 1/s 2 m = β β ) 2 m + SS x/σ 2 β ) 2 B 1.16) 1/ 1/ s β s β Ước lượng cho hệ số góc Trường hợp phương sai đã biết Theo 1.15), 1.16), với độ tin cậy 1 α) 100% ta có khoảng tin cậy của hệ số góc β là ) ) 2;m m z α s ) 2 β 2 β + z α s β 2 β 1.17) Ở đây z α là phân vị trên mức α/2 của phân phối chuẩn tắc. 2 Trường hợp phương sai chưa biết Ta dùng ước lượng cho phương sai n [ yi A x + B x i x ))]2 σ 2 = i=1 n 2 23

Hồi quy Bayes Khi đó, kỳ vọng và phương sai của β xác định theo 1.15), 1.16) và dùng phương sai mẫu thay cho phương sai chưa biết của biến ngẫu nhiên. Từ đó, với độ tin cậy 1 α) 100% ta có khoảng tin cậy của hệ số góc β xác định theo công thức: ) ) 2;m m t α s ) 2 β 2 β + t α s β 2 β 1.18) Hoặc B t α σ ;B + t α σ ) 2 SSx 2 SSx 1.19) Trong đó, t α phân vị trên mức α/2 của phân phối Student với hệ số tự do là n 2. 2 Kiểm định hệ số góc Kiểm định một phía Bài toán kiểm định với mức ý nghĩa α H 0 : β β 0 H 1 : β > β 0 Ta tính xác suất giả thiết đúng bằng tích phân của mật độ hậu nghiệm trên miền giả thuyết P H 0 : β β 0 dat a ) = β 0 = P g β dat a ) dβ Z β 0 m β s β Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơn mức ý nghĩa α. Nếu dùng ước lượng phương sai mẫu thì Z là biến ngẫu nhiên tuân theo phân phối Student với hệ số tự do là n 2. Kiểm định hai phía Ta biết rằng nếu β = 0 thì y không phụ thuộc vào x. Do đó ta chỉ cần làm bài toán 24

Hồi quy Bayes kiểm định với mức ý nghĩa α H 0 : β = 0 H 1 : β 0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của β với mức ý nghĩa α theo 1.17) hoặc 1.18) hay 1.19). Nếu giá trị 0 không thuộc khoảng tin cậy thì ta bác bỏ giả thiết; nếu giá trị 0 thuộc khoảng tin cậy thì ta không thể bác bỏ giả thiết. Do có sự sai khác giữa hàm hồi quy và giá trị quan sát nên khi sử dụng hàm hồi quy người ta viết dạng: y = βx + α + ε Trong đó ε là biến ngẫu nhiên phân phối chuẩn với kỳ vọng bằng 0, phương sai bằng β 1. Người ta gọi ε là yếu tố ngẫu nhiên hoặc nhiễu) 1.5.2 Mô hình hồi quy tuyến tính Bayes bội Mô hình hồi quy giữa hai biến X - k chiều và biến Y một chiều y = w T φx) Trong đó y = ) T y 1, y 2,..., y n w = w 0,w 1,...,w k ) T [ ] T φx) = 1 x 1i... x ki 1 i n Như vậy, mô hình hồi quy tổng quát coi w là hệ số, φx) là biến đại diện cho x. 25

Hồi quy Bayes Phân phối của tham số w là p w) = N m,s) Ngoài ra tham số w phụ thuộc tham số α theo quy luật phân phối p w α) = N 0,α 1 I ) Từ số liệu thu thập n cặp giá trị y i,φ i ) người ta thấy có sự sai khác giữa mô hình và giá trị quan sát được nên người ta đưa ra mô hình biến quan sát T phụ thuộc biến Y như sau t = y w,φ ) + ε Trong đó t = t 1, t 2,..., t n ) T ε = ε 1,ε 2,...,ε n ) T ;ε i N 0,β 1) Ta có biến quan sát tuân theo quy luật phân phối: p T i φ,w,β ) = N y i w,φi ),β 1 ) Từ đó ta có hàm hợp lý p T φ,w,β ) n = N ) y i w,φi,β 1 ) ln p T φ,w,β ) = i=1 n lnn y i w, X i ),β 1) i=1 = n 2 lnβ n 2 ln2π) β1 2 n { ti w T } 2 φ i i=1 26

Hồi quy Bayes 1.5.3 Mô hình hồi quy Logistic Bayes Mô hình hồi quy Logistic Ta có biến cố xảy ra hoặc không xảy ra tương ứng biến ngẫu nhiên chỉ nhận 2 giá trị X = 0,1 và xác suất xảy ra P X = 1) = π. Khi đó không thể dùng hàm hồi quy tuyến tính thông thương mà dùng hàm hồi quy logistic: Từ đó suy ra log π 1 π ) = α + βx eα+βx π = 1 + e α+βx Ta có biến quan sát X = X 1,..., X n ) ta có tương ứng π = π 1,...,π n ). Biến ngẫu nhiên Y phụ thuộc biến X theo công thức Từ đó eβ 0+β i x i π i = P Y i = 1 X i = x i ) = 1 + e β 0+β i x i ) πi log = β 0 + β 1 x i1 + β 2 x i2 +... + β n x in 1 π i Mô hình hồi quy Logistic Bayes Đây là mô hình kết hợp giữa hai mô hình hồi quy Bayes và mô hình hồi quy Logistic Mô hình hồi quy Logistic Bayes giữa hai biến X - k chiều và biến Y một chiều: y = w T φx). 27

Hậu nghiệm thuộc họ phân phối đã biết Ứng dụng Hình 3.3: Xấp xỉ hậu nghiệm µ,σ 2 74