ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY P

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - - - - - - - - - - - - - - - - - - - - - - - PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG Chuyên ngành: Lý thuyết Xác suất và Thống kê toán học Mã số: 60406106 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2015

Công trình được hoàn thành tại: Trường Đại học Khoa hoc Tự nhiên - Đại học Quốc gia Hà Nội 1 Người hướng dẫn khoa học: GS.TSKH Đặng Hùng Thắng Hội đồng chấm luận văn: Chủ tịch: PGS.TS Phan Viết Thư - Đại học Khoa học Tự Nhiên - ĐHQGHN Phản biện 1: TS. Nguyễn Mạnh Thế - Đại học Kinh Tế Quốc Dân Phản biện 2: TS. Trịnh Quốc Anh - Đại học Khoa học Tự Nhiên - ĐHQGHN Thư ký: TS. Trần Mạnh Cường - Đại học Khoa học Tự Nhiên - ĐHQGHN Ủy viên: TS. Nguyễn Hồng Hải - Học Viện Kỹ Thuật Quân Sự Luận văn đã được bảo vệ trước Hội đồng chấm luận văn thạc sĩ họp tại: Khoa Toán-Cơ-Tin học Trường Đại học Khoa học Tự nhiên (ĐHQGHN) vào 9h giờ 00 ngày 1 tháng 2 năm 2016 Có thể tìm đọc luận văn tại: - Trung tâm thư viện Đại học Quốc gia Hà Nội

Mục lục 1 HỒI QUY BỘI TUYẾN TÍNH 3 1.1 Nhắc lại hồi quy đơn tuyến tính................... 3 1.2 Các mô hình hồi quy bội........................ 5 1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo........ 5 1.2.2 Mô hình bậc nhất với hai biến dự báo............ 5 1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo...... 6 1.2.4 Mô hình hồi quy tuyến tính tổng quát............ 6 1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát..... 10 1.4 Ước lượng các hệ số hồi quy...................... 10 1.5 Ước lượng mẫu và phần dư....................... 11 1.6 Các kết quả phân tích phương sai................... 12 1.7 Các kết luận về các tham số hồi quy................. 14 1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới...... 15 1.9 Chẩn đoán và biện pháp khắc phục.................. 17 2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 21 2.1 Mô hình hồi quy tuyến tính và phi tuyến.............. 21 2.2 Ước lượng các tham số hồi quy.................... 23 2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến..... 24 2.3.1 Nghiệm của phương trình chuẩn............... 24 2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton... 25 2.3.3 Các thủ tục tìm kiếm trực tiếp khác............. 26 2.4 Xây dựng và chẩn đoán mô hình................... 27 2.5 Các kết luận về tham số hồi quy phi tuyến............. 27 2.5.1 Ước lượng phương sai sai số.................. 27 2.5.2 Định lí mẫu lớn......................... 27 2.5.3 Khi nào định lý mẫu lớn dùng được?............. 27 1

2.5.4 Biện pháp khắc phục hậu quả................. 28 2.5.5 Khoảng ước lượng của γ k................... 28 2.5.6 Khoảng tin cậy đồng thời cho một số γ k........... 28 2.5.7 Kiểm tra tính liên quan của một tham số γ k........ 29 2.5.8 Kiểm định đồng thời một số γ k................ 29 2.6 Giới thiệu về mô hình mạng Nơ ron................. 29 2.6.1 Mô hình mạng Nơ ron..................... 29 2.6.2 Mạng đại diện.......................... 30 2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính... 31 2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized.... 32 2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron...... 33 3 Ứng dụng 34 3.1 Ứng dụng 1: Dự báo doanh số bán hàng............... 34 3.1.1 Đặt bài toán........................... 34 3.1.2 Các tính toán cơ bản...................... 35 3.1.3 Ước lượng hàm hồi quy.................... 36 3.1.4 Các ước lượng mẫu và phần dư................ 37 3.1.5 Phân tích sự phù hợp của mô hình.............. 37 3.1.6 Phân tích phương sai...................... 39 3.1.7 Ước lượng các tham số hồi quy................ 40 3.1.8 Ước lượng trung bình đáp ứng................ 41 3.1.9 Giới hạn dự báo cho các quan sát mới............ 42 3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi xuất viện...... 43 3.3 Ứng dụng 3: Đường cong học tập................... 49 3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim................. 52 Tài liệu tham khảo 55 2

MỞ ĐẦU Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhất trong các phương pháp thống kê. Hiện nay, các mô hình hồi quy được sử dụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật và xã hội, y tế, khoa học và sinh học.....các mô hình hồi quy rất đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến. Các loại mô hình gồm nhiều dạng nhỏ khá phức tạp. Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quy tuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng dụng vào các mô hình hữu ích trong thực tế. Bản luận văn được chia làm 3 chương: Chương 1: Hồi quy bội tuyến tính Trình bày các mô hình hồi quy bội tuyến tính, các ước lượng hồi quy bội và các phân tích về các ước lượng hồi quy đó. Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron Chương này trình bày một số mô hình hồi quy phi tuyến thường gặp, các ước lượng của mô hình và việc phân tích, xây dựng chẩn đoán mô hình. Chương 3: Ứng Dụng Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính và hồi quy phi tuyến ngoài thực tế. Trong mỗi ứng dụng có nhấn mạnh đến việc xây dựng mô hình, ước lượng tham số và đánh giá mô hình. Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan và chủ quan, nên trong quá trình chọn lọc tư liệu và trình bày nội dung khó tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận được những ý kiến chỉ bảo của thầy cô, sự góp ý chân thành của các bạn học viên để luận văn được hoàn thiện hơn. 3

Chương 1 HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.1.1 Mô hình dạng chuẩn Mô hình được xây dựng như sau: 1.1.2 Các đặc trưng quan trọng của mô hình Y i = β 0 + β 1 X i + ε i (1.1) 1. Y i là biến ngẫu nhiên. 2. Hàm hồi quy cho mô hình (1.1) là: E{Y } = β 0 + β 1 X (1.2) 3. Giá trị đáp ứng Y i trong thử nghiệm thứ i sai khác với giá trị hàm hồi quy một lượng là sai số ε i. 4. Đáp ứng Y i cũng có phương sai không đổi: 5. Đáp ứng Y i và Y j cũng không tương quan. σ 2 {Y i } = σ 2 (1.3) 6. Tóm lại, mô hình (1.1) chỉ ra rằng đáp ứng Y i có phân phối xác suất mà trung bình của nó là E{Y i } = β 0 + β 1 X i và phương sai của nó là σ 2 và là như 4

nhau với mọi giá trị của X. Hơn nữa, hai giá trị đáp ứng Y i và Y j là không tương quan. 1.1.3 Dạng biến đổi của mô hình hồi quy Đặt X 0 là hằng số có giá trị bằng 1. Khi đó mô hình (1.1) có thể được viết như sau: Y i = β 0 X 0 + β 1 X i + ε i X 0 1 (1.4) Do vậy dạng mô hình biến đổi là: Y i = β0 + β 1 (X i X) + ε i (1.5) 1.1.4 Ước lượng hàm hồi quy Phương pháp bình phương cực tiểu Hàm tiêu chuẩn Q: Q = n (Y i β 0 β 1 X i ) 2 (1.6) i=1 Các ước lượng của β 0 và β 1 tương ứng là b 0 và b 1 làm cực tiểu hóa hàm tiêu chuẩn Q đối với các mẫu quan sát (X 1, Y 1 ), (X 2, Y 2 ),..., (X n, Y n ) đưa ra. Tính chất của các ước lượng bình phương cực tiểu: Định lí 1.1.1. (Gauss-Markov): Với các điều kiện của mô hình hồi quy (1.1), các ước lượng bình phương cực tiểu b 0 và b 1 trong (1.10) là không chệch và có phương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch khác. 1.1.5 Ước lượng phương sai sai số σ 2 Tổng bình phương phần dư: SSE = n (Y i Ȳ )2 = i=1 n e 2 i (1.7) i=1 5

s 2 = MSE = SSE n 2 = MSE là ước lượng không chệch của σ 2 : n i=1 (Y i Ȳ )2 n 2 = n i=1 e2 i n 2 (1.8) E{MSE} = σ 2 (1.9) Và ước lượng của độ lệch chuẩn đơn giản là s = MSE. 1.2 Các mô hình hồi quy bội 1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một số lượng các biến dự báo. Một biến dự báo đơn lẻ trong mô hình không cung cấp sự mô tả đầy đủ vì một số lượng các biến dự báo chìa khóa tác động đến biến đáp ứng theo các cách đặc biệt và quan trọng. Vì vậy cần đưa ra mô hình nhiều hơn một biến dự báo. 1.2.2 Mô hình bậc nhất với hai biến dự báo Khi có hai biến dự báo X 1 và X 2 mô hình hồi quy: Y i = β 0 + β 1 X i1 + β 2 X i2 + ε i (1.10) được gọi là mô hình bậc nhất với hai biến dự báo. Hàm hồi quy cho mô hình (1.23) là: E{Y } = β 0 + β 1 X 1 + β 2 X 2 (1.11) Hàm hồi quy (1.24) là một mặt phẳng. Hình (1.1) đưa ra một phần mặt phẳng đáp ứng: E{Y } = 10 + 2X 1 + 5X 2 (1.12) 6

Hình 1.1: Hàm đáp ứng là một mặt phẳng 1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo Mô hình hồi quy: Y i = β 0 + β 1 X i1 + β 2 X i2 +... + β p 1 X ip 1 + ε i (1.13) được gọi là mô hình bậc nhất với p 1 biến dự báo. Hàm đáp ứng cho mô hình (1.27) là: E{Y } = β 0 + β 1 X 1 + β 2 X 2 +... + β p 1 X p 1 (1.14) 1.2.4 Mô hình hồi quy tuyến tính tổng quát Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện các sai số chuẩn như sau: Y i = β 0 + β 1 X i1 + β 2 X i2 +... + β p 1 X ip 1 + ε i (1.15) Hàm đáp ứng cho mô hình hồi quy (1.29) là : E{Y } = β 0 + β 1 X 1 + β 2 X 2 +... + β p 1 X p 1 (1.16) : Mô hình tuyến tính tổng quát bao gồm một loạt các tình huống rất đa dạng 7

p-1 biến dự báo Khi X 1,..., X p 1 biểu diễn p 1 biến dự báo khác nhau, mô hình tuyến tính tổng quát (1.29) là mô hình bậc nhất không có các ảnh hưởng tương tác giữa các biến dự báo. Các biến dự báo định tính Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không chỉ các biến dự báo định lượng mà còn bao gồm các biến dự báo định tính. Chúng ta sử dụng các biến chỉ số nhận giá trị 0 và 1 để định nghĩa các lớp giá trị của biến định tính. Hồi quy đa thức Đây là mô hình hồi quy đa thức với một biến dự báo: Y i = β 0 + β 1 X i + β 2 X 2 i + ε i (1.17) Nếu chúng ta cho X i1 = X i và X i2 = X 2 i thì có thể viết (1.34) như sau: Y i = β 0 + β 1 X i1 + β 2 X i2 + ε i Đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29). Biến biến đổi Các mô hình với biến biến đổi liên quan đến hàm đáp ứng là các đường cong phức tạp vẫn là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát. Xét mô hình sau với biến biến đổi Y: Nếu đặt Y i = logy i ta có: logy i = β 0 + β 1 X i1 + β 2 X i2 + β 3 X i3 + ε i (1.18) Y i = β 0 + β 1 X i1 + β 2 X i2 + β 3 X i3 + ε i đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) mà biến đáp ứng là hàm logarit của Y. 8

Nhiều mô hình khác có thể biến đổi được thành mô hình hồi quy tuyến tính tổng quát. Ví dụ mô hình: Y i = 1 β 0 + β 1 X i1 + β 2 X i2 + ε i (1.19) có thể đưa về mô hình hồi quy tuyến tính tổng quát bằng cách đặt Y i = 1/Y i ta có: Ảnh hưởng tương tác. Y i = β 0 + β 1 X i1 + β 2 X i2 + ε i Ví dụ một mô hình hồi quy không cộng tính với hai biến dự báo X 1, X 2 là: Y i = β 0 + β 1 X i1 + β 2 X i2 + β 3 X i1 X i2 + ε i (1.20) Đặt X i3 = X i1 X i2 và viết lại (1.37) như sau: Y i = β 0 + β 1 X i1 + β 2 X i2 + β 3 X i3 + ε i đây chính là dạng của mô hình hồi quy tuyến tính tổng quát (1.29). Sự kết hợp của các trường hợp. Một mô hình hồi quy có thể có sự kết hợp của một số trường hợp ở trên và ta vẫn có thể đưa được về mô hình hồi quy tuyến tính tổng quát. Xét mô hình hồi quy với hai biến dự báo sau có chứa các điều kiện tuyến tính và bình phương cho mỗi biến và một điều kiện tương tác: Y i = β 0 + β 1 X i1 + β 2 Xi1 2 + β 3X i2 + β 4 Xi2 2 + β 5X i1 X i2 + ε i (1.21) Định nghĩa: Z i1 = X i1 Z i2 = X 2 i1 Z i3 = X i2 Z i4 = X 2 i2 Z i5 = X i1 X i2 Khi đó mô hình hồi quy (1.38) như sau: Y i = β 0 + β 1 Z i1 + β 2 Z i2 + β 3 Z i3 + β 4 Z i4 + β 5 Z i5 + ε i đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29). 9

Hình 1.2: Ví dụ cộng tính của hàm đáp ứng Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát. Điều kiện mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29) là tuyến tính với các tham số, không phải đề cập đến hình dáng của mặt đáp ứng. Nói một mô hình hồi quy là tuyến tính với các tham số khi nó có thể được viết dưới dạng: Y i = c i0 β 0 + c i1 β 1 + c i2 β 2 +... + c ip 1 β p 1 + ε i (1.22) trong đó các giá trị c i0, c i1,... là các hệ số liên quan đến biến dự báo. 10

1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát Định nghĩa cho các ma trận sau: Y 1 Y 2 }{{} Y = (1.40a). n 1 Y n β = }{{} p 1 β 0 β 1. β p (1.40c) }{{} X = n p }{{} ε = n 1 1 X 11 X 12... X 1,p 1 1 X 21 X 22... X 2,p 1....... 1 X n1 X n2... X n,p 1 ε 1 ε 2. ε n (1.40b) (1.40d) (1.23) Dạng ma trận của mô hình hồi quy tuyến tính tổng quát (1.29) là: Y }{{} n 1 = X }{{} n p β }{{} p 1 + ε }{{} n 1 (1.24) Do đó, véc tơ ngẫu nhiên Y có kỳ vọng: và ma trận hiệp phương sai của Y là giống với ε 1.4 Ước lượng các hệ số hồi quy Tiêu chuẩn bình phương cực tiểu: E{Y } = Xβ (1.25) }{{} n 1 σ 2 {Y } = σ }{{} 2 I (1.26) n n Q = n ε 2 i = i=1 n (Y i β 0 β p 1 X i,p 1 ) 2 (1.27) i=1 Biểu diễn véc tơ ước lượng các hệ số hồi quy b 0, b 1,..., b p 1 là b: }{{} b = p 1 b 0 b 1. b p 1 (1.28) 11

Các phương trình chuẩn: (X X) }{{}}{{} b p p p 1 = }{{} X p n }{{} Y n 1 (1.29) và các ước lượng bình phương cực tiểu là: }{{} b = (X X) }{{ 1 }}{{} X Y p 1 p p p 1 Hàm hợp lý cho hồi quy bội như sau: [ ] L(β, σ 2 1 1 n ) = (2πσ 2 exp ) n/2 2σ 2 (Y i β 0 β 1 X i1 β p 1 X i,p 1 ) 2 i=1 (1.30) (1.31) 1.5 Ước lượng mẫu và phần dư Gọi Ŷ là véc tơ ước lượng mẫu Ŷi và e là véc tơ phần dư e i = Y i Ŷi, ta có: Ŷ 1 e 1 (1.49a) }{{} Ŷ = Ŷ 2 e 2. (1.49b) }{{} e = (1.32). n 1 n 1 Ŷ n e n Khi đó, các ước lượng mẫu được xác định bởi: và phần dư }{{} Ŷ = Xb (1.33) n 1 }{{} e = Y Ŷ = Y Xb (1.34) n 1 Véc tơ ước lượng mẫu có thể được biểu diễn dưới dạng ma trận mũ H như sau: trong đó }{{} Ŷ = HY (1.35) n 1 }{{} H = X(X X) 1 X (1.52a) n n 12

Tương tự vậy, véc tơ phần dư có thể được biểu diễn như sau: Ma trận hiệp phương sai của phần dư là: }{{} e = (I H)Y (1.36) n 1 được ước lượng bởi: σ 2 {e} = σ }{{} 2 (I H) (1.37) n n s 2 {e} = MSE(I H) (1.38) }{{} n n 1.6 Các kết quả phân tích phương sai 1.6.1 Tổng bình phương và trung bình bình phương Tổng bình phương cho phân tích phương sai dạng ma trận là: ( 1 [ ( 1 ] SST O = Y Y Y n) JY = Y I J Y (1.39) n) SSE = e e = (Y Xb) (Y Xb) = Y Y b X Y = Y (I H)Y (1.40) ( 1 [ ( 1 ] SSR = b X Y Y n) JY = Y H J Y (1.41) n) Bảng 1.1 chỉ ra các kết quả phân tích phương sai, cũng như trung bình bình phương MSR và MSE: ta có: MSR = SSR p 1 MSE = SSE n p (1.42) (1.43) Kỳ vọng của MSR là σ 2 cộng thêm một lượng không âm. Ví dụ, khi p 1 = 2, E(MSR) = σ 2 + [β 2 1 (X i1 X 1 ) 2 + β2 2 (X i2 X 2 ) 2 + 2β 1 β 2 (X i1 X 1 )(X i2 X 2 )]/2 (1.44) Nguồn biến đổi SS df MS Hồi quy SSR = b X Y ( ) 1 n Y JY p 1 MSR = SSR p 1 Sai số SSE = Y Y b X Y n p MSE = SSE n p Tổng số SST O = Y Y ( ) 1 n Y JY n 1 Bảng 1.1: Bảng Anova cho mô hình hồi quy tuyến tính tổng quát (1.41) 13

1.6.2. Kiểm định F cho quan hệ hồi quy Để kiểm định liệu có hay không quan hệ hồi quy giữa biến đáp ứng và các biến X: X 1,..., X p 1, tức là lựa chọn giữa các giả thiết: H 0 : β 1 = β 2 =... = β p 1 = 0 H a : không phải tất cả β k (k=1,...,p-1) bằng 0 (1.61a) ta dùng một thống kê kiểm định: F = MSR MSE (1.61b) Quy tắc để kiểm tra sai lầm loại I tại mức α là: Nếu F F (1 α; p 1; n p) chấp nhận H 0 Nếu F > F (1 α; p 1; n p) chấp nhận H a (1.61c) 1.6.3. Hệ số xác định bội Hệ số xác định bội, ký hiệu R 2, được định nghĩa như sau: R 2 = SSR SST O = 1 SSE SST O (1.45) Theo trên ta có: Hệ số xác định bội hiệu chỉnh, ký hiệu R 2 a: 0 R 2 1 (1.46) R 2 a = 1 SSE n p SST O n 1 = 1 ( ) n 1 SSE n p SST O (1.47) 1.6.4. Hệ số tương quan bội Hệ số tương quan bội R là căn bậc hai của R 2 : R = R 2 (1.48) 14

1.7 Các kết luận về các tham số hồi quy Các ước lượng bình phương cực tiểu và hợp lý cực đại b là không chệch: E(b) = β (1.49) Ma trận hiệp phương sai σ 2 (b): σ 2 (b) = }{{} p p σ 2 (b 0 ) σ(b 0, b 1 )... σ(b 0, b p 1 ) σ(b 1, b 0 ) σ 2 (b 1 )... σ(b 1, b p 1 )... σ(b p 1, b 0 ) σ(b p 1, b 1 )... σ 2 (b p 1 ) (1.50) được xác định bởi: σ 2 (b) = σ }{{} 2 (X X) 1 (1.51) p p Ma trận hiệp phương sai ước lượng s 2 (b): s 2 (b) = }{{} p p s 2 (b 0 ) s(b 0, b 1 )... s(b 0, b p 1 ) s(b 1, b 0 ) s 2 (b 1 )... s(b 1, b p 1 )... s(b p 1, b 0 ) s(b p 1, b 1 )... s 2 (b p 1 ) (1.52) được xác định bởi: s 2 (b) = MSE(X }{{} X) 1 (1.53) p p 1.7.1 Ước lượng khoảng tin cậy cho β k Đối với mô hình hồi quy sai số chuẩn (1.41), ta có: b k β k s(b k ) t(n p) k = 0, 1,..., p 1 (1.54) nên khoảng tin cậy cho β k với độ tin cậy 1 α là: b k ± t(1 α/2; n p)s{b k } (1.55) 1.7.2 Kiểm định cho β k 15

Để kiểm định: H 0 : β k = 0 H a : β k 0 (1.72a) ta dùng thống kê t: t = b k s{b k } (1.72b) và kết luận theo quy tắc: nếu t t(1 α/2; n p) chấp nhận H 0 Ngược lại chấp nhận H a (1.72c) Kết luận chung Nếu g tham số cùng được ước lượng (g p), khoảng tin cậy với cùng độ tin cậy 1 α là: b k ± Bs{b k } (1.56) trong đó: B = t(1 α/2; n p) (1.73a) 1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới 1.8.1 Ước lượng khoảng tin cậy của E{Y h } Định nghĩa véc tơ X h như sau: X }{{} h = p 1 1 X h1. X h,p 1 Khi đó, trung bình đáp ứng được ước lượng là: (1.57) E{Y h } = X h b (1.58) 16

Ước lượng trung bình đáp ứng theo X h kí hiệu là Ŷh: Ŷ h = X h b (1.59) đây là ước lượng không chệch: E{Ŷh} = X h b = E{Y h} (1.60) và phương sai: σ 2 {Ŷh} = X h (X X) 1 X h (1.61) Các ước lượng phương sai s 2 {Ŷh} được tính như sau: s 2 {Ŷh} = MSE(X h (X X) 1 X h )) = X h s2 {b}x h (1.62) Giới hạn tin cậy 1 α cho E{Y h } là: Ŷ h ± t(1 α/2; n p)s{ŷh} (1.63) 1.8.2 Miền tin cậy cho mặt hồi quy Các điểm giới hạn của miền tin cậy tại X h có được từ: Ŷ h ± W s{ŷh} (1.64) 1.8.3 Khoảng tin cậy đồng thời cho một số trung bình đáp ứng 1. Sử dụng miền giới hạn tin cậy Working-Hotelling (1.81) cho các véc tơ X h khác nhau: Ŷ h ± W s{ŷh} (1.65) 2. Khi thực hiện g ước lượng khoảng, khoảng tin cậy Boferroni là: Ŷ h ± Bs{Ŷh} (1.66) trong đó: B = t(1 α/2g; n p) (1.83a) 1.8.4 Dự báo quan sát mới Y h(new) 17

Giới hạn dự báo 1 α cho quan sát mới Y h(new) ứng với X h là: Ŷ h ± t(1 α/2; n p)s{pred} (1.67) 1.8.5 Dự báo trung bình của m quan sát mới tại X h Khi m quan sát mới được lựa chọn với cùng mức X h và trung bình của chúng Ȳ h(new) được dự báo, khoảng dự báo 1 α là: Ŷ h ± t(1 α/2; n p)s{predmean} (1.68) trong đó: s 2 {predmean} = MSE m + s2 (Ŷh) = MSE m + X h s2 (b)x h ( 1 ) = MSE m + X h (X X) 1 X h (1.85a) 1.8.6 Các dự đoán của g quan sát mới Khoảng dự báo đồng thời cho g quan sát mới tại g mức khác nhau của X h với độ tin cậy 1 α được đưa ra bởi: Ŷ h ± Ss(pred) (1.69) Có thể dùng khoảng dự báo đồng thời Bonferroni để đưa ra khoảng tin cậy đồng thời 1 α cho g dự báo mới: 1.8.7 Thận trọng về phép ngoại suy ẩn Ŷ h ± Bs{pred} (1.70) Khi ước lượng trung bình đáp ứng hoặc dự đoán quan sát mới trong hồi quy bội, cần đặc biệt cẩn thận khi ước lượng hoặc dự báo không nằm ngoài phạm vi của mô hình. 1.9 Chẩn đoán và biện pháp khắc phục 1.9.1 Ma trận đồ phân tán Phân tích được dễ dàng hơn nếu các biểu đồ phân tán được lắp ráp trong một ma trận đồ phân tán, ví dụ hình 1.4: 18

Hình 1.3: miền quan sát X 1, X 2 và so sánh với phạm vi của X 1, X 2 Hơn nữa, ma trận đồ phân tán rất hữu ích trong trường hợp ma trận tương quan. Định dạng của ma trận tương quan sau là của ma trận đồ phân tán: 1 r Y 1 r Y 2... r Y,p 1 r Y 1. 1. r 12.... r 1,p 1. (1.71) r Y,p 1 r 1,p 1 r 2,p 1... 1 1.9.2 Biểu đồ phân tán ba chiều Một số gói thống kê tương tác đưa ra biểu đồ phân tán ba chiều hay đám mây điểm, và cho phép quay các biểu đồ này để người xem thấy đám mây điểm từ các quan điểm khác nhau. 1.9.3 Biểu đồ phần dư Biểu đồ phần dư ứng với các ước lượng mẫu rất hữu ích cho việc đánh giá sự phù hợp của hàm hồi quy bội và tính không đổi của phương sai các sai số, cũng như là việc cung cấp thông tin về các giá trị ngoại lai, giống như hồi quy 19

Hình 1.4: Ma trận đồ phân tán & ma trận tương quan Hình 1.5: Biểu đồ phân tán ba chiều đơn. Tương tự như vậy, một biểu đồ phần dư đối với thời gian hoặc với một số trình tự khác cung cấp các thông tin chẩn đoán về sự tương quan giữa các sai số trong hồi quy bội. Biểu đồ hộp và các biểu đồ phân phối chuẩn của các phần dư rất có ý nghĩa cho việc kiểm tra xem các sai số có phân phối chuẩn hay không. 1.9.3 Kiểm định tương quan cho tính chuẩn Kiểm định tương quan cho tính chuẩn của hồi quy bội áp dụng tương tự từ hồi quy đơn. 1.9.4 Kiểm định Brown-Forsythe cho phương sai sai số không đổi 20

Thống kê kiểm định Brown-Forsythe của hồi quy đơn cho giả định phương sai sai số không đổi có thể được sử dụng một cách dễ dàng cho hồi quy bội khi phương sai sai số tăng hoặc giảm với một trong các biến dự báo. 1.9.5 Kiểm định Breusch-Pagan cho phương sai sai số không đổi Kiểm định Breusch-Pagan cho phương sai sai số không đổi trong hồi quy bội được áp dụng từ hồi quy đơn khi phương sai sai số tăng hoặc giảm với một trong các biến dự báo. Các phần dư bình phương đơn giản là hồi quy đối với các biến dự báo được chứa trong tổng bình phương hồi quy SSR, và kiểm định tiến hành như trong hồi quy đơn, sử dụng tổng bình phương sai số SSE cho toàn bộ mô hình hồi quy bội. 1.9.4 Kiểm định F cho sự không phù hợp Kiểm định xem liệu hàm đáp ứng hồi quy bội: E{Y } = β 0 + β 1 X 1 +... + β p 1 X p 1 có mặt đáp ứng thích hợp hay không. Do vậy, với việc kiểm định: H 0 : E{Y } = β 0 + β 1 X 1 +... + β p 1 X p 1 H a : E{Y } β 0 + β 1 X 1 +... + β p 1 X p 1 (1.89a) thống kê kiểm định thích hợp là: F = SSLF c p SSP E n c = MSLF MSP E (1.89b) và kết luận: nếu F F (1 α; c p, n c) chấp nhận H 0 nếu F F (1 α; c p, n c) chấp nhận H a (1.89c) 1.9.7 Biện pháp khắc phục Biện pháp khắc phục của hồi quy đơn tuyến tính đơn cũng có thể áp dụng cho hồi quy bội. 21

Chương 2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 2.1 Mô hình hồi quy tuyến tính và phi tuyến 2.1.1 Mô hình hồi quy tuyến tính Các mô hình tuyến tính với các tham số biểu diễn bởi mô hình hồi quy tuyến tính tổng quát (1.29): Y i = β 0 + β 1 X i1 + β 2 X i2 +... + β p 1 X ip 1 + ε i (2.1) Các mô hình hồi quy tuyến tính, bao gồm không chỉ mô hình bậc nhất của p 1 biến dự báo mà có thể phức tạp hơn: Y i = β 0 + β 1 X i1 + β 2 Xi1 2 + β 3X i2 + β 4 Xi2 2 + β 5X 1 X i2 + ε i (2.2) Các mô hình với các biến thay đổi: log 10 Y i = β 0 + β 1 Xi1 + β 2 exp(x i2 ) + ε i (2.3) Trường hợp tổng quát, ta có thể phát biểu một mô hình tuyến tính có dạng: 2.1.2 Mô hình hồi quy phi tuyến Y i = f(x i, β) + ε i (2.4) 22

Mô hình hồi quy phi tuyến: Y i = f(x i, γ) + ε i (2.5) Mỗi quan sát Y i vẫn là tổng của trung bình đáp ứng f(x i, γ) xác định bởi hàm đáp ứng phi tuyến f(x, γ) và sai số ε i. 2.1.3 Mô hình hồi quy dạng mũ. Y i = γ 0 exp(γ 1 X i ) + ε i (2.6) Hàm đáp ứng cho mô hình là: f(x, γ) = γ 0 exp(γ 1 X) (2.7) Mô hình này không tuyến tính với các tham số γ 0 và γ 1. Một dạng hồi quy phi tuyến dạng mũ tổng quát hơn là: Y i = γ 0 + γ 1 exp(γ 2 X i ) + ε i (2.8) Hàm đáp ứng cho mô hình này là: f(x, γ) = γ 0 + γ 1 exp(γ 2 X) (2.9) 2.1.4 Mô hình hồi quy logistic. Hàm đáp ứng là: Y i = γ 0 1 + γ 1 exp(γ 2 X i ) + ε i (2.10) f(x, γ) = γ 0 1 + γ 1 exp(γ 2 X i ) (2.11) trong mô hình này, hàm đáp ứng là hàm không tuyến tính với các tham số γ 0, γ 1, γ 2. 23

Hình 2.1: Hàm đáp ứng dạng mũ và logistic 2.1.5 Mô hình hồi quy phi tuyến dạng tổng quát. Dạng tổng quát của mô hình hồi quy phi tuyến được biểu diễn như sau: Y i = f(x i, γ) + ε i (2.12) 2.2 Ước lượng các tham số hồi quy Khi ước lượng các tham số của mô hình hồi quy phi tuyến thường sử dụng phương pháp bình phương cực tiểu hoặc phương pháp hợp lý cực đại. Cũng như trong hồi quy tuyến tính, cả hai phương pháp ước lượng giá trị các tham số khi sai số trong mô hình hồi quy phi tuyến (2.12) là độc lập cùng phân phối chuẩn và phương sai không đổi. Khác với mô hình hồi quy tuyến tính, thường không thể tìm thấy các biểu thức giải thích cho các ước lượng bình phương cực tiểu và hợp lý cực đại trong mô hình hồi quy phi tuyến. Thay vào đó, các thủ tục tìm kiếm số được sử dụng với cả hai thủ tục dự đoán này, đòi hỏi phải tính toán chuyên sâu. Do đó phân tích mô hình hồi quy phi tuyến thường dùng các phần mềm máy tính chuyên dụng. 24

2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến Phương pháp bình phương cực tiểu cho hồi quy đơn tuyến tính yêu cầu việc cực tiểu hóa hàm tiêu chuẩn: sau: Q = n [Y i (β 0 + β 1 X i )] 2 (2.13) i=1 Tiêu chuẩn bình phương cực tiểu được viết lại cho hồi quy phi tuyến như Q = n [Y i f(x i, γ)] 2 (2.14) i=1 2.3.1 Nghiệm của phương trình chuẩn Đạo hàm riêng của Q đối theo γ k là: Q n [ ] f(xi, γ) = 2[Y i f(x i, γ)] γ k γ k i=1 (2.15) p phương trình chuẩn: n [ ] f(xi, γ) n [ ] f(xi, γ) Y i f(x i, γ) γ k γ k i=1 γ=g i=1 γ=g = 0 k = 0, 1,..., p 1 (2.16) trong đó g là véc tơ các ước lượng bình phương cực tiểu g k : g 0 g 1 g = }{{} (2.17). p 1 g p 1 Phương trình chuẩn (2.16) cho mô hình hồi quy phi tuyến là phi tuyến với tham số ước lượng g k và thường rất khó tìm ra nghiệm, thậm chí trong trường hợp đơn giản nhất. Do đó, thường dùng các thủ tục tìm kiếm số lặp để tìm nghiệm của phương trình chuẩn. Nếu có nghiệm bội mọi việc còn khó khăn hơn. 25

2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton Phương pháp Gauss-Newton bắt đầu với các giá trị khởi đầu cho các tham số γ 0, γ 1,..., γ p 1. Ta đặt các giá trị này là g (0) 0, g(0) 1,..., g(0) p 1. Xấp xỉ trung bình đáp ứng f(x i, γ) cho n trường hợp bằng các điều kiện tuyến tính trong các khai triển Taylor quanh giá trị khởi đầu g (0). Với trường hợp thứ i ta có: k p 1 [ ] f(x i, γ) f(x i, g (0) f(xi, γ) ) + (γ k g (0) γ k ) (2.18) k γ=g (0) Để đơn giản, ta ký hiệu như sau: k=0 f (0) i = f(x i, g (0) ) (2.19a) β (0) k = γ k g (0) k (2.19b) [ ] D (0) ik = f(xi, γ) (2.19c) (2.19) γ k γ=g (0) Khi đó, xấp xỉ Taylor (2.18) cho trung bình đáp ứng cho trường hợp thứ i là: p 1 f(x i, γ) f (0) i + k=0 D (0) ik β(0) k và xấp xỉ của mô hình hồi quy phi tuyến (2.12) Y i = f(x i, γ) + ε i là: p 1 Y i f (0) i + D (0) ik β(0) k + ε i (2.20) k=0 Chuyển f (0) i sang vế trái và đặt Y (0) i = Y i f (0) i tuyến tính xấp xỉ như sau: Y (0) i p 1 k=0 ta có một mô hình hồi quy D (0) ik β(0) k + ε i (2.21) Dạng ma trận của mô hình hồi quy tuyến tính xấp xỉ (2.21) là: Y (0) D (0) β (0) + ε (2.22) Do đó chúng ta có thể ước lượng các tham số β (0) bằng bình phương cực tiểu thông thường và có được như sau: b (0) = (D (0) D (0) ) 1 D (0) Y (0) (2.23) 26

Sau đó dùng các ước lượng bình phương cực tiểu này để hiệu chỉnh lại các ước lượng hệ số hồi quy g (1) k bằng công thức (2.19b): g (1) k = g (0) k + b (0) k Thủ tục hiệu chỉnh dạng ma trận như sau: Đánh giá các hệ số hồi quy ban đầu g (0) là SSE (0) : g (1) = g (0) + b (0) (2.24) SSE (0) = n [Y i f(x i, g (0) )] 2 = i=1 n (Y i f (0) i ) 2 (2.25) i=1 Tiêu chí đánh giá bình phương cực tiểu ở bước lặp này là SSE (1) : SSE (1) = n [Y i f(x i, g (1) )] 2 = i=1 n (Y i f (1) i ) 2 (2.26) i=1 Nếu phương pháp Gauss-Newton làm việc hiệu quả trong bước thứ nhất thì SSE (1) sẽ nhỏ hơn SSE (0) vì các ước lượng điều chỉnh g (1) là ước lượng tốt hơn. Thủ tục lặp tiếp tục cho tới khi sự khác biệt giữa các ước lượng hệ số liên tiếp g (S+1) g (s) và hoặc là sự khác biệt giữa hai tiêu chí đánh giá bình phương cực tiểu liên tiếp SSE (s+1) SSE (s) là không đáng kể. Ở bước cuối cùng, biểu diễn các ước lượng của hệ số hồi quy là g và tiêu chí đánh giá bình phương cực tiểu có tổng bình phương sai số là SSE. Phương pháp Gauss-Newton làm việc hiệu quả trong nhiều ứng dụng hồi quy phi tuyến. Tuy nhiên trong một số ví dụ, phương pháp này yêu cầu nhiều bước lặp trước khi hội tụ, và một số ít trường hợp có thể không hội tụ. 2.3.3 Các thủ tục tìm kiếm trực tiếp khác Bên cạnh phương pháp Gauss-Newton, hai thủ tục tìm kiếm trực tiếp khác thường được sử dụng là phương pháp giảm nhanh nhất và thuật toán Marquardt. 27

2.4 Xây dựng và chẩn đoán mô hình Quá trình xây dựng mô hình cho các mô hình hồi quy phi tuyến có khác mô hình hồi quy tuyến tính. Một số mô hình hồi quy phi tuyến tự thêm và bớt các biến dự báo một cách trực tiếp. Sử dụng các công cụ chẩn đoán để kiểm tra sự phù hợp của một mô hình đóng một vai trò quan trọng trong quá trình xây dựng một mô hình hồi quy phi tuyến. 2.5 Các kết luận về tham số hồi quy phi tuyến 2.5.1 Ước lượng phương sai sai số MSE = SSE n p = (Yi Ŷi) 2 n p = [Yi f(x i, g) 2 ] n p (2.27) Với hồi quy phi tuyến, MSE không là ước lượng không chệch của σ 2, nhưng chệch ít khi cỡ mẫu lớn. 2.5.2 Định lí mẫu lớn Định lí 2.5.1. Khi sai số ε i là độc lập N(0,σ 2 ) và cỡ mẫu n là tương đối lớn, phân phối mẫu của g là xấp xỉ chuẩn. Giá trị kỳ vọng của véc tơ trung bình xấp xỉ là: E{g} = γ s 2 {g} = MSE(D D) 1 (2.28a) (2.28b) (2.28) Như vậy, theo định lí, suy luận cho các tham số hồi quy phi tuyến sẽ tương tự như hồi quy tuyến tính khi cỡ mẫu là lớn đáng kể. 2.5.3 Khi nào định lý mẫu lớn dùng được? 1. Sự hội tụ nhanh của thủ tục lặp tìm kiếm các ước lượng tham số hồi quy phi tuyến. 28

2. Một số đánh giá được phát triển cho việc cung cấp nguyên tắc về sự phù hợp khi dùng các thủ tục kết luận mẫu lớn. 3. Mẫu chương trình khởi động đưa ra cách trực tiếp xác định có hay không phân phối mẫu của các ước lượng tham số hồi quy phi tuyến là xấp xỉ chuẩn, có hay không phương sai của phân phối mẫu là gần với phương sai của mô hình xấp xỉ phi tuyến, và có hay không độ chệch trong mỗi tham số là nhỏ. 2.5.4 Biện pháp khắc phục hậu quả. Một số biện pháp khắc phục hậu quả dùng để ước lượng chương trình khởi động chính xác và thay thế khoảng tin cậy của suy luận mẫu lớn. Tuy nhiên, khi xấp xỉ phi tuyến ở (2.25) là không xấp xỉ gần mô hình hồi quy phi tuyến, sự hội tụ có thể rất chậm, ước lượng chương trình khởi động chính xác và khoảng tin cậy có thể khó có được. Một biện pháp khắc phục hậu quả khác mà đôi khi sẵn có là tăng cỡ mẫu. 2.5.5 Khoảng ước lượng của γ k Dựa vào định lí mẫu lớn (2.28), kết quả xấp xỉ sau vẫn giữ nguyên khi cỡ mẫu là lớn và sai số có phân phối chuẩn: g k γ k s{g k } t(n p) k = 0, 1,..., p 1 (2.29) t(n p) là là biến t với n p bậc tự do. Giới hạn tin cậy 1 α cho γ k được xác định như (1.50): g k ± t(1 α/2; n p)s{g k } (2.30) với t(1 α/2; n p) là (1 α/2)100% của phân phối t với n p bậc tự do. 2.5.6 Khoảng tin cậy đồng thời cho một số γ k Nếu m tham số được ước lượng với cùng độ tin cậy 1 α, giới hạn tin cậy Bonferroni là: g k ± Bs{g k } (2.31) 29

2.5.7 Kiểm tra tính liên quan của một tham số γ k Để kiểm định: H 0 : γ k = γ k0 H a : γ k γ k0 (2.32a) Sử dụng kiểm định t dựa trên (1.49) khi n tương đối lớn: t = g k γ k0 s{g k } (2.32b) Quy tắc kết luận cho việc kiểm soát các nguy cơ mắc phải sai lầm loại I là α là: Nếu t t(1 α/2; n p) chấp nhận H 0 Nếu t > t(1 α/2; n p) chấp nhận H a (2.32c) 2.5.8 Kiểm định đồng thời một số γ k Khi muốn kiểm định đồng thời các γ k với mẫu lớn, có thể sử dụng cách tiếp cận như trong hồi quy tuyến tính. Trước tiên với mô hình đầy đủ ta tính SSE(F ), sau đó với mô hình rút gọn ta tính SSE(R) và cuối cùng tính kiểm định thống kê giống như hồi quy tuyến tính: F = SSE(R) SSE(F ) df R df F MSE(F ) (2.32) với n lớn, thống kê kiểm định này được phân phối xấp xỉ như F (df R df F, df F ) khi cố định H 0. 2.6 Giới thiệu về mô hình mạng Nơ ron 2.6.1 Mô hình mạng Nơ ron Trong phần này chúng ta sẽ mô tả một cách đơn giản nhất, nhưng được sử dụng rất rộng rãi, mô hình mạng Nơ-ron, single hidden layer, mạng Nơ ron feedforward. Trong mô hình mạng Nơ ron biến đáp ứng thứ i Y i được mô hình như một hàm phi tuyến g Y của m biến dự báo ban đầu: H i0, H i1,..., H i,m 1 : Y i = g Y (β 0 H i0 + β 1 H i1 +... + β m 1 H i,m 1 ) + ε i = g Y (H i β) + ε i (2.33) 30

Đặt H i0 = 1 và với j = 1,..., p 1, giá trị dự báo thứ j cho quan sát thứ i H ij là một hàm phi tuyến g j của một tổ hợp tuyến tính của các biến dự báo gốc: H ij = g j (X i α j) j = 1,..., m 1 (2.34) Y i = g Y (H i β) + ε i = g Y [β 0 + m 1 j=1 β j g j (X i α j) ] + ε i (2.35) m hàm g Y, g 1,..., g m 1 được gọi là hàm kích hoạt ở các mạng Nơ ron. Một lựa chọn thông thường cho mỗi hàm kích hoạt này là hàm logistic: g(z) = 1 1 + e Z = [1 + e Z ] 1 (2.36) là hàm linh hoạt và có thể thích nghi với nhiều trường hợp. Ví dụ đơn giản, xét trường hợp một biến đơn, X 1. Từ công thức (2.34), dự báo thứ j cho quan sát thứ i là: g j (X i α j) = [1 + exp( α j0 α j1 X i1 )] 1 (2.37) (2.37) là sự tham số hóa lại của (2.11) với γ 0 = 1, γ 1 = e αj0 và γ 2 = α j1. Các hàm này được mô tả trong hình 2.2 với các giá trị khác nhau của α j0 và α j1. Thay g trong công thức (2.36) vào g Y, g 1,..., g m 1 trong công thức (2.35) đưa ra mô hình mạng Nơ ron mà đang được thảo luận: Y i = [1 + exp( H i β)] 1 + ε i [ [ = 1 + exp β 0 m 1 j=1 = f(x i, α 1,..., α m 1, β) + ε i β j [1 + exp( X i α j)] 1 ]] 1 + ε i (2.38) 2.6.2 Mạng đại diện Sơ đồ mạng được dùng để mô tả mô hình mạng Nơ ron. Hàm hồi quy tuyến tính chuẩn: E{Y } = β 0 + β 1 X 1 +... + β p 1 X p 1 (2.39) 31

Hình 2.2: Hàm kích hoạt logistic với một biến dự báo có thể đại diện cho một mạng như hình 2.3a. Mỗi biến dự báo X i kết nối đến biến đáp ứng được gán nhãn với tham số hồi quy tương ứng, β i. Mạng truyền thẳng, mô hình mạng Nơ ron single-hidden-layer (2.38) được chỉ ra trong hình 2.3b. Các điểm dự báo được gán nhãn X 0, X 1,..., X p 1 nằm phía bên trái của sơ đồ. Ở trung tâm của biểu đồ là m nút ẩn kết nối với p điểm dự báo theo ẩn kết nối tới biến đáp ứng Y bằng các tham số β. 2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính. Dễ dàng thấy rằng mô hình hồi quy bội chuẩn là một trường hợp đặc biệt của mô hình mạng Nơ ron (2.38). Nếu chọn cho mỗi hàm kích hoạt g Y, g 1,..., g m 1 : g(z) = Z 32

Hình 2.3: Mạng quan hệ của mô hình hồi quy tuyến tính và mô hình mạng Nơ ron. ta có: E{Y i } = β 0 + β 1 H i1 +... + β p 1 H i,m 1 (2.39a) và: H ij = α j0 + α j1 X i1 +... + α j,p 1 X i,p 1 (2.39b) Thay (2.39b) vào (2.39a) và sắp xếp lại ta có: [ ] [ m 1 m 1 ] E{Y i } = β 0 + β j α j0 + β j α j1 X i1 +... + j=1 j=1 [ m 1 j=1 β j α j,p 1 ] X j,p 1 = β 0 + β 1X i1 +... + β p 1X i,m 1 (2.40) Khi đó, mạng Nơ ron với các hàm kích hoat được biến đổi thành mô hình hồi quy tuyến tính chuẩn. 2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized Tiêu chuẩn bình phương cực tiểu penalty là: n Q = [Y i f(x i, β, α 1,..., α m 1 ] 2 + p λ (β, α 1,..., α m 1 ) (2.41) i=1 33

trong đó quá phù hợp penalty là: p λ (β, α 1,..., α m 1 ) = λ [ m 1 i=0 m 1 βi 2 + i=1 p 1 αij 2 i=0 ] (2.41a) Do vậy, penalty là hằng số dương, λ, là số lần tổng bình phương các hệ số hồi quy phi tuyến. Chú ý rằng penalty được áp dụng không phải trên số lượng m + mp các tham số mà trên tổng độ lớn các tham số. Trong mạng Nơ ron, việc tìm kiếm một tập các giá trị tham số mà cực tiểu hóa hàm tiêu chuẩn (2.41) được gọi là huấn luyện mạng. Số lượng các tìm kiếm được tiến hành trước khi đưa ra ước lượng cuối cùng được gọi là số lượng tour. 2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron Trong những năm gần đây, các mạng Nơ ron được ứng dụng rất rộng rãi trong nhiều lĩnh vực. Chúng trở thành một trong những công cụ chuẩn trong lĩnh vực khai thác dữ liệu, và ứng dụng của chúng tiếp tục lớn lên. Điều này phần lớn là do sự phổ biến của của máy tính cho phép phù hợp các mô hình phức tạp có hàng chục, hàng trăm, thậm chí hàng nghìn tham số. Một số từ vựng được phát triển là duy nhất với lĩnh vực mạng Nơ ron. Bảng dưới đây đưa ra danh sách số lượng các điều kiện mà được sử dụng rộng rãi bởi các nhà thống kê đối với các mạng Nơ ron: Điều kiện thống kê Điều kiện mạng Nơ ron hệ số trọng số dự báo đầu vào đáp ứng kết quả quan sát mẫu ước lượng tham số huấn luyên hoặc học tập độ dốc nhanh nhất lan truyền ngược giá trị chặn điều kiện chệch dự báo gốc nút ẩn hàm penalty trọng số phân rã 34

Chương 3 Ứng dụng 3.1 Ứng dụng 1: Dự báo doanh số bán hàng 3.1.1 Đặt bài toán Hình 3.1: ứng dụng dự báo doanh số bán hàng của Dwaine Studio Dwaine Studios, Inc., điều hành các studio chân dung trong 21 thành phố quy mô vừa. Các studio này chuyên môn trong chân dung của trẻ nhỏ. Công ty đang xem xét việc mở rộng sang các thành phố khác của nhóm thành phố quy mô vừa và mong muốn điều tra xem liệu doanh số bán hàng (Y) trong một cộng đồng có thể được dự báo từ số trẻ trong độ tuổi 35

16 hoặc trẻ hơn trong cộng đồng (X1) và thu nhập cá nhân cho mỗi đầu người ở cộng đồng đó (X2). Dữ liệu cho các biến trong những năm gần đây nhất cho 21 thành phố mà Dwaine Studios đang có được hiển thị trong hình 3.1b. Doanh số bán hàng có đơn vị nghìn đô la, được dán nhãn Y hay SALES; số người trong độ tuổi 16 hoặc trẻ hơn có đơn vị nghìn người, được dán nhãn X 1 hay T ARGT P OP ; và bình quân thu nhập mỗi cá nhân có đơn vị nghìn đô la, dán nhãn X 2 hay DISP OINC cho thu nhập bình quân đầu người. Mô hình bậc nhất là: Y i = β 0 + β 1 X i1 + β 2 X i2 + ε i (3.1) Hình 3.2: Đám mây điểm trước và sau khi quay Từ biểu đồ đưa ra kết luận sơ bộ rằng ở đây mặt đáp ứng có thể là một hàm hồi quy hợp lý để sử dụng. 3.1.2 Các tính toán cơ bản Các ma trận X và Y cho ứng dụng Dwaine Studios như sau: 1 68.5 16.7 174.4 1 45.2 16.8 164.4 X =... 1 52.3 16.0 Y =. 166.5 (3.2) 36

ta cần tính: 1. X X = [ 21.0 1, 302.4 360.0 1, 302.4 87, 707.9 22, 609.2 360.0 22, 609.2 6, 190.3 ] (3.3) 2. X Y = [ 3, 820 249, 643 66, 073 ] (3.4) 3. (X X) 1 = [ 29.7289.0722 1.9926.0722.00037.0056 1.9926.0056.1363 ] (3.5) 3.1.3 Ước lượng hàm hồi quy Các ước lượng bình phương cực tiểu: b = (X X) 1 X Y = và hàm hồi quy được ước lượng là: [ 68.857 1.455 9.366 ] (3.6) Ŷ = 68.857 + 1.455X 1 + 9.366X 2 Hình 3.3 là biểu đồ ba chiều của hàm hồi quy ước lượng và các giá trị đáp ứng. Phương trình chuẩn dạng đại số Y i = nb 0 + b 1 X i1 + b 2 X i2 X i1 Y i = b 0 X i1 + b 1 Xi1 2 + b 2 X i1 X i2 X i2 Y i = b 0 X i2 + b 1 X i1 X i2 + b 2 Xi2 2 (3.7) 37

Hình 3.3: Biểu đồ mặt hồi quy ước lượng 3.1.4 Các ước lượng mẫu và phần dư Để kiểm tra sự phù hợp của mô hình hồi quy cần có các ước lượng mẫu Ŷi và phần dư e = Y i Ŷi. Từ (1.50) ta có: Hơn nữa, từ (1.51) ta có: Ŷ 1 Ŷ 2. Ŷ 21 Ŷ = Xb = 187.2 154.2. 157.1 e 1 e 2. e 21 e = Y Ŷ = 12.8 10.2. 9.4 3.1.5 Phân tích sự phù hợp của mô hình Phân tích sự phù hợp của mô hình hồi quy bằng cách xem xét biểu đồ phần dư e đối với các ước lượng mẫu Ŷ trong hình 3.4 dưới đây: 38

Hình 3.4: Biểu đồ chẩn đoán của Dwaine studio 39

Qua biểu đồ này ta thấy các độ lệch không có hệ thống trên mặt đáp ứng, phương sai của sai số cũng không thay đổi theo mức của Ŷ. Các biểu đồ phần dư e đối với X 1 và X 2 tương ứng trong hình 3.4b và 3.4c là hoàn toàn phù hợp với các kết luận về sự phù hợp tốt bởi hàm đáp ứng và điều kiện sai số có phương sai không đổi. Các ứng dụng hồi quy bội thường có các ảnh hưởng tương tác. Để làm rõ ảnh hưởng này cho trường hợp Dwaine Studio, ta vẽ biểu đồ phần dư e đối với các ảnh hưởng tương tác X 1 X 2 trong hình 3.4d. Hình 3.5: Biểu đồ chẩn đoán - ví dụ Dwaine studio 3.1.6 Phân tích phương sai Để kiểm định doanh thu bán hàng có liên quan đến mục tiêu dân số và thu nhập bình quân đầu người hay không, ta cần đến bảng ANOVA. Các giá trị cơ bản cần có là: Y Y = 721, 072.40 ( 1 n) Y JY = 694, 876.19 Do vậy: SST O = Y Y ( 1 n) Y JY = 26, 196.21 40

và từ kết quả của (3.4) và (3.8) ta có: SSE = Y Y b X Y = 2, 180.93 Cuối cùng, ta lấy hiệu: SSR = SST O SSE = 26, 196.21 2, 180.93 = 24, 015.28 Kiểm định quan hệ hồi quy Để kiểm định xem doanh thu bán hàng có liên quan đến mục tiêu dân số và thu nhập bình quân hay không: H 0 : β 1 = 0và β 2 = 0 ta sử dụng thống kê kiểm định (1.61b): H a : Không phải cả hai β 1 và β 2 bằng 0 F = MSR MSE = 12, 007.64 121.1626 = 99.1 Với α = 0.05, ta có F (.95; 2, 18) = 3.35. Vì F = 99.1 > 3.35 nên chấp nhận H a, điều này có nghĩa là doanh thu bán hàng có liên quan đến mục tiêu dân số và thu nhập bình quân đầu người. Hệ số xác định bội. Từ (1.62) ta có: R 2 = SSR SST O = 24, 015.28 26, 196.21 =.917 Do vậy, khi hai biến dự báo, mục tiêu dân số và doanh thu bình quân đầu người, được xem xét, sự thay đổi trong doanh thu bán hàng được giảm bớt 91.7%. 3.1.7 Ước lượng các tham số hồi quy Dwaine Studio không quan tâm đến tham số β 0 vì nó không liên quan đến độ dốc của mô hình mà quan tâm đến việc ước lượng β 1 và β 2 với cùng độ tin cậy.90. Ta dùng giới hạn tin cậy đồng thời Bonferroni (1.73). 41

s 2 {b} = Hai phương sai ước lượng là: [ 3, 602.0 8.748 241.43 8.748.0448.679 241.43.679 16.514 ] (3.8) s 2 {b 1 } =.0448 s{b 1 } =.212 s 2 {b 2 } = 16.514 s{b 2 } = 4.06 Tiếp theo, ta xác định các ước lượng đồng thời với g = 2: B = t[1 10/2(2); 18] = t(0.975; 18) = 2.101 Do đó, hai cặp giới hạn tin cậy đồng thời là: 1.455 ± 2.101(.212) và 9.366 ± 2.101(4, 06) mà khoảng tin cậy là: 1.01 β 1 1.90.84 β 2 17.9 Với cùng độ tin cậy.90 chấp nhận rằng β 1 nằm trong khoảng 1.01 và 1.90 và β 2 nằm trong khoảng.84 và 17.9. Các khoảng tin cậy đồng thời chỉ ra cả β 1 và β 2 là dương, điều này là tuân theo sự kỳ vọng giả thuyết đó là doanh thu bán hàng sẽ tăng khi mục tiêu dân số cao hơn và thu nhập bình quân đầu người cao hơn, biến còn lại được coi là hằng số. 3.1.8 Ước lượng trung bình đáp ứng Dwaine Studio muốn ước lượng dự kiến doanh thu bán hàng (trung bình) ở các thành phố với mục tiêu dân số X h1 = 65.4 nghìn người ở độ tuổi 16 hoặc trẻ hơn và thu nhập bình quân đầu người X h2 = 17.6 nghìn đô la với khoảng tin cậy 95%. Ước lượng điểm của doanh thu bán hàng trung bình theo công thức (1.76): Ŷ h = X h b = 191.10 42

Ước lượng phương sai là: s 2 {Ŷh} = X h s2 {b}x h = 7.656 hay s{ŷh} = 2.77 Đối với hệ số tin cậy.95, ta có t(.975; 18) = 2.101 và theo công thức (1.80) giới hạn tin cậy là 191.10 ± 2.101(2.77). Khoảng tin cậy cho E{Y } là: 185.3 E{Y } 196.9 Dạng đại số cho ước lượng phương sai s 2 {Ŷh}. Do từ công thức (1.79): s 2 {Ŷh} = X h s2 {b}x h với trường hợp hai biến dự báo trong mô hình bậc nhất ta có: s 2 {Ŷh} = s 2 {b 0 } + X 2 h1 s2 {b 1 } + X 2 h2 s2 {b 2 } + 2X h1 s{b 0, b 1 } + 2X h2 s{b 0, b 2 } + 2X h1 X h2 s{b 1, b 2 } (3.9) 3.1.9 Giới hạn dự báo cho các quan sát mới Dwaine Studio muốn mở rộng dự báo doanh thu bán hàng cho hai thành phố mới, với các đặc điểm sau: Thành phố A Thành phố B X h1 65.4 53.1 X h2 17.6 17.7 Và mong muốn các khoảng dự báo với cùng độ tin cậy 90%. Chú ý rằng hai thành phố mới có các đặc điểm nằm trong phạm vi mô hình của 21 thành phố là cơ sở của các phân tích hồi quy. Với thành phố A, ta dùng các kết quả có được khi ước lượng trung bình doanh thu bán hàng vì các mức của các biến dự báo là như nhau. Ta có: Ŷ h = 191.10 s 2 {Ŷh} = 7.656 MSE = 121.1626 43

Do đó, từ (1.84a): s 2 {pred} = MSE + s 2 {Ŷh} = 121.1626 + 7.656 = 128.82 hay: s{pred} = 11.35 Tính toán tương tự với thành phố B ta có: Ŷ h = 174.15 s{pred} = 11.93 Theo trên, hệ số Bonferroni bội là B = 2.101. Do đó, theo công thức (1.66) giới hạn dự báo Bonferroni đồng thời với hệ số tin cậy.90 là 191.10 ± 2.101(11.35) và 174.15 ± 2.101(11.93), nên khoảng tin cậy đồng thời là: Thành phố A: 167.3 Y h(new) 214.9 Thành phố B: 149.1 Y h(new) 199.2 3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi xuất viện Một quản lý bệnh viện muốn phát triển một mô hình hồi quy cho việc dự báo mức độ phục hồi sau khi xuất viện từ bệnh viện cho bệnh nhân bị thương nặng. Biến dự báo là số ngày nằm viện (X), và biến đáp ứng là chỉ số tiên lượng phục hồi dài hạn (Y). Dữ liệu nghiên cứu cho 15 bệnh nhân được biểu diễn trong bảng 3.1 và biểu đồ phân tán dữ liệu được chỉ ra trong hình 3.6: 44

bảng 3.1: dữ liệu các bệnh nhân bị thương nặng Hình 3.6: biểu đồ phân tán và hàm hồi quy phi tuyến mẫu 45

Do đó, quyết định điều tra sự phù hợp của hai tham số trong mô hình hồi quy phi tuyến dạng mũ (2.6): Do đó, tiêu chuẩn bình phương cực tiểu là: n Q = [Y i γ 0 exp(γ 1 X)] 2 Y i = γ 0 exp(γ 1 X i ) + ε i (3.10) i=1 Ta có, trung bình đáp ứng cho trường hợp thứ i là: f(x i, γ) = γ 0 exp(γ 1 X i ) (3.11) Các phương trình chuẩn là: Y i exp(g 1 X i ) g 0 exp(2g 1 X i ) = 0 Y i X i exp(g 1 X i ) g 0 X i exp(2g 1 X i ) = 0 (3.12) Các phương trình chuẩn này không tuyến tính đối với g 0 và g 1, và không tồn tại nghiệm kín. Do vậy, đòi hỏi cần có các phương pháp số lặp để tìm nghiệm cho các ước lượng bình phương cực tiểu. Các giá trị khởi đầu của các tham số γ 0 và γ 1 được lấy là các ước lượng của các tham số này bằng cách biến đổi logarit hàm đáp ứng tuyến tính hóa: log e γ 0 [exp(γ 1 X)] = log e γ 0 + γ 1 X Do đó, mô hình hồi quy tuyến tính với biến biến đổi Y được phù hợp như là một xấp xỉ ban đầu cho mô hình dạng mũ: Y i = β 0 + β 1 X i + ε i Mô hình hồi quy tuyến tính này được phù hợp bởi bình phương cực tiểu thông thường và đưa ra các hệ số hồi quy ước lượng là b 0 = 4.0371 và b 1 =.03797. Do đó, các giá trị khởi đầu là g (0) 0 = exp(b 0 ) = exp(4.0371) = 56.6646 và g (0) 1 = b 1 =.03797. Tiêu chí đánh giá bình phương cực tiểu trong bước này yêu cầu đánh giá hàm hồi quy phi tuyến (2.7) cho mỗi trường hợp, sử dụng các giá trị tham số khởi đầu g (0) 0 và g (0) 1. Ví dụ trong trường hợp này, với X 1 = 2 chúng ta có: f(x 1, g (0) ) = f (0) 1 = g (0) exp(g (0) 1 X 1) = (56.6646 exp[.03797(2)] = 52.5208 46

Do Y 1 = 54, trung bình đáp ứng là: Bảng 3.2: Ma trận Y (0) và D (0) Y (0) 1 = Y 1 f (0) 1 = 54 52.5208 = 1.4792 SSE (0) = (Y i f (0) i ) 2 = (Y (0) i ) 2 = (1.4792) 2 +... + (1.1977) 2 = 56.0869 47

b (0) = [ 1.8932.001563 g (1) = g (0) + b (0) = ] [ 58.5578.03953 Do đó, g (1) 0 = 58.5578 và g (1) 1 =.03953 là các ước lượng tham số hiệu chỉnh ở cuối bước lặp thứ nhất. ] Bảng 3.3 Do đó, thủ tục tìm kiếm được chất dứt sau bước lặp thứ 3 và các hệ số hồi quy ước lượng cuối cùng là g 0 = 58.6065 và g 1 =.03959 và hàm hồi quy phù hợp là: Ŷ = 58.6065 exp(.03959x) (3.13) Các phần dư được đưa ra bằng cách sử dụng việc phù hợp hàm hồi quy phi tuyến (3.15) e i = Y i (58.6065) exp(.03959x i ) 48

Hình 3.7: biểu đồ chuẩn đoán phần dư Muốn có khoảng ước lượng đồng thời cho γ 0 và γ 1 với cùng hệ số tin cậy 90%. Với thủ tục Bonferroni ta cần tách khoảng tin cậy cho hai tham số, mỗi loại với hệ số tin cậy 95%. Chúng ta đã thu được khoảng tin cậy cho γ 1 với hệ số tin cậy 95%. Tuyên bố 95% giới hạn tin cậy cho γ 0, sử dụng các kết quả ở bảng 3.3b, là 58.6065 ± 2.160(1.472) và khoảng tin cậy cho γ 0 là: 55.43 γ 0 61.79 Do đó, khoảng tin cây với hệ số tin cậy đồng thời là 90%: Ta muốn kiểm định: Thống kê kiểm định (2.36b) ở đây là: 55.43 γ 0 61.79.0433 γ 1.0359 (3.14) t = H 0 : γ 0 = 54 H a : γ 0 54 58.6065 54 1.472 = 3.13 với α =.01 ta có t(.995; 13) = 3.012. Do t = 3.13 > 3.012 chúng ta chấp nhận giả thuyết H a rằng γ 0 54. Giá trị P xấp xỉ hai phía của kiểm định là.008. 49

Hình 3.8: Phân phối mẫu bootstrap 3.3 Ứng dụng 3: Đường cong học tập Một công ty sản xuất sản phẩm điện tử đã tiến hành sản xuất một sản phẩm mới tại hai địa điểm (địa điểm A: mã X 1 = 1 và địa điểm B: mã X 1 = 0). Địa điểm B có các cơ sở hiện đại hơn và do đó được kỳ vọng là hiệu quả hơn địa điểm A, thậm chí ngay sau thời gian học tập ban đầu. Một kỹ sư công nghiệp tính toán chi phí đơn vị dự kiến cho mỗi địa điểm mà thể hiện như một phần của kỳ vọng giá. Đối ứng của phần này là một độ đo hiệu quả tương đối và độ đo hiệu quả tương đối này được dùng như là biến đáp ứng Y trong nghiên cứu. 50

Bảng 3.4: dữ liệu cho ứng dụng đường cong học tập Biết rằng hiệu quả tăng theo thời gian khi một sản phẩm mới được sản xuất ra, và những cải tiến cuối cùng thường giảm và quá trình trở nên ổn định. Do dó, ứng dụng quyết định sử dụng một mô hình hàm mũ với tiệm cận trên để diễn tả mối quan hệ giữa hiệu quả Y và thời gian X 2, và để kết hợp hiệu ứng liên tục cho sự khác biệt trong hai địa điểm sản xuất. Mô hình quyết định là: Y i = γ 0 + γ 1 X i1 + γ 3 exp(γ 2 X i1 ) + ε i (3.15) Các dữ liệu hàng tuần về hiệu quả sản xuất liên quan đến mỗi địa điểm là có sẵn. Mô hình hồi quy (3.17) là phi tuyến với các tham số γ 2 và γ 3. Do đó, một thủ tục ước lượng tìm kiếm số được thực hiện, với các giá trị khởi đầu cho các 51

Hình 3.9: biểu đồ phân tán của đường cong học tập tham số là cần thiết. Các nghiên cứu trước đây chỉ ra rằng γ 3 khá gần với -.5 nên g (0) 3 =.5 được sử dụng làm giá trị khởi đầu. Do sự khác biệt hiệu suất tương đối giữa địa điểm A và B cho mỗi tuần có trung bình là -.0459 trong suốt 90 tuần, do đó giá trị khởi đầu g (0) 1 =.0459. Hiệu suất tương đối lớn nhất theo quan sát cho địa điểm B là 1.028, vì vậy giá trị khởi đầu g (0) 0 = 1.025 là hợp lý. Phần còn lại là chọn giá trị khởi đầu cho γ 2.Do Y 2 4 = 1.012, tương ứng X 24,1 = 0, X 24,2 = 30 và các giá trị khởi đầu cho các hệ số hồi quy khác (bỏ qua sai số): 1.012 = 1.025 (.5) exp(30γ 2 ) γ 2 là nghiệm của phương trình nên giá trị khởi đầu g (0) 2 =.122. Với bốn giá trị khởi đầu g (0) 0 = 1.025, g (0) 1 =.0459, g (0) 2 =.122, và g (0) 3 =.5, một gói tính toán của chương trình tìm kiếm số trực tiếp được thực hiện để có được ước lượng bình phương cực tiểu. Các hệ số hồi quy bình phương cực tiểu 52

ổn định sau năm bước lặp. Vậy mô hình hồi quy phù hợp là: Ŷ = 1.0156.4727X 1 (.5524) exp(.1348x 2 ) (3.16) bảng 3.5: Ước lượng bình phương cực tiểu phi tuyến và độ lệch chuẩn Hình 3.10: biểu đồ Histogram của phân phối mẫu bootstrap Đặc biệt quan tâm đến tham số γ 1, tham số phản ánh hiệu quả của địa điểm.xây dựng khoảng tin cậy 95% cho tham số này. Ta có t(.975; 26) = 2.056 và s{g 1 } =.004109. Khi đó:.0557 γ 1.0388 3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim Dữ liệu được sưu tập trong một dự án bảo vệ sức khỏe và đưa ra thông tin liên quan đến 788 người phát sinh từ bệnh tim mạch vành. Biến đáp ứng Y là tổng giá của dịch vụ được cung cấp và biến dự báo được nghiên cứu ở đây là: 53

biến dự báo X 1 X 2 X 3 X 4 Mô tả số lượng các can thiệp hay các thủ tục thực hiện Số lượng các thuốc theo dõi được sử dụng Số lượng các bệnh đi kèm - các điều kiện khác hiện có làm phức tạp các điều trị Số lượng các biến chứng - các điều kiện khác phát sinh trong quá trình điều trị bệnh tim. 400 quan sát đầu tiên được sử dụng để phù hợp mô hình (2.38) và n = 388 quan sát được xác nhận. Sử dụng JMP để phù hợp và đánh giá mô hình mạng Nơ ron. Hình 3.11: JMP control panel cho phù hợp mô hình mạng Nơ ron Ở đây, ta chọn 5 nút ẩn và dùng λ =.05 như là trọng số penalty. Cũng như vậy, chọn các giá trị mặc định cho số lượng tour (20), số lượng cực đại của các bước lặp cho thủ tục tìm kiếm (50) và tiêu chuẩn hội tụ (.00001). Bằng cách kiểm tra hộp đăng nhập tour, ta sẽ duy trì được một mảng các kết quả của mỗi tour trong 20 tour. Một đại diện JMP của mô hình (2.38) được chỉ ra trong hình 3.12. Chú ý rằng, đại diện này không bao gồm nút X 0 và H 0. Ta có m = 6 nút ẩn và p = 5 nút biến dự báo, và cần ước lượng m + p(m 1) = 6 + 5(6 1) = 31 tham số. Sau 20 phép thử các kết quả phù hợp tốt nhất được chỉ ra trong hình 3.13. 54

Hình 3.12: sơ đồ mạng Nơ ron JMP Hình 3.13: kết quả JMP cho sự phù hợp mạng Nơ ron 55

Tài liệu tham khảo [1] Phạm Hữu Đức Dục (2009),Mạng Nơ ron và ứng dụng trong điều khiển tự động, Nhà xuất bản khoa học kỹ thuật. [2] Đào Hữu Hồ - Nguyễn Văn Hữu - Hoàng Hữu Như, Thống kê toán học, Nhà xuất bản Đại Học Quốc Gia. [3] Đặng Hùng Thắng (2005),Thống kê và Ứng dụng, Nhà xuất bản Giáo dục. [4] John Neter - William Wasserman - Michael H.Kutner (1983), Applied linear regression models, Richard D.Irwin,INC. [5] Kutner- Nachtsheim - Neter (2004), Applied linear regression models. 56