ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI TRUNG HIẾU NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN Hà Nội - 2016
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI TRUNG HIẾU NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: GS. TS VŨ ĐỨC THI Hà Nội - 2016
1 LỜI CẢM ƠN Đầu tiên, tôi xin gửi lời biết ơn sâu sắc đến thầy Giáo sư, Tiến sĩ Vũ Đức Thi, thầy đã dành nhiều thời gian và tâm huyết hướng dẫn và giúp tôi hoàn thành tốt luận văn tốt nghiệp này. Thầy đã định hướng nghiên cứu các kiến thức cần thiết và hữu ích đúng trọng tâm của vấn đề, đồng thời tạo mọi điều kiện thuận lợi nhất cho tôi trong quá trình học tập và nghiên cứu đề tài luận văn. Tôi cũng xin được bày tỏ lòng biết ơn tới các thầy, cô giáo trường Đại học Công nghệ đã tham gia giảng dạy và chia sẻ những kinh nghiệm quý báu cho bản thân tôi. Tôi xin gửi lời cảm ơn đến các thấy và các anh chị đã thường xuyên giúp đỡ, trao đổi, góp ý về những vấn đề khoa học liên quan tới luận văn. Cuối cùng, tôi cũng bày tỏ lòng biết ơn về sự giúp đỡ của các anh, chị đang công tác tại Cục Cảnh sát đăng ký, quản lý cư trú và cơ sở dữ liệu quốc gia về dân cư; và Văn phòng Bộ - cơ quan nơi tôi công tác đã tạo điều kiện tốt nhất cho tôi về thời gian cũng như động viên tôi hoàn thành luận văn. Một lần nữa, tôi xin chân thành cảm ơn! Hà Nội, tháng 10 năm 2016 Học viên Bùi Trung Hiếu
2 LỜI CAM ĐOAN Những kiến thức trình bày trong luận văn là do tôi tìm hiểu, nghiên cứu và trình bày lại theo cách hiểu. Trong quá trình làm luận văn, tôi có tham khảo các tài liệu có liên quan và đã ghi rõ nguồn tài liệu tham khảo đó. Tôi xin cam đoan đây là công trình nghiên cứu của tôi và không sao chép của bất kỳ ai. Hà Nội, tháng 10 năm 2016 Học viên Bùi Trung Hiếu
3 MỤC LỤC LỜI CẢM ƠN... 1 LỜI CAM ĐOAN... 2 DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT... 5 DANH MỤC HÌNH VẼ... 7 DANH SÁCH BẢNG BIỂU... 8 MỞ ĐẦU... 9 CHƢƠNG I. MỘT SỐ VẤN ĐỀ VỀ SƠ SỞ DỮ LIỆU... 11 1.1. Những khái niệm cơ bản... 11 1.1.1. Khái quát về mô hình dữ liệu... 11 1.1.2. Các khái niệm cơ bản và hệ tiên đề Armstrong... 12 1.1.2.1. Quan hệ... 12 1.1.2.2. Phụ thuộc hàm... 13 1.1.2.3. Hệ tiên đề Armstrong... 13 1.1.2.4. Sơ đồ quan hệ... 15 1.2. Những vấn đề liên quan đến khóa... 15 1.2.1. Khóa... 15 1.2.2. Thuật toán liên quan đến khóa... 16 1.2.2.1. Thuật toán tìm khóa tối tiểu của một sơ đồ quan hệ... 17 1.2.2.2. Thuật toán tìm một khóa tối tiểu của một quan hệ... 17 1.3. Chuẩn hóa... 17 1.3.1. Các khái niệm cơ bản... 18 1.3.2. Các thuật toán liên quan đến chuẩn hóa... 19 1.4. Ngôn ngữ xử lý bảng... 20 1.4.1. Các phép toán cơ bản... 20 1.4.1.1. Phép hợp (r t)... 21 1.4.1.2. Phép trừ (r t)... 21 1.4.1.3. Phép giao (r t)... 21 1.4.1.4. Tích Đề các... 22 1.4.1.5. Phép chiếu... 23 1.4.1.6. Phép chọn... 23 1.4.2. Các phép toán khác... 24 1.4.2.1. Phép chia (r s)... 24 1.4.2.2. Phép nối... 24 1.4.2.3. Phép nối... 25 CHƢƠNG II. KHO DỮ LIỆU... 26 2.1. Kiến trúc chung về kho dữ liệu... 26 2.1.1. Tầng xử lý dữ liệu... 26 2.1.2. Tầng kho dữ liệu... 27 2.1.3. Tầng khai thác dữ liệu... 27 2.2. Một số thành phần cơ bản của kho dữ liệu... 28 2.2.1. Kho dữ liệu trong DBMS... 28 2.2.2. Nguồn dữ liệu... 29 2.2.3. Siêu dữ liệu meta data... 29 2.2.4. Công cụ truy cập... 30 2.2.5. Kho dữ liệu chủ đề... 31 2.2.6. Quản trị kho dữ liệu... 32
4 2.2.7. Hệ thống thông tin... 33 2.3. Công cụ kho dữ liệu của Microsoft... 33 2.3.1. Dịch vụ tich hợp dữ liệu... 34 2.3.2. Dịch vụ Báo cáo... 38 2.3.3. Dịch vụ phân tích... 41 2.3.4. Bộ công cụ phát triển tri tuệ doanh nghiệp... 43 2.3.5. Công cụ quản lý SQL Server... 44 2.3.6. Dịch vụ tác nhân SQL Server... 45 CHƢƠNG III. THỬ NGHIỆM GIẢI QUYẾT BÀI TOÁN QUẢN LÝ DÂN CƢ 47 3.1. Mô tả bài toán quản lý dân cƣ... 47 3.2. Các chỉ tiêu của bài toán quản lý dân cƣ... 49 3.2.1. Nguyên tắc thiết kế... 49 3.2.2. Các yêu cầu thiết kế... 49 3.2.3. Nhu cầu xử lý dữ liệu... 50 3.2.4. Kho dữ liệu gốc về công dân... 51 3.3. Hệ thống biểu mẫu... 52 3.3.1. Biểu mẫu thu thập, cập nhật thông tin dân cư... 52 3.3.2. Biểu mẫu thống kê dữ liệu... 60 3.4. Quy mô bài toán... 63 3.4.1. Mục tiêu đầu tư... 63 3.4.2. Quy mô đầu tư... 64 3.5. Phần mềm thủ nghiệm... 64 3.5.1. Mô hình kiến trúc hệ thống tổng thể... 64 3.5.2. Thiết kế Cơ sở dữ liệu... 66 3.5.3. Thiết kế phần mềm nội bộ... 68 3.5.4. Thiết kế hạ tầng kỹ thuật... 69 3.5.5. Giải pháp sinh mã số định danh cá nhân... 71 3.5.6. Giải pháp khai thác, chia sẻ dữ liệu... 72 3.5.6.1. Giới thiệu chung về giải pháp... 72 3.5.6.2. Đối tượng tham gia khai thác, chia sẻ... 73 3.5.6.3. Công cụ khai thác, chia sẻ và cung cấp dịch vụ công... 75 3.5.6.4. Nguyên tắc phân quyền khai thác, chia sẻ dữ liệu... 78 3.5.7. Giải pháp đồng bộ dữ liệu Trung tâm dữ liệu chính và Trung tâm dữ liệu dự phòng... 78 KẾT LUẬN... 80 TÀI LIỆU THAM KHẢO... 81
5 DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT STT Từ viết tắt Từ hoặc cụm từ 1 ADO.NET ActiveX Data Object.NET Thư viên phần mềm.net Framework 2 BI Business Intelligent Kinh doanh thông minh 3 BW Business warehouse Kho dữ liệu 4 CSDL Cơ sở dữ liệu 5 CSDLQG Cơ sở dữ liệu quốc gia 6 DBMS Database Management System Hệ quản trị cơ sở dữ liệu 7 ETL Extract Transform Load Trích xuất Chuyển đổi Tải 8 FTP File Transfer Protocol Giao thức truyền tập tin 9 HOLAP Hybrid OLAP OLAP kết hợp 10 HTTP HyperText Transfer Protocol Giao thức truyền tải siêu văn bản 11 MOLAP Multidimensional OLAP OLAP đa chiều 12 OLAP Online Analysis Processing Xử lý phân tích trực tuyến 13 OLE DB Object Linking and Embedding, Database Đối tượng kết nối và nhúng cơ sở dữ liệu 14 RDBMS Relational Database Management System Hệ quản trị cơ sở dữ liệu quan hệ 15 ROLAP Relational OLAP OLAP quan hệ 16 SQL Server Querry Language Ngôn ngữ truy vấn máy chủ 17 SSAS SQL Server Analysis Service Dịch vụ phân tích máy chủ SQL 18 SSIS SQL Server Integration Service Dịch vụ tích hợp dữ liệu máy chủ SQL
6 19 SSMS 20 SSRS 21 T-SQL 22 XML SQL Server Management Studio Công cụ quản trị máy chủ SQL SQL Server Reporting Service Dịch vụ báo cáo máy chủ SQL Transact-SQL Ngôn ngữ SQL mở rộng extensible Markup Language Ngôn ngữ đánh dấu mở rộng
7 DANH MỤC HÌNH VẼ Hình 1.1. Quan hệ r 1 và quan hệ r 2 Hình 1.2. Mối quan hệ giữa lớp quan hệ và phụ thuộc hàm Hình 1.3. Mối quan hệ giữa lớp các họ phụ thuộc hàm với hàm đóng Hình 1.4. Mối quan hệ giữa lớp họ phụ thuộc hàm với lớp các hệ Sperner Hình 1.5. Phân lớp các dạng chuẩn của cơ sở dữ liệu Hình 1.6. Quan hệ r và quan hệ t Hình 2.1. Kiến trúc hệ thống Kho dữ liệu Hình 2.2. Kiến trúc dịch vụ tích hợp SSIS Hình 2.3. Ví dụ về một luồng dữ liệu Hình 2.4. Kiến trúc dịch vụ báo cáo SSRS Hình 2.5. Kiến trúc dịch vụ phân tích SSAS Hình 2.6. Màn hình khởi tạo mẫu dự án DW/BI trong BIDS Hình 2.7. Màn hình quản lý của SQL Server Hình 2.8. Màn hình tạo công việc Hình 3.1. Biểu mẫu thu thập thông tin dân cư Hình 3.2. Biểu mẫu cập nhật, chỉnh sửa thông tin dân cư Hình 3.3. Biểu mẫu Tờ khai nhân khẩu Hình 3.4. Biểu mẫu phiếu báo thay đổi hộ khẩu, nhân khẩu Hình 3.5. Biểu mẫu phiếu khai báo tạm vắng Hình 3.6. Biểu mẫu tờ khai căn cước công dân Hình 3.7. Biểu mẫu phiếu thu nhận thông tin căn cước công dân Hình 3.8. Biểu mẫu tờ khai xin cấp hộ chiếu Hình 3.9. Thống kê việc cấp và quản lý căn cước công dân Hình 3.10. Thống kê hộ, nhân khẩu Hình 3.11. Thống kê đăng ký, quản lý cư trú Hình 3.12. Kiến trúc hệ thống Cơ sở dữ liệu quốc gia về dân cư Hình 3.13. Mô hình dữ liệu trong hệ thống Cơ sở dữ liệu quốc gia về dân cư Hình 3.14. Gói phần mềm ứng dụng trong hệ thống Cơ sở dữ liệu quốc gia về dân cư Hình 3.15. Mô hình thiết kế tổng thể hạ tầng hệ thống Cơ sở dữ liệu quốc gia về dân cư Hình 3.16. Môi trường của hệ thống Cơ sở dữ liệu quốc gia về dân cư
Bảng 1.1. Quan hệ r Bảng 1.2. Phép nối r t Bảng 1.3. Phép nối r t 8 DANH SÁCH BẢNG BIỂU
79 - Chỉ đồng bộ dữ liệu thay đổi: Để tiết kiệm băng thông, thời gian đồng bộ, đồng thời không ảnh hưởng đến hiệu năng của hệ thống, phương pháp đồng bộ CSDL đảm bảo chỉ đồng bộ những dữ liệu thay đổi.