Microsoft Word - LeThiThuyDuong_Ver2.doc

Bản ghi

1 LỜI CẢM ƠN Trước tên, em muốn gử lờ cảm ơn sâu sắc nhất đến thầy gáo, Phó Gáo sư Tến sĩ Hà Quang Thụy, ThS. Đỗ Cẩm Vân và CN.Trần Ma Vũ, những ngườ đã tận tình hướng dẫn em trong suốt quá trình thực hện khóa luận tốt nghệp. Em xn bày tỏ lờ cảm ơn sâu sắc đến những thầy cô gáo đã gảng dạy em trong bốn năm qua, những kến thức mà em nhận được trên gảng đường đạ học sẽ là hành trang gúp em vững bước trong tương la. Em cũng muốn gử lờ cảm ơn đến các anh chị và các bạn trong nhóm semnar về Kha phá dữ lệu đã gúp đỡ và cho em những lờ khuyên bổ ích về chuyên môn trong quá trình nghên cứu. Cuố cùng, em muốn gử lờ cảm ơn sâu sắc đến tất cả bạn bè, và đặc bệt là cha mẹ và anh tra, những ngườ luôn kịp thờ động vên và gúp đỡ em vượt qua những khó khăn trong cuộc sống. Snh vên Lê Thị Thùy Dương Khóa luận tốt nghệp Lê Thị Thùy Dương

2 TÓM TẮT NỘI DUNG Phân lớp văn bản là quá trình gán văn bản một cách tự động vào một hoặc nhều lớp cho trước. Tự động phân lớp văn bản là một nhệm vụ rất quan trọng có thể gúp ích trong vệc tổ chức cũng như tìm kếm thông tn trên nguồn tà nguyên lớn. Mặt khác, phân lớp văn bản là một trong những thành phần cơ bản nhưng quan trọng nhất trong kến trúc tổng thể của hầu hết các máy tìm kếm. Hện nay, bà toán này đã và đang trở thành lĩnh vực nhận được nhều sự quan tâm, nghên cứu của nhều nhà khoa học trên thế gớ. Khóa luận tốt nghệp vớ đề tà Bà toán phân lớp văn bản và áp dụng phân lớp dữ lệu tà chính ngân hàng nghên cứu nộ dung, các thuộc tính, các thuật toán gả quyết bà toán phân lớp. Khóa luận tập trung nghên cứu phương pháp phân lớp văn bản trong lĩnh vực tà chính ngân hàng tếng Vệt dựa trên hướng tếp cận Entropy cực đạ (maxent). Dựa trên vệc khảo sát các đặc trưng tếng Vệt, sử dụng mô hình Entropy cực đạ, khóa luận đã tến hành thực nghệm trên 5 lớp dữ lệu về lĩnh vực tà chính ngân hàng tự đề xuất (Huy động vốn, Tín dụng, Dịch vụ thanh toán, Ngoạ tệ, Chứng khoán), kết quả thu được rất tốt vớ độ đo F1 trung bình là 90.22% và thờ gan huấn luyện gây/lần vớ 10 bước lặp. Khóa luận tốt nghệp Lê Thị Thùy Dương

3 MỤC LỤC LỜI MỞ ĐẦU...1 Chương 1. BÀI TOÁN PHÂN LỚP VĂN BẢN Khá nệm Phân loạ bà toán phân lớp văn bản Mô hình phân lớp văn bản Mô hình phân lớp văn bản Quá trình xây dựng bộ phân lớp văn bản Quá trình tền xử lý dữ lệu Phương pháp bểu dễn tà lệu Phương pháp lựa chọn thuộc tính Đánh gá Đánh gá cho bà toán phân lớp Đánh gá dựa vào độ tương tự...14 Chương 2. CÁC PHƯƠNG PHÁP PHÂN LỚP VĂN BẢN Thuật toán K ngườ láng gềng gần nhất Mô hình cây quyết định (Decson Tree) Thuật toán máy hỗ trợ vector (SVM Suport Vector Machne) Mô hình Entropy cực đạ Định nghĩa nguyên lý entropy cực đạ Các ràng buộc và đặc trưng Mô hình Entropy cực đạ Entropy cực đạ cho phân lớp văn bản...28 Chương 3. BÀI TOÁN PHÂN LỚP VĂN BẢN TÀI CHÍNH NGÂN HÀNG TIẾNG VIỆT Một số đặc trưng của dữ lệu tà chính ngân hàng trong tếng Vệt Xây dựng một số lớp trong lĩnh vực tà chính ngân hàng Bà toán phân lớp văn bản tà chính ngân hàng trong Tếng Vệt...33 Khóa luận tốt nghệp Lê Thị Thùy Dương

4 Phát bểu bà toán: Phương pháp phân lớp Mô hình của bà toán phân lớp văn bản tà chính ngân hàng...34 Chương 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ Dữ lệu và chương trình Mô trường thực nghệm Thết kế và kết quả thực nghệm Thết lập thông số cho Entropy cực đạ Kết quả thực nghệm Đánh gá kết quả thực nghệm...44 KẾT LUẬN...45 TÀI LIỆU THAM KHẢO...46 Tà lệu Tếng Vệt...46 Tà lệu Tếng Anh...46 DANH SÁCH CÁC TỪ DỪNG...49 Khóa luận tốt nghệp Lê Thị Thùy Dương

5 Danh sách hình vẽ và bảng bểu Hình 1. Bà toán phân lớp văn bản...3 Hình 2. Sơ đồ khung một hệ thống phân lớp văn bản...6 Hình 3. Quá trình xây dựng mô hình được cha thành ha bước...8 Hình 4. Mố quan hệ gữa các sêu phẳng phân cách...1 Hình 5. Sêu phẳng tố ưu và bên...1 Hình 6. Mô hình bà toán phân lớp dữ lệu tà chính ngân hàng...35 Hình 7. Đồ thị bểu dễn sự phụ thuộc của độ đo F1 vào số lần lặp...43 Hình 8. Tổng hợp độ đo qua 10 lần huấn luyện...43 Hình 9. Bểu đồ bểu dễn độ đo F1 của các lớp trong lần lặp thứ Bảng 1. Phân bố dữ lệu học và kểm tra...38 Bảng 2. Tập dữ lệu huấn luyện...39 Bảng 3. Tập dữ lệu kểm tra...39 Bảng 4. Tham số huấn luyện mô hình Entropy cực đạ...40 Bảng 5. Kết quả 10 lần huấn luyện vớ Entropy cực đạ...41 Bảng 6. Kết quả của bước lặp thứ Khóa luận tốt nghệp Lê Thị Thùy Dương

6 LỜI MỞ ĐẦU Hện nay, sự phát trển mạnh mẽ của Internet đã dẫn đến sự bùng nổ thông tn về nhều mặt kể cả nộ dung lẫn số lượng. Chỉ bằng một thao tác tìm kếm đơn gản, ta có thể nhận về một khố lượng khổng lồ các trang web có chứa thông tn lên quan tớ nộ dung cần tìm kếm. Tuy nhên, chính sự dễ dàng này cũng mang đến cho con ngườ rất nhều khó khăn trong vệc chết lọc ra các thông tn có ích để thu được các tr thức mớ. Phát hện tr thức và kha phá dữ lệu là câu trả lờ mớ nhất cho vấn đề này nhằm phát hện ra các tr thức mớ từ khố dữ lệu khổng lồ mà con ngườ có được. Trong thờ gan gần đây, cùng vớ sự phát trển của nền knh tế đất nước là sự phát trển vượt bậc của nền công nghệ thông tn. Tn học đã được áp dụng trong tất cả các lĩnh vực như knh tế, thương mạ, y tế, ngân hàng Hầu hết các lĩnh vực này đề lưu trữ một cơ sở dữ lệu rất lớn. Các kỹ thuật thống kê truyền thống và các công cụ quản lý dữ lệu trước đây không đáp ứng được nhu cầu phân tích tập dữ lệu lớn này. Từ đò hỏ đó phả có những phương pháp tếp cận mớ để kha phá tr thức trong các cơ sở dữ lệu. Trong các loạ dữ lệu thì dữ lệu văn bản là phổ bến nhất. Kha phá dữ lệu văn bản là sự khảo sát và phân tích một tập lớn các văn bản không có cấu trúc một cách tự động hoặc bán tự động để khám phá ra những tr thức mớ. Vớ lượng thông tn dạng văn bản đồ sộ của Internet, một yêu cầu lớn đặt ra là làm sao tổ chức và tìm kếm thông tn có hệu quả nhất. Phân lớp thông tn là một trong những gả pháp hợp lý cho vấn đề nêu trên. Bà toán phân lớp văn bản là một trong những bà toán cơ bản của kha phá dữ lệu văn bản. Cho trước một tập dữ lệu văn bản, bà toán thực hện quá trình gán nhãn (phân lớp) cho từng tà lệu tương ứng vớ nộ dung của nó thông qua bộ phân lớp. Luận văn tập trung nghên cứu về bà toán phân lớp văn bản, cụ thể là những văn bản mang thông tn về lĩnh vực ngân hàng, tà chính vớ mục đích phân lớp cho những tà lệu này theo những lớp ứng dụng cụ thể trong lĩnh vực ngân hàng, tà chính. Vấn đề phân lớp văn bản đã được đặt ra từ rất lâu và đến nay đã có một số phương pháp hệu quả thực hện vệc phân lớp văn bản Tuy nhên vệc phân lớp cho dữ lệu tếng vệt về lĩnh vực ngân hàng, tà chính là một bà toán mớ và cho đến nay chưa có một kết quả nào được công bố. Thông qua vệc tìm hểu một số phương pháp tếp cận bà toán thường được sử dụng như phương pháp K-ngườ láng gềng, Máy hỗ trợ vector (SVM Suport Vector Machne), Phương pháp sử dụng mô hình Entropy cực đạ và 1 -

7 nghên cứu ưu nhược đểm của từng phương pháp, luận văn hướng tớ nghên cứu áp dụng mô hình Entropy cực đạ cho bà toán này. Luận văn bao gồm 4 chương có nộ dung khá quát như sau: Chương 1. Bà toán phân lớp văn bản phát bểu và trình bày về các khá nệm và những nộ dung cơ bản về bà toán phân lớp văn bản. Chương này cũng gớ thệu một số phương pháp đánh gá cho bà toán phân lớp và độ đo dựa vào khoảng cách và độ tương tự gữa các lớp. Chương 2. Các phương pháp gả quyết bà toán phân lớp văn bản. Trình bày một số thuật toán phân lớp văn bản đển hình, chỉ ra ưu nhược đểm của từng phương pháp. Qua đó lựa chọn phương pháp tốt nhất để thử nghệm trong tếng Vệt. Chương 3. Bà toán phân lớp văn bản tà chính ngân hàng. Trình bày các đặc đểm đặc trưng của dữ lệu tà chính ngân hàng, xây dựng tập nhãn (lớp) trong lĩnh vực này và mô tả mô hình phân lớp sử dụng phương pháp Entropy cực đạ đố vớ tập văn bản đó. Chương 4. Thực nghệm và đánh gá. Trong chương này trình bày các kết quả thực nghệm thu được kh áp dụng mô hình Entropy cực đạ trên tập dữ lệu tà chính ngân hàng tếng Vệt. Đưa ra một số nhận xét, đánh gá kết luận. Trong phần kết luận, luận văn tóm lạ những công vệc đã thực hện trong thờ gan qua và các kết quả đã đạt được, đồng thờ cũng đề cập đến những đểm còn hạn chế của luận văn và đề ra phương hướng nghên cứu trong thờ gan tớ. 2 -

8 Chương 1. BÀI TOÁN PHÂN LỚP VĂN BẢN Trích chọn thông tn trên Web đã và đang tạo thêm nhều tà nguyên thông tn, tr thức mớ đáp ứng ngày càng hệu quả nhu cầu thông tn của con ngườ. Ngày nay, công nghệ trích chọn thông tn trên Web đã hình thành loạ hình dịch vụ đầy trển vọng trong vệc cung cấp thông tn phong phú và hữu ích từ nguồn dữ lệu được co là vô hạn trên Web. Một trong những bà toán cơ bản và quan trọng trong trích chọn thông tn trên Web là bà toán phát hện các quan hệ của các lớp đố tượng. Để thực hện vệc phát hện mố quan hệ gữa các lớp đố tượng trên Web thì bà toán đầu tên cần gả quyết đó là bà toán phân lớp tự động các đố tượng. Tự động phân lớp văn bản là một nhệm vụ rất quan trọng có thể gúp ích trong vệc tổ chức cũng như tìm kếm thông tn trên nguồn tà nguyên lớn. Ngày nay, kh mà sự phát trển và ứng dụng của Internet cực kỳ phổ bến thì khố lượng dữ lệu đã tăng trưởng không ngừng theo cả ha phương dện tạo mớ và lưu trữ. Sự phát trển vượt bậc của công nghệ khoa học kỹ thuật và sự mở rộng các dữ lệu khoa học về địa lý, địa chất, khí tượng thủy văn cùng vớ vệc tn học hóa sâu rộng trong hầu hết các lĩnh vực đã tạo ra một khố lượng dữ lệu khổng lồ. Tự động phân lớp văn bản là một nhệm vụ rất quan trọng, đặc bệt là trong vệc tổ chức cũng như tìm kếm thông tn trên nguồn tà nguyên lớn này Khá nệm Phân lớp văn bản (Text classfcaton) là quá trình gán nhãn (tên lớp / nhãn lớp) các văn bản ngôn ngữ tự nhên một cách tự động vào một hoặc nhều lớp cho trước. Lớp 1 Dữ lệu vào Thuật toán phân lớp hoạt động Lớp 2 Lớp n Hình 1. Bà toán phân lớp văn bản Thông thường, các lớp cho trước là các chủ đề nào đó, nhưng cũng có nhều ứng dụng mà các lớp được thết lập theo những têu chí khác, như phân lớp theo độ ưu tên, 3 -

9 phân lớp theo chủ đề Hầu hết các bà toán này sẽ tốn rất nhều thờ gan, công sức và đô kh không chính xác nếu được phân loạ một cách thủ công tức là đọc từng văn bản và gán vào một lớp nào đó. Đặc bệt vớ số lượng tà lệu cần phân lớp cực kỳ lớn như hện nay thì vệc phân lớp thủ công là một đều không thể. Phân loạ những đố tượng mớ vào các lớp bằng phương pháp thủ công gặp phả những khó khăn sau: - Đố vớ các lĩnh vực đặc bệt, phân loạ các đố tượng mớ (như cơ sở dữ lệu về y tế, pháp luật, tà chính, ngân hàng... ) vào các lớp cho trước cần có hểu bết về các lĩnh vực đó. - Phân loạ bằng tay đô kh không chính xác vì quyết định phụ thuộc vào sự hểu bết và động cơ của ngườ thực hện. - Quyết định của ha chuyên ga khác nhau có thể nảy snh bất đồng ý kến. Vì vậy những công cụ để tự động phân lớp văn bản vào các lớp sẽ rất hữu ích vớ công vệc này nhất là kh thông tn tràn ngập như ngày nay. Một số phương pháp phân lớp thống kê và kĩ thuật học máy như Bayesan, máy vector hỗ trợ (Support Vector Machnes), K ngườ láng gềng gần nhất, mạng nơron... được áp dụng để gả quyết bà toán này. Chính vì những nhược đểm của phương pháp thủ công nên vệc xây dựng một bộ phân lớp văn bản tự động là một đều rất quan trọng và cần thết, đặc bệt là kh hầu hết các thông tn được snh ra và lưu trữ đện tử. Các bà báo khoa học và gả trí là những ví dụ về tập các tà lệu đện tử. Vớ sự phát trển ngày càng mạnh mẽ của mạng Internet và Intranet đã tạo ra nguồn thông tn vô cùng phong phú. Các kỹ thuật phân lớp văn bản sẽ gúp cho nguồn dữ lệu này đã được lưu trữ tự động một cách hệu quả và được tìm kếm nhanh chóng. Phân lớp văn bản được xuất hện từ những năm 1960, nhưng chỉ 15 năm sau, nó đã trở thành lĩnh vực nghên cứu chính trong hệ thống thông tn bở sự đa dạng của các ứng dụng. Phân lớp văn bản là công vệc được sử dụng để hỗ trợ trong quá trình tìm kếm thông tn (Informaton Retreval), chết lọc thông tn (Informaton Extracton), lọc văn bản hoặc tự động dẫn đường cho các văn bản tớ những chủ đề xác định trước. Một ứng dụng khác của phân lớp văn bản là trong lĩnh vực hểu văn bản. Phân lớp văn bản có thể được sử dụng để lọc văn bản hoặc một phần văn bản chứa dữ lệu cần tìm mà không làm mất đ tính phức tạp của ngôn ngữ tự nhên. 4 -

10 Định nghĩa phân lớp văn bản [1]: Phân lớp văn bản là nhệm vụ đặt một gá trị Boolean cho mỗ cặp (d j, c ) D C, trong đó D là tập các văn bản và C = { c1, c2,... c c } là tập các lớp cho trước. Gá trị T (true) được gán cho cặp (d j, c ) có nghĩa là tà lệu d j thuộc lớp c Gá trị F (false) tức là tà lệu d j không thuộc lớp c Hay nó cách khác, phân lớp văn bản là bà toán tìm một hàm : D C { T, F} cho trước, hàm : D C { T, F} Φ trong đó D là tập các văn bản và C { c c,... } Φ được gọ là bộ phân lớp Phân loạ bà toán phân lớp văn bản = là tập các lớp Tùy vào những ràng buộc khác nhau để phân loạ bà toán phân lớp văn bản. Nhìn chung có thể phân bệt bà toán phân lớp theo ha cách sau: - Phân lớp văn bản nhị phân / đa lớp: Bà toán phân lớp văn bản được gọ là nhị phân nếu C =2, gọ là đa lớp nếu C >2. - Phân lớp văn bản đơn nhãn / đa nhãn: Bà toán phân lớp văn bản được gọ là đơn nhãn nếu mỗ tà lệu được gán vào chính xác một lớp. Bà toán phân lớp văn bản được gọ là đa nhãn nếu một tà lệu có thể được gán nhều hơn một nhãn. Trên thực tế, phân lớp ha lớp (phân lớp nhị phân) chỉ là một trường hợp đặc bệt của bà toán phân lớp song do xuất xứ cho nên phân lớp nhị phân có vị trí rêng cả về đặt bà toán lẫn về các gả pháp 1.3. Mô hình phân lớp văn bản Mô hình phân lớp văn bản Phân lớp văn bản được các nhà nghên cứu định nghĩa thống nhất như là vệc gán tên các chủ đề (tên lớp / nhãn lớp) đã được xác định cho trước vào các văn bản Text dựa trên nộ dung của nó. Phân lớp văn bản là công vệc được sử dụng để hỗ trợ trong quá trình tìm kếm thông tn (Informaton Retreval), chết lọc thông tn (Informaton Extracton), lọc văn bản hoặc tự động dẫn đường cho các văn bản tớ những chủ đề xác định trước. Để phân loạ văn bản, ngườ ta sử dụng phương pháp học máy có gám sát. Tập dữ lệu được cha ra làm ha tập là tập huấn luyện và tập kểm tra, trước hết phả 1, 2 c c 5 -

11 xây dựng mô hình thông qua các mẫu học bằng các tập huấn luyện, sau đó kểm tra sự chính xác bằng tập dữ lệu kểm tra. Hình 2. Sơ đồ khung một hệ thống phân lớp văn bản Hình trên bểu dễn một sơ đồ khung một hệ thống phân lớp văn bản, trong đó bao gồm ba thành phần chính: - Bểu dễn văn bản, tức là chuyển các dữ lệu văn bản thành một dạng có cấu trúc nào đó, tập hợp các mẫu cho trước thành một tập huấn luyện. - Thực hện vệc sử dụng các kỹ thuật học máy để học trên các mẫu huấn luyện vừa bểu dễn. Như vậy vệc bểu dễn ở ga đoạn thứ nhất sẽ là đầu vào cho ga đoạn thứ ha. - Thực hện bổ sung các kến thức thêm vào do ngườ dùng cung cấp để làm tăng độ chính xác trong bểu dễn văn bản hay trong quá trình học máy. Trong nhều trường hợp, các phương pháp học hệ thống phân lớp có thể bỏ qua thành phần này. Như vậy thành phần thứ ba được co là trung tâm của một hệ thống phân lớp văn bản. Trong phần này, có nhều phương pháp học máy được áp dụng như mô hình mạng Bayes, cây quyết định, phương pháp K ngườ láng gềng gần nhất, mạng Neuron, SVM, mô hình Maxmum Entropy Quá trình xây dựng bộ phân lớp văn bản Quá trình phân lớp dữ lệu thường gồm ha bước: xây dựng mô hình (tạo bộ phân lớp) và sử dụng mô hình đó để phân lớp dữ lệu. Các công cụ phân lớp được xây dựng dựa trên một thuật toán phân lớp qua bước học quy nạp. Trong bước học, hệ 6 -

12 thống có tập dữ lệu đầu vào D t (tập ví dụ) mà thuộc tính lớp của mỗ tà lệu (ví dụ) trong tập đó đã bết. Tạ bước học, tập dữ lệu ban đầu được cha thành ha tập dữ lệu rờ nhau, một tập được gọ là tập dạy (tranng set) và một tập được gọ là tập kểm tra (test set). Thông thường tập tranng chếm 2/3 các ví dụ trong D t, còn tập test chếm 1/3 số lượng ví dụ còn lạ. Hệ thống dùng tập tranng để xây dựng mô hình (xác định tham số) phân lớp và dùng tập dữ lệu test để đánh gá thuật toán phân lớp vừa được thết lập. Quá trình ha bước như sau: - Bước 1: Xây dựng mô hình. Một mô hình sẽ được xây dựng dựa trên phân tích các đố tượng dữ lệu đã được gán nhãn từ trước. Tập các mẫu dữ lệu này còn được gọ là tập dữ lệu huấn luyện (tranng data set). Các nhãn lớp của tập dữ lệu huấn luyện được xác định bở con ngườ trước kh xây dựng mô hình, vì vậy phương pháp này còn được gọ là học có gám sát (supervsed learnng). Trong bước này, chúng ta còn phả tính độ chính xác của mô hình, mà còn phả sử dụng một tập dữ lệu kểm tra (test data set). Nếu độ chính xác là chấp nhận được, mô hình sẽ được sử dụng để xác định nhãn lớp cho các dữ lệu khác mớ trong tương lạ. Trong vệc test lạ mô hình, sử dụng các độ đo để đánh gá chất lượng của tập phân lớp, đó là độ hồ tưởng, độ chính xác, độ đo F 1 Tồn tạ nhều phương pháp phân lớp dữ lệu để gả quyết bà toán phân lớp tùy thuộc vào cách thức xây dựng mô hình phân lớp như phương pháp Bayes, phương pháp cây quyết định, phương pháp k ngườ láng gềng gần nhất, phương pháp SVM, phương pháp Maxmum Entropy Các phương pháp phân lớp khác nhau chủ yếu về mô hình phân lớp. Mô hình phân lớp còn được gọ là thuật toán phân lớp. - Bước 2: Sử dụng mô hình. Sử dụng mô hình được xây dựng ở bước 1 để phân lớp dữ lệu mớ. Như vậy, thuật toán phân lớp là một ánh xạ từ mền dữ lệu đã có sang một mền gá trị cụ thể của thuộc tính phân lớp, dựa vào gá trị các thuộc tính của dữ lệu Quá trình tền xử lý dữ lệu Phân lớp văn bản là quá trình gồm ha bước, vớ mục đích phân các tà lệu văn bản vào các lớp hữu hạn có trước. Trong bước thứ nhất, một mô hình của bộ phân lớp được xây dựng bằng cách phân tích nộ dung các trang văn bản trong tập dữ lệu huấn luyện thông qua vệc áp dụng các thuật toán học. Tập dữ lệu huấn luyện là tập hợp các 7 -

13 trang văn bản trong cơ sở dữ lệu đã gán nhãn từ trước. Trong bước thứ ha, mô hình này được sử dụng cho vệc phân lớp các trang văn bản chưa được gán nhãn. Để xây dựng mô hình trong bước thứ nhất, thông thường, được cha ra làm ha bước chính sau: Văn bản Tền xử lý Bểu dễn logc Phân lớp Mô hình Cây phân cấp Hình 3. Quá trình xây dựng mô hình được cha thành ha bước - Tền xử lý dữ lệu: là quá trình bểu dễn văn bản thành một dạng bểu dễn logc mà thuật toán có thể xử lý được (ví dụ, dạng bểu dễn vector của văn bản). - Học các bộ phân lớp: sử dụng các thuật toán phân lớp để xây dựng mô hình từ dữ lệu đã qua tền xử lý Phương pháp bểu dễn tà lệu Trong bà toán phân lớp văn bản, cách bểu dễn văn bản đóng va trò rất lớn. Một tà lệu được bểu dễn dướ dạng một tập hợp các từ, mỗ từ được xem là một thuộc tính hoặc đặc trưng và văn bản tương ứng vớ một vector thuộc tính. Đô kh, thay vì những từ đơn, các thuộc tính có thể được bểu dễn bằng các cụm từ hoặc chuỗ n từ vớ n >= 2. Dễ nhận thấy, nhều thuộc tính phức tạp có thể gàu thông tn hơn. Ví dụ, cụm từ world wde web mang nhều thông tn hơn từng từ rêng bệt. Tuy nhên, trong thực hành, sử dụng n-grams dẫn tớ vệc có quá nhều số lượng thuộc tính và có thể làm vệc gả quyết bà toán khó khăn hơn. Theo các nghên cứu về phương pháp bểu dễn văn bản khác nhau, đặc bệt là kh so sánh ảnh hưởng và hệu quả của nó thì không có cách bểu dễn văn bản nào tốt hơn cách bểu dễn bằng tập các từ rêng bệt được lấy ra từ văn bản gốc. Sau kh xác định được các thuộc tính, chúng ta cần tính gá trị thuộc tính (hoặc trọng số từ khóa) cho mỗ văn bản. Mỗ từ khóa t trong một tà lệu D j được gán một trọng số w j và do đó, mỗ tà lệu được bểu dễn như một vector. Trọng số từ khóa có thể được tính toán bằng nhều cách khác nhau. Cách đơn gản nhất là gán trọng số bằng một gá trị nhị phân chỉ ra từ khóa có mặt hay không có mặt trong văn bản, tức là gá trị trọng số w j là 1 nếu từ khóa t xuất hện ít nhất một lần trong tập tà lệu D j và w j là 0 trong trường hợp ngược lạ Đây là mô hình Boolean. Phương pháp khác là 8 -

14 tính số lần xuất hện của từ khóa trong một tà lệu gọ là tần suất từ khóa. Tần suất từ khóa được tính theo công thức: occ( tk, D j ) freq( tk, D j ) = N Trong đó N là tổng số từ khóa của tà lệu D j và occ(t k,d j ) là số lần xuất hện của từ t k trong văn bản D j. Phương pháp này được gọ là phương pháp dựa trên tần số từ khóa (TF Term Frequency). Phương pháp này có vẻ rất trực quan nhưng mặt hạn chế của phương pháp này là: nếu một từ xuất hện nhều lần trong tà lệu sẽ có tần xuất cao. Tuy nhên nếu những từ này đều xuất hện trong tất cả các văn bản thì nó sẽ không mang nhều thông tn ngữ nghĩa của văn bản và do đó độ quan trọng của nó gảm đ. Ví dụ, kh văn bản xuất hện nhều từ khóa máy tính, đều đó có nghĩa là văn bản đang xét chủ yếu lên quan đến lĩnh vực Tn học. Nhưng suy luận trên không phả lúc nào cũng đúng. Một ví dụ đển hình là từ chúng tô xuất hện nhều lần trong văn bản, nhưng trên thực tế từ này lạ không mang nhều ý nghĩa như tần suất xuất hện của nó. Thông thường tần suất của các từ khóa trong văn bản không đồng đều nhau. Một số từ khóa xuất hện rất thường xuyên, trong kh đó, một nửa số từ khóa xuất hện chỉ một lần. Để gả quyết hạn chế này, Phương pháp dựa trên nghịch đảo tần số văn bản (IDF Inverse Document Frequency) vớ tần suất logart (tương tự vớ tần suất từ khóa) được đề xuất và tính theo công thức: freq ( t k, D j ) = log(1 + freq( tk, D j )) Hay gá trị của từ khóa t được tính theo công thức: w j = log m df = log( m) log( df ) Trong đó, m là số lượng văn bản và df là số lượng văn bản trong hệ thống có chứa từ khóa t. Trọng số w j trong công thức này được tính dựa trên độ quan trọng của từ khóa t trong văn bản d j. Nếu t xuất hện trong càng ít văn bản, đều đó có nghĩa kh nó xuất hện trong văn bản d j thì trọng số của nó đố vớ văn bản d j càng lớn hay nó là đểm quan trọng để phân bệt văn bản d j vớ các văn bản khác và hàm lượng thông tn trong nó càng lớn. 9 -

15 Phương pháp dựa trên nghịch đảo tần số văn bản IDF được sử dụng phổ bến hơn phương pháp dựa trên tần số IF, nhưng phương pháp này vẫn chưa gả quyết trệt để hạn chế của phương pháp tần số từ khóa. Theo đó, một từ xuất hện nhều lần có tần suất cao, từ xuất hện ít có tần số thấp. Phương pháp chuẩn thường được sử dụng là Term Frequency Inverse Document Frequency ( IFIDF), hàm tính trọng số từ khóa được xác định bở công thức: TFIDF l, d = freq l, d * log m df l Trong đó, tần suất từ khóa l trong tà lệu d : freq l,d là số lần xuất hện của từ khóa l trong tà lệu d. Tần suất văn bản df l là số văn bản trong tập tà lệu có chứa từ khóa l. m là tổng số tà lệu học. Trọng số TFIDF của một từ khóa bểu dễn độ quan trọng của từ khóa. TFIDF của một từ khóa trong một tà lệu sẽ gảm nếu như từ đó xuất hện trong hầu hết các văn bản. Vì vậy, một từ xuất hện quá ít hoặc quá nhều được đánh gá ít quan trọng hơn so vớ các từ xuất hện cân bằng. Trọng số TFIDF của một từ khóa trong toàn bộ tập tà lệu m được tính bở công thức: TFIDF, TFIDF l R = TFIDF l d Phương pháp lựa chọn thuộc tính Kích cỡ của tập từ vựng của tập hợp văn bản thường rất lớn. Vệc xử lý các vector thuộc tính đò hỏ các thuật toán được tính toán mở rộng và có thể đô kh không thể tính toán được đố vớ một số thuật toán học. Bên cạnh đó, nhều thuộc tính không mang thông tn, nhập nhằng hoặc bị nhễu, do đó có thể dẫn tớ bộ phân lớp đạt được kết quả tốt trên dữ lệu học nhưng không tốt trên dữ lệu kểm tra (overfttng). Lựa chọn thuộc tính là quá trình chọn ra những thuộc tính mang nhều thông tn nhất trong không gan thuộc tính và loạ bỏ những thuộc tính nhễu. Để gả quyết vấn đề này, quá trình lựa chọn thuộc tính được tến hành bằng cách chỉ gữ những từ khóa có gá trị về thông tn. Vì vậy, vấn đề phát hện các từ khóa không quan trọng phả được gả quyết để thu được không gan từ khóa T ' T vớ T << T. 10 -

16 Trong học máy, một số kỹ thuật chính sau đây được xây dựng cho quá trình lựa chọn thuộc tính [16]: Kỹ thuật thứ nhất thực hện các phương pháp lọc (flterng) trên tập thuộc tính ban đầu. Vớ phương pháp này, kết quả thu được từ tính toán thống kê được sử dụng để loạ bỏ những từ khóa không thích hợp. Sau đó, bộ phân lớp được huấn luyện trên không gan từ khóa đã được rút gọn. Vớ chến lược lựa chọn từ khóa này, có một và phương pháp như: lựa chọn từ khóa theo tần suất văn bản (Document Frequency), độ đo thông tn qua lạ (Mutual Informaton). - Tần suất văn bản: Tần suất của văn bản là số tà lệu mà một từ khóa xuất hện. Để lựa chọn từ khóa theo phương pháp tần suất văn bản thì cần phả tính tần suất văn bản vớ mỗ từ khóa trong tập tà lệu học và sau đó loạ bỏ những từ khóa có tần suất nhỏ hơn một ngưỡng nào đó để thu được không gan từ khóa nhỏ hơn. Đây là kỹ thuật đơn gản nhất để làm gảm số lượng tập thuộc tính. - Độ đo thông tn qua lạ (MI): Là phương pháp được sử dụng khá phổ bến để lựa chọn tập thuộc tính dựa vào mô hình thống kê. Vớ mỗ cặp từ khóa t và lớp c, độ đo thông tn qua lạ được tính theo công thức sau: I ( t, c) = log Pr( t c) Pr () t Pr ( c) Và được ước lượng: I ( t, c) log A N ( A + C) ( A + B) Trong đó: - A là số lần từ khóa t và lớp c đồng thờ xuất hện. - B là số lần từ khóa t xuất hện mà không thuộc c. - C là số lần c xuất hện mà không chưa t. - N là tổng số dữ lệu học. I(t,c) nhận gá trị 0 nếu từ khóa t và lớp c độc lập vớ nhau. Gá trị I(t,c) càng cao thể hện độ quan trọng của thuộc tính t vớ lớp c. Kỹ thuật thứ ha được gọ là kỹ thuật wrapper, trong đó vệc lựa chọn từ khóa phụ thuộc vào thuật toán phân lớp. Bắt đầu từ không gan từ khóa ban đầu, một không 11 -

17 gan từ khóa mớ được snh ra bằng vệc thêm hoặc bớt từ. Kh một tập hợp từ khóa mớ được tạo ra, bộ phân lớp dựa vào đó để xây dựng và sau đó kểm tra trên tập dữ lệu kểm tra. Tập dữ lệu cho kết quả tốt nhất sẽ được chọn. Không gan từ khóa tốt nhất được tạo ra cho thuật toán phân lớp. Phương pháp này tạo thuận lợ cho thuật toán phân lớp. Tuy nhên hạn chế của phương pháp này là sự phức tạp trong tính toán. Ngoà vệc lựa chọn các thuộc tính mang nhều thông tn từ tập thuộc tính ban đầu, quá trình lựa chọn thuộc tính có thể tạo ra các thuộc tính mớ (ví dụ các khá nệm) để thay thế cho một nhóm các thuộc tính thông qua kỹ thuật phân cụm. Nhóm các từ có sự gống nhau về ngữ nghĩa sẽ được xem là một thuộc tính mớ thay thế cho các từ đơn lẻ. Vớ phương pháp này, cần xác định độ tương tự gữa các từ và áp dụng các kỹ thuật phân cụm như k ngườ láng gềng gần nhất Đánh gá Đánh gá cho bà toán phân lớp Đánh gá kết quả phương pháp phân lớp văn bản có thể được tính toán theo nhều cách khác nhau. Theo khảo sát của Sebastan [3], độ đo phổ bến nhất được sử dụng để đánh gá phân lớp là độ hồ tưởng và độ chính xác. Kí hệu: Dữ lệu thực Lớp C Thuộc lớp C Không thuộc lớp C Dự đoán Thuộc lớp C TP TN Không thuộc lớp C FP FN Trong đó: - TP (true postves): số lượng ví dụ dương được thuật toán phân đúng vào lớp C. - TN (true negatves): số lượng ví dụ âm được thuật toán phân đúng vào lớp C. - FP (false postves): số lượng ví dụ dương được thuật toán phân sa vào C. - FN (false negatves): số lượng ví dụ âm được thuật toán phân sa vào C. 12 -

18 Độ chính xác Pr của lớp C là tỷ lệ số ví dụ dương được thuật toán phân lớp cho gá trị đúng trên tổng số ví dụ được thuật toán phân lớp vào lớp C : Pr TP = TP + TN Độ hồ tưởng Re của lớp gá trị đúng trên tổng số ví dụ dương thực sự thuộc lớp C là tỷ lệ số ví dụ dương được thuật toán phân lớp cho C : Re TP = TP + FP Dựa vào độ chính xác và độ hồ tưởng chuẩn của mỗ lớp, độ chính xác và độ hồ tưởng cho toàn bộ các lớp, tức là { C C,..., } 1, 2 C m có thể thu được bằng ha cách: cực tểu trung bình (Mcro-Average) và cực đạ trung bình (Macro-Average). - Mcroaveragng: Pr ˆ = µ = 1 m = 1 m ( TP + TN ) TP Re ˆ = µ = 1 m = 1 m ( TP + FP ) TP - Macroaveragng: Pr ˆ M = m = 1 m Pr Re ˆ M = m = 1 Re m Độ chính xác và độ hồ tưởng nếu sử dụng rêng bệt thì chưa đánh gá được năng lực của bộ phân lớp. Vì vậy, đánh gá bộ phân lớp văn bản thường được đo bằng tổ hợp của ha độ đo trên. Các độ đo phổ bến của tổ hợp ha độ đo này là: - Break-Even Pont (BEP): BEP được đề xuất bở Lews [3], xác định đểm mà tạ đó độ chính xác và độ hồ tưởng bằng nhau. Tuy nhên, trong một số trường hợp không thể xác định được BEP. Ví dụ, nếu chỉ có và dữ lệu dương và rất nhều dữ lệu âm, kh đó độ hồ tưởng sẽ cao hơn rất nhều so vớ độ chính xác, kh đó không thể xác định được BEP. 13 -

19 - Độ đo F β : độ đo F β được đề xuất bở Rjbergen [3]. Nó là độ đo đơn gản được tính từ độ chính xác và độ hồ tưởng phụ thuộc vào độ quan trọng mà ngườ dùng định nghĩa ( ) β. Thông thường, β = 1. Công thức tính độ đo Fβ là: F β 2 ( β + ) 1.Pr.Re = β 2.Pr+ Re Trong trường hợp β = 1chúng ta có F 1 là độ đo thông dụng nhất trong vệc đánh gá năng lực của các bộ phân lớp. - Độ chính xác trung bình của 11 đểm: độ chính xác là nộ suy của 11 đểm mà độ hồ tưởng là 0.0, 0.1,, 1.0. Độ đo này được sử dụng kh phương pháp phân lớp tính hạng tà lệu phù hợp vớ một lớp hoặc lớp tương tự vớ một tà lệu. Bên cạnh độ chính xác và độ hồ tưởng, một số độ đo phổ bến khác cũng được sử dụng như: tỉ lệ đúng (Accuracy) và tỉ lệ lỗ (Error) kí hệu là Ac và Er của lớp C : Ac TP + FN = TP + FP + FN Er = = 1 TP + TN FP + TN + FP + FN Ac Đánh gá dựa vào độ tương tự Nếu phương pháp A và B đều không phân tà lệu vào đúng lớp C của nó, nhưng phương pháp A phân vào lớp tương tự vớ lớp C hơn thì phương pháp A được đánh gá là tốt hơn so vớ phương pháp B. Vì vậy, Sun và Lm [3] đã mở rộng định nghĩa độ chính xác và độ hồ tưởng chuẩn để đánh gá bộ phân lớp A và B. Độ tương tự gữa ha lớp nhều cách khác nhau. C và C, kí hệu là ( ) k CS C, C k có thể được tính bằng Trong phân lớp văn bản, nếu mỗ tà lệu được bểu dễn là một vector thuộc tính: { w t w t w t } C =,..., k 1 1, 2 2 N N { v t v t v t } C =,..., 1 1, 2 2 Độ tương tự (Category Smlarty - CS) và độ tương tự trung bình (Average Category Smlarty - ACS) được tính theo công thức: N N 14 -

20 CS ( C, C ) k = N n= 1 ( w v ) n n N N 2 wn n= 1 n 1 v 2 n ASC = 2 m m = 1 k = + 1 m CS ( m 1) ( C, C ) k Trong đó t n là chỉ số từ khóa và w n và v n là trọng số từ khóa. Dựa vào độ đo tương tự, chúng ta có thể tính mức độ đúng của vệc tà lệu được gán vào lớp C. Trường hợp đơn gản nhất là là do d j d j d j được gán vào đúng lớp C, tức TP, d j được tính là một trong công thức tính độ chính xác và độ hồ tưởng của lớp C. Tuy nhên, nếu sẽ xem xét độ tương tự của các lớp mà phân phố của j d j không được gán nhãn đúng (tức là d đố vớ lớp C, kí hệu là ( ) d FP ) chúng ta d j được gán nhãn vớ lớp C bằng cách tính Con d j, C theo công thức: j Con ( d, C ) j = C d j. agd ( CS ( C, C ) ACS ) 1 ACS Trong đó, Tương tự, nếu d j. agd là các lớp mà d j được gán vào. d j là dữ lệu âm và thuật toán phân đúng vào lớp C, tức là d j TN, thì phân phố của d j vớ lớp C phụ thuộc vào độ tương tự gữa lớp C và các lớp mà d j thực sự thuộc (kí hệu là Con ( d, C ) j = d j. lbd ): C d j. lbd ( CS( C, C ) ACS) 1 ACS Phân phố của một tà lệu có thể có gá trị âm hoặc dương, phụ thuộc vào độ tương tự gữa các nhãn được gán cho tà lệu và các lớp chứa tà lệu và độ tương tự trung bình ACS. Chú ý rằng một tà lệu có thể thuộc nhều hơn một lớp. Phân phố của một tà lệu d j vớ lớp C được hạn chế trong đoạn [-1,1]. Vì vậy, phân phố cả tến (Refned - Contrbuton), kí hệu RCon ( d j, C ) được xác định: ( d, C ) = mn( 1,max( 1, Con( d C ) Rcon, j j 15 -

21 Vớ tất cả các tà lệu thuộc FP, tổng phân phố FpCon sẽ là: d j FP ( C ) FpCon = RCond, Tương tự, tổng phân phố TnCon là: d j TN j ( C ) TnCon = RCond, Độ chính xác và độ hồ tưởng mở rộng cho lớp C dựa vào độ tương tự được xác định như sau: j Precson: Recall: Pr Re CS CS = = max max ( 0, TP + FpCon + TnCon ) TP + TN + FpCon ( 0, TP + FpCon + TnCon ) TP + FP + TnCon Ngoà ra, chúng ta cũng có thể đánh gá dựa vào khoảng cách gữa các lớp [3]. Thay vì sử dụng độ tương tự gữa các lớp, chúng ta sử dụng độ đo khoảng cách gữa các lớp. Khoảng cách gữa ha lớp C và C k, kí hệu là Ds(C, C k ) được định nghĩa là số đường lên kết gữa C và C k. Nếu đường lên kết càng ngắn thì ha lớp càng gần nhau hơn. Từ đó, có thể tính được độ hồ tưởng, độ chính xác và độ đo F dựa vào khoảng cách gữa các lớp. 16 -

22 Chương 2. CÁC PHƯƠNG PHÁP PHÂN LỚP VĂN BẢN Phân lớp văn bản là quá trình gán nhãn các văn bản ngôn ngữ tự nhên vào một hoặc nhều lớp từ tập các lớp hữu hạn cho trước. Hện nay tồn tạ rất nhều thuật toán phân lớp văn bản như: thuật toán K ngườ láng gềng gần nhất, thuật toán học cây quyết định [4][5][7], thuật toán Naïve Bayes, thuật toán máy hỗ trợ vector [13][11][14][12][16], thuật toán Boostng, Mô hình Maxmum Entropy[15][16][2] Chương này sẽ gớ thệu một số thuật toán đển hình, trong đó tập trung vào thuật toán Maxmum Entropy Thuật toán K ngườ láng gềng gần nhất Bộ phân lớp dựa trên thuật toán K ngườ láng gềng gần nhất là một bộ phân lớp dựa trên bộ nhớ, đơn gản vì nó được xây dựng bằng cách lưu trữ tất cả các đố tượng trong tập huấn luyện. Để phân lớp cho một đểm dữ lệu mớ x, trước hết bộ phân lớp sẽ tính khoảng cách từ đểm dữ lệu trong tập huấn luyện. Qua đó tìm được tập N(x, D, k) gồm k đểm dữ lệu mẫu có khoảng cách đến x là gần nhất. Ví dụ nếu các dữ lệu mẫu được bểu dễn bở không gan vector thì chúng ta có thể sử dụng khoảng cách Euclan để tính khoảng cách gữa các đểm dữ lệu vớ nhau. Sau kh xác định được tập N(x, D, k), bộ phân lớp sẽ gán nhãn cho đểm dữ lệu x bằng lớp chếm đạ đa số trong tập N(x, D, k). Mặc dù rất đơn gản, nhưng thuật toán K ngườ láng gềng gần nhất đã cho kết quả tốt trong nhều ứng dụng thực tế. Để áp dụng thuật toán K ngườ láng gềng vào tà lệu văn bản, chúng ta sử dụng hàm tính trọng số cho mỗ lớp theo bểu thức : Score( c x) = c o s ( x, x ) x N c ( x, D, k ) Trong đó N c (x, D, k) là tập con chỉ chứa các đố tượng thuộc lớp c của tập N(x, D, k). Kh đó tà lệu x sẽ được phân vào lớp c 0 nếu: { score( c x c C} score( co x) = Max ), Phương pháp K ngườ láng gềng gần nhất là một phương pháp đươn gản. Tuy nhên, thuật toán này ổn định và sa sót thấp kh số văn bản trong tập văn bản láng gềng phả lớn. 17 -

23 2.2. Mô hình cây quyết định (Decson Tree) Trong lý thuyết quyết định, một cây quyết định là một đồ thị những quyết định và những kết quả có khả năng của chúng (bao gồm cả gá phả trả và độ rủ ro) được sử dụng để tạo ra một đường đ tớ đích [4]. Cây quyết định là một dạng đặc bệt của cấu trúc cây được xây dựng để trợ gúp vệc ra quyết định. Trong lĩnh vực học máy, cây quyết định là một mô hình dự đoán, có nghĩa là từ vệc quan sát các tem để rút ra kết luận về gá trị đích của tem đó. Mỗ nút bên trong tương đương vớ một bến, mỗ cung đ tớ một nút con tương ứng vớ gá trị có thể của bến đó. Các là tương ứng vớ gá trị đích được dự đoán cho các bến. Kỹ thuật học máy sử dụng vệc xây dựng cây quyết định trên tập dữ lệu được gọ là học cây quyết định hay đơn gản chỉ là cây quyết định. Học cây quyết định cũng là một phương pháp rất thông dụng trong kha phá dữ lệu. Trong đó cây quyết định mô tả cấu trúc cây mà ở đó các lá đạ dện cho các lớp và các nhánh cây bểu dễn sự kết hợp của các đặc trưng dẫn dắt tớ vệc phân lớp. Một cây quyết định có thể được học bằng cách cha tập nguồn thành các tập con dựa trên gá trị các thuộc tính kểm tra [4], [5]. Quá trình này được lặp lạ trên từng tập con thu được. Quá trình đệ quy sẽ kết thúc kh không thể cha tếp được nữa hoặc kh từng phần tử của tập con được gán vớ một lớp đơn [5]. Cây quyết định được mô tả bằng cách tính toán xác suất có đều kện. Cây quyết định cũng có thể được mô tả như là một kỹ thuật tính toán và hỗ trợ toán học, kỹ thuật này hỗ trợ vệc mô tả, phân loạ và khá quát tập dữ lệu đưa vào. Dữ lệu đưa vào dạng gh có dạng: (x, y) = (x 1, x 2,,x k, y ) Bến phụ thuộc y là bến mà chúng ta cố gắng để bết, phân lớp hay tổng quát hóa, còn các bến x 1, x 2, là các bến gúp ta thực hện công vệc đó. Để xây dựng được cây quyết định của tập dữ lệu nào đó chúng ta phả hểu được khá nệm độ đo Entropy và Informaton Gan (Lợ ích thông tn). Khá nệm lượng thông tn và độ đo Entropy: Khá nệm lượng thông tn được Shanon (nhà toán học, nhà vật lý) [7] đưa ra năm 1948 thông qua khá nệm trung gan là độ bất định trong dự án khả năng xảy ra trước kh nhận được thông tn. Sau kh nhận được thông tn, nếu độ bất định gảm đ thì có thể co lượng thông tn nhận được là bằng mức độ gảm đ của độ bất định. Nếu 18 -

24 dự đoán càng nhều tình huống có thể xảy ra thì độ bất định trong dự báo càng lớn. Tuy nhên Shanon cũng cho rằng trong n tình huống dự đoán có thể xảy ra không nhất thết cả n tình huống đều có khả năng xảy ra như nhau, do vậy công thức tính độ bất định do ông đưa ra có tính tớ các xác suất khác nhau của dự báo. Độ đo entropy của bến ngẫu nhên rờ rạc x vớ n trạng thá có thể 1, 2,, n là: H ( x) = n n p( )log 2 = p( )log 2 p( ) = 1 p( ) = 1 1 Công thức này hoàn toàn trùng vớ công thức tính Entropy trong nhệt động học do nhà toán học Boltzmann ngườ áo đưa ra. Theo nguyên lý thứ 2 của nhệt động học thì một hệ kín, không có trao đổ năng lượng bên ngoà tất yếu sẽ chuyển động đến trạng thá cân bằng tớ kh các bộ phận cấu thành của hệ thống đó gống nhau, đồng nhất và mất đ cấu trúc hay là tan vỡ trật tự và trở nên hỗn độn. Entropy là đạ lượng để đo trạng thá mất trật tự, mất cấu trúc trong hệ thống. Độ đo entropy luôn là một số dương [7]. Lợ ích thông tn (Informaton Gan) Gan(S, A) là lợ ích thông tn mà thuộc tính A mang lạ cho sự phân lớp tập S. A có m gá trị v 1, v 2,, v m Ký hệu S v = {x S x có gá trị thuộc tính A là v } U m =1 S v = S Gan( S, A) = m = 1 S v Entropy( S S v ) S là số phần tử của tập S Thuật toán tìm cây quyết định: Cho tập ví dụ huấn luyện D. Tìm cây quyết định phù hợp vớ D. Bước 1: Khở tạo cây một đỉnh gốc Toàn bộ tập ví dụ huấn luyện D đều đ vào đỉnh này. 19 -

25 Bước 2: Repeat Chọn một đỉnh lá chưa gán nhãn để phát trển gọ là đỉnh hện thờ Gả sử tập ví dụ huấn luyện đ vào đỉnh này là S 2.1 If (S = rỗng) Then (gán nhãn chung nhất trong D) Else 2.2 f (tất cả các ví dụ trong S đều được gán cùng một nhãn c) Then (đỉnh hện thờ được gán nhãn c) Else 2.3 Đỉnh hện thờ được gán nhãn là thuộc tính A trong đó A = argmax Gan (S, A ) A : ứng vên là nhãn của đỉnh hện thờ và mỗ gá trị v của A được gán nhãn cho nhánh đ từ A tớ đỉnh mớ. Tập ví dụ huấn luyện đ tớ đỉnh mớ đó là S v trong đó S v = {s S s có gá trị của thuộc tính A là v} Untl (tất cả các đỉnh của cây đều được gán nhãn) So vớ các phương pháp khác trong Data Mnng, phương pháp cây quyết định có những ưu đểm nổ bất như: - Rất dễ hểu và dễ gả thích: mọ ngườ đều có thể hểu mô hình cây quyết định qua một số gả thích tổng quát ban đầu. - Dữ lệu dùng cho cây quyết định chỉ là những dữ lệu căn bản hoặc có thể không cần thết. Một số kỹ thuật khác có thể đò hỏ dữ lệu chuẩn, tạo các bến gả và loạ bỏ đ các gá trị trống. - Có khả năng xử lý cả dữ lệu thực và dữ lệu mập mờ. Một số kỹ thuật khác chỉ sử dụng những tập dữ lệu đặc bệt chẳng hạn như mạng nơron có thể chỉ sử dụng các bến là số. 20 -

26 - Có thể kểm chứng mô hình bằng cách thử thống kê. - Có khả năng thực hện tốt đố vớ dữ lệu lớn trong thờ gan ngắn: một lượng lớn dữ lệu có thể được phân tích bằng máy tính cá nhân trong thờ gan ngắn đủ để ngườ sử dụng đưa ra quyết định dựa trên sự phân tích đó. Tuy nhên sử dụng phương pháp cây quyết định có thể xảy ra hện tượng overft, tức là tồn tạ một gả thuyết h phù hợp vớ tập ví dụ huấn luyện nhưng tên đoán không chính xác bằng gả thuyết h ít phù hợp vớ tập ví dụ huấn luyện hơn so vớ h. Để gả quyết vấn đề này chúng ta phả dùng cách chặt bớt cây (prunng), bỏ bớt đ các nhánh dữ lệu nhễu và dư thừa 2.3. Thuật toán máy hỗ trợ vector (SVM Suport Vector Machne) Thuật toán máy vector hỗ trợ (Support Vector Machnes - SVM) được Corters và Vapnk gớ thệu vào năm 1995 [13]. SVM rất hệu quả để gả quyết các bà toán vớ dữ lệu có số chều lớn như các vector bểu dễn văn bản. Thuật toán SVM ban đầu chỉ được thết kế để gả quyết bà toán phân lớp nhị phân tức là số lớp hạn chế là ha lớp. Hện nay, SVM được đánh gá là bộ phân lớp chính xác nhất cho bà toán phân lớp văn bản [13], bở vì đó là bộ phân lớp tốc độ rất nhanh và hệu quả đố vớ bà toán phân lớp văn bản. Cho tập dữ lệu học D {( x, y), 1,..., n} = = vớ x m R và { 1,1} y là một số nguyên xác định x là dữ lệu dương hay âm. Một tà lệu x được gọ là dữ lệu dương nếu nó thuộc lớp c ; x được gọ là dữ lệu âm nếu nó không thuộc lớp c. Bộ phân lớp tuyến tính được xác định bằng sêu phẳng: Trong đó w nhị phân : m { 0,1} w m R và 0 { x : f ( x ) = w T + w 0 0 = } R đóng va trò là tham số của mô hình. Hàm phân lớp h R có thể thu được bằng cách xác định dấu của f(x) : 1 Nếu f ( x) > 0 hx () = 0 ngược lạ Học bộ phân lớp của mô hình bao gồm vệc xác định w và w 0 từ dữ lệu. Vớ thuật toán này, mỗ dữ lệu được xem là một đểm trong mặt phẳng. Dữ lệu học là 21 -

27 tách rờ tuyến tính (lnearly separable) nếu tồn tạ một sêu phẳng sao cho hàm phân lớp phù hợp vớ tất cả các nhãn; tức là yf ( x ) > 0 vớ mọ = 1,...,n. Vớ gả thuyết này, Rosenblatt đã đưa ra một thuật toán đơn gản để xác định sêu phẳng : 1. w 0 2. w repeat 4. e 0 5. for 1,,n 6. do s sgn(y (w T x +w 0 ) 7. f s<0 8. then w w + y x 9. w 0 w 0 + y x 10. e e utl e=0 12. return (w,w 0 ) Đều kện cần để D tách rờ tuyến tính là số dữ lệu học n = D nhỏ hơn hoặc bằng m+1. Đều này là thường đúng vớ bà toán phân lớp văn bản, bở vì số lượng từ mục có thể lên tớ hàng nghìn và lớn hơn nhều lần so vớ số lượng dữ lệu học. 22 -

28 Sêu phẳng thực tế Sêu phẳng lý tưởng Hình 4. Mố quan hệ gữa các sêu phẳng phân cách Trong hình 4, gả sử rằng các dữ lệu mẫu thuộc lớp âm và lớp dương đều tuân theo luật phân bố chuẩn Gaussan, và được tạo ra vớ cùng một xác suất. Kh đó một sêu phẳng phân cách được gọ là lý tưởng nếu nó làm cực tểu xác suất phân lớp sa cho một đểm dữ lệu mớ. Vớ gả thuyết ở trên thì sêu phẳng phân cách lý tưởng sẽ trực gao vớ đoạn thẳng nố tâm của ha vùng có mật độ xác suất lớn nhất. Rõ ràng các sêu phẳng mà chúng ta xây dựng nhằm phân cách các đểm dữ lệu mẫu có thể lệch đ rất nhều so vớ sêu phẳng lý tưởng, do đó sẽ dẫn tớ vệc phân lớp không tốt trên dữ lệu mớ sau này. Độ phức tạp của quá trình xác định sêu phẳng lý tưởng sẽ tăng theo số chều của không gan đầu vào m, vì vớ một số lượng các dữ lệu mẫu cố định, tập hợp các sêu phẳng thực tế sẽ tăng theo hàm mũ vớ lũy thừa m. Vớ bà toán phân lớp trang văn bản, m thường rất lớn, khoảng và ngàn hay thậm chí là hàng trệu từ. 23 -

29 Hình 5. Sêu phẳng tố ưu và bên Theo lý thuyết thống kê được phát trển bở Vapnk năm 1998 chỉ ra rằng : chúng ta có thể xác định một sêu phẳng tố ưu thoả mãn ha tính chất quan trong : nó là duy nhất vớ mỗ tập dữ lệu học tách rờ tuyến tính; và khả năng overfttng là nhỏ hơn so vớ các sêu phẳng khác [14]. Định nghĩa bên M của bộ phân lớp là khoảng cách gữa các sêu phẳng và các dữ lệu học gần nhất. Sêu phẳng tố ưu nhất là sêu phẳng có bên lớn nhất, đều đó có nghĩa là chúng ta cần tìm sêu phẳng sao cho khoảng cách từ sêu phẳng đến những đểm gần nhất là lớn nhất (Hình 5). Vapnk cũng chứng mnh rằng khả năng overfttng vớ sêu phẳng tố ưu nhỏ hơn so vớ các sêu phẳng khác. Khoảng cách từ một đểm x đến sêu phẳng là : 1 T w ( w + w0 ) Vì vậy sêu phẳng tố ưu có thể thu được bằng ràng buộc tố ưu sau: max 1 w M T ww, Sao cho ( 0 ) 0 y w x + w M, = 1,..., n Trong đó ràng buộc yêu cầu mỗ tà lệu học (tương đương vớ các đểm) phả nằm trên nửa mặt phẳng của nó và khoảng cách từ đểm tớ sêu phẳng lớn hơn hoặc bằng M. 24 -

30 Đặt w = 1 M bểu thức trên được vết lạ như sau: mn ww, 0 w T Sao cho : ( ) y w x + w0 M, = 1,..., n Đưa về phương trình Lagrangan: n 1 2 T LD ( ) = w + α y( w + w0 ) 1 2 Sau đó tính đạo hàm của phương trình trên vớ ww, 0 ta thu được: = 1 = 1 n 1 T max α Λ α α 2 + thoả mãn : α 0 = 1,..., n α T Vớ Λ là ma trận n n trong đó α j = yyx j xj. Đây là bà toán bậc ha, theo lý thuyết có thể gả được bằng phương pháp chuẩn tố ưu. Vớ mỗ dữ lệu học, cách gả phả thoả mãn đều kện: Và do đó hoặc 0 T ( ) α y w w0 1 + = 0 T α = hoặc y( w x w ) khoảng cách từ đểm x đến mặt phẳng phân cách là M. + 0 = 1. Nó cách khác, nếu α > 0 thì Các đểm thoả mãn α > 0 được gọ là các vector hỗ trợ. Hàm quyết định h(x) có thể được tính qua công thức dấu của f(x) hoặc tương đương vớ dạng sau: n T f ( x) = yαx x = 1 Nếu dữ lệu học không tách rờ tuyến tính, thêm bến ξ và thay phương trình trên bằng phương trình: mn ww, 0 + n thoả mãn = 1 w C ξ Vấn đề này có thể đưa về dạng: = 1 T ( ) y w x + w0 1 ξ = 1,..., n ξ 0 = 1,..., n n 1 T max α Λ α α 2 + thoả mãn: 0 α C = 1,..., n α Bộ phân lớp theo cách này được gọ là bộ phân lớp máy vector hỗ trợ Support Vector Machne. 25 -

31 Phương pháp SVM được co là phương pháp hệu quả để gả quyết bà toán phân lớp vớ dữ lệu có số chều lớn như các vector bểu dễn văn bản. Về mặt lý thuyết, thuật toán phân lớp nhị phân này cũng có thể sử dụng cho bà toán phân lớp đa lớp bằng cách chuyển bà toán đa lớp thành bà toán nhị phân. Tuy nhên, đố vớ bà toán phân lớp văn bản sử dụng phương pháp SVM thì vệc lựa chọn thuộc tính cho từng phân lớp lạ là vấn đề cực kỳ quan trọng, nó quyết định đến hệu quả của phân lớp Mô hình Entropy cực đạ Định nghĩa nguyên lý entropy cực đạ Có rất nhều thuật toán của phương pháp học gám sát đã được đưa ra để gả quyết bà toán phân lớp văn bản như gả thết Naïve Bayes [Lews, 1998; McCallum and Ngam, 1998; Saham, 1996], K - ngườ láng gềng gần nhất [Yang, 1999], máy hỗ trợ vector [Joachms, 1998; Dumas et al., 1998], boostng [Schapre and Snger, 1996], Các thuật toán học luật [Cohen and Snger, 1996; Slattery và Craven, 1998]. Tuy nhên, trong số đó chưa có một thuật toán nào được chứng mnh là làm tốt hơn các thuật toán khác trên nhều mền ứng dụng. Sử dụng kỹ thuật Entropy cực đạ cho bà toán phân lớp văn bản như là một cách thay thế các thuật toán đã được dùng trước đây. Entropy cực đạ đã được sử dụng rộng rã cho nhều ngôn ngữ tự nhên. Entropy cực đạ đã chứng tỏ được là một thuật toán hệu quả và cạnh tranh cao trong nhều mền ứng dụng. Đố vớ bà toán phân lớp dữ lệu, Entropy cực đạ là một kỹ thuật dùng để ước lượng xác suất các phân phố từ dữ lệu. Tư tưởng chủ đạo của nguyên lý Entropy cực đạ là mô hình phân phố đố vớ mỗ tập dữ lệu và tập các ràng buộc đ cùng phả đạt được độ cân bằng / đều nhất có thể [15]. Tập dữ lệu học (tức là tập gồm các dữ lệu đã được gán nhãn) được sử dụng để tìm ra các ràng buộc cho mô hình, đó là cơ sở để ước lượng phân phố cho từng lớp cụ thể. Những ràng buộc này được thể hện bở các gá trị ước lượng được của các đặc trưng. Từ các ràng buộc snh ra bở tập dữ lệu này, mô hình sẽ tến hành tính toán để có được một phân phố cho Entropy cực đạ [10], [15]. Ví dụ một mô hình Entropy cực đạ: Gả sử vớ bộ phân lớp về lĩnh vực knh tế trên báo VnEconomy có bốn lớp chính được chỉ ra là ngân_hàng, chứng_khoán, bất_động_sản, doanh_nghệp. Các thống kê dữ lệu chỉ ra rằng trung bình 70% các tà lệu trong lớp ngân_hàng có chứa từ vay_vốn. Như vậy một cách trực quan có thể thấy 26 -

32 rằng nếu một tà lệu D có chứa từ vay_vốn thì xác suất được phân vào lớp ngân_hàng là 70% và xác suất phân vào ba lớp còn lạ là 10% đố vớ mỗ lớp. Nếu tà lệu D không chứa từ vay_vốn thì xác suất phân phố của D là 25% đều cho mỗ lớp. Trong ví dụ trên, nếu tà lệu chứa cụm từ vay_vốn thì có xác suất phân vào lớp ngân_hàng là 70% là một ràng buộc của mô hình Các ràng buộc và đặc trưng Trong nguyên lý Entropy cực đạ, chúng ta sử dụng tập dữ lệu mẫu làm để thết lập ràng buộc cho phân phố đều kện. Vớ mỗ ràng buộc được mô tả bở một đặc tính của tập dữ lệu học. Một đặc trưng trong mô hình Entropy cực đạ được bểu dễn bở một hàm f (d, c), trong đó d là tà lệu và c là lớp. Entropy cực đạ cho phép gớ hạn mô hình phân phố để có thu các gá trị kỳ vọng cho mỗ đặc trưng của tập dữ lệu. Vì vậy, ta có thể đặt xác suất phân phố của dữ lệu d cho lớp c là P(c d) thỏa mãn phương trình sau: Trong quá trình huấn luyện, phân phố tà lệu P(d) là không bết và chúng ta không cần quan tâm tớ nó. Vì vậy, ta chỉ sử dụng tập dữ lệu mẫu như là một đều kện để phân phố dữ lệu tuân theo ràng buộc sau: Như vậy kh sử dụng entropy cực đạ, bước đầu tên là cần xác định tập các hàm đặc tính sẽ sử dụng cho phân lớp. Sau đó, vớ mỗ đặc tính, ước lượng gá trị kỳ vọng thông qua tập dữ lệu học và tạo ra các ràng buộc cho mô hình phân phố Mô hình Entropy cực đạ Mô hình xác suất Entropy cực đạ cung cấp một cách đơn gản để kết hợp các đặc trưng của tà lệu trong những ngữ cảnh khác nhau để ước lượng xác suất của một số lớp xuất hện cùng vớ một số ngữ cảnh này. Tư tưởng cơ bản của phương pháp Entropy cực đạ là tìm ra một mô hình có phân phố xác suất thỏa mãn mọ ràng buộc quan sát được từ dữ lệu mà không đưa thêm bất kì một gả thết nào khác. Theo nguyên lý Entropy cực đạ, phân phố cần đáp ứng dữ lệu quan sát và làm cực đạ độ đo Entropy có đều kện: 27 -

33 H p p % c p c d p d c ( ) ( ) ( ) log ( ) cd, Trong đó p* là phân xác suất tố ưu. ( ) p * = argm ax H p p C Mô hình Entropy cực đạ xây dựng các đặc trưng từ tập dữ lệu huấn luyện. Mỗ đặc trưng được bểu dễn dướ một hàm nhận một trong ha gá trị đúng hoặc sa. Tập các ràng buộc sẽ được thết lập từ các đặc trưng này. Một ràng buộc là một đều kện từ dữ lệu buộc mô hình phả thỏa mãn. Mỗ đặc trưng f được gán cho một trọng số λ. Kh đó, bà toán phân lớp được đưa về bà toán ước lượng xác suất có đều kện: Trong đó Z(d) là bểu thức chuẩn hóa để đảm bảo đều kện p ( c d ) = 1. Từ đó đưa ra công thức sau: Entropy cực đạ cho phân lớp văn bản Để áp dụng mô hình Entropy cực đạ cho một mền, chúng ta cần phả chọn ra một tập các đặc trung để sử dụng thết lập các ràng buộc. Đố vớ phân lớp văn bản vớ mô hình Entropy cực đạ, chúng ta sử dụng số lượng từ như là các đặc trưng. Trong nghên cứu này cho vớ mỗ từ kết hợp, ta đưa ra một đặc tính như sau: Trong đó, N(d, w) là số lần từ w xuất hện trong tà lệu d, và N(d) là số lượng các từ có trong tà lệu d. Trong công thức này, nếu một từ xuất hện thường xuyên trong một tà lệu, ta sẽ tính trọng số cho các cặp từ này và thấy rằng trọng số đó sẽ cao hơn so vớ trọng số của các từ ghép trong tà lệu. Trong hầu hết ngôn ngữ tự nhên sử dụng Entropy cực đạ thì các đặc trưng thường là đặc trưng nhị phân. Trong phân lớp văn bản, chúng ta mong muốn các đặc trưng được tính bằng số lần suất hện của một từ trong một tà lệu có thể củng cố cho phân lớp. 28 -

34 Một trong những khía cạnh đặc bệt của Entropy cực đạ là nó không bị bất kỳ gả thuyết độc lập nào ràng buộc. Ví dụ, vớ cụm từ Buenos Ares, ha từ này hầu như luôn xuất hện động thờ cùng nhau.vớ gả thết Naïve Bayes sẽ đếm số từ xuất hện ha lần trong cụm từ này. Mặt khác, Entropy cực đạ sẽ gảm gá trị trọng số λ của mỗ đặc trưng đ một nửa. Một trong những hệ của vệc không phụ thuộc vào bất kỳ gả thuyết độc lập nào đó là các sơ đồ và các cụm từ có thể được thêm vào các đặc trưng của Entropy cực đạ một cách dễ dàng mà không cần lo lắng rằng các đặc tính này chồng lên nhau. Ưu đểm của mô hình Entropy cực đạ: - Cho phép khả năng hầu như không hạn chế trong vệc bểu dễn các vấn đề phức tạp về tr thức thông qua dạng các hàm đặc trưng. - Có thể gả quyết nhều dạng thuộc tính khác nhau. - Các gả thết không cần phả độc lập vớ nhau. - Trọng số của các đặc trưng được xác định một cách tự động. 29 -