ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHAN THỊ THU HÀ PHƯƠNG PHÁP SINH DỮ LIỆU KIỂM THỬ TỰ ĐỘNG CHO CÁC ỨNG DỤNG JAVA LUẬN VĂN THẠC SĨ Ngành: Công nghệ thông tin Hà Nội -2015
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHAN THỊ THU HÀ PHƯƠNG PHÁP SINH DỮ LIỆU KIỂM THỬ TỰ ĐỘNG CHO CÁC ỨNG DỤNG JAVA Ngành: Công nghệ thông tin Chuyên ngành: Kỹthuật phần mềm Mã Số:60.48.01.03 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. PHẠM NGỌC HÙNG Hà Nội -2015 2
MỤC LỤC MỤC LỤC... i LỜI CẢM ƠN... iii TÓM TẮT... iv ABSTRACT... v LỜI CAM ĐOAN... vi DANH MỤC THUẬT NGỮ VIẾT TẮT... vii DANH MỤC HÌNH VẼ... viii DANH MỤC BẢNG... x CHƯƠNG 1: GIỚI THIỆU... 1 CHƯƠNG 2: CÁC KỸ THUẬT KIỂM THỬ DÒNG ĐIỀU KHIỂN... 4 2.1. Tổng quan về kiểm thử hộp trắng... 4 2.2. Kỹ thuật kiểm thử dòng điều khiển... 10 2.2.1. Kiểm thử hộp trắng dòng điều khiển theo hướng động... 10 2.2.2. Kiểm thử hộp trắng dòng điều khiển theo hướng tĩnh... 12 2.3. Quy trình kiểm thử hộp trắng dòng điều khiển theo hướng tĩnh... 7 2.3.1. Đồ thị dòng điều khiển... 7 2.3.2. Các tiêu chí phủ kiểm thử... 9 2.3.3. Đường kiểm thử... 10 2.4. So sánh kĩ thuật kiểm thử hộp trắng dòng điều khiển theo hướng tĩnh và động... 10 2.5. Tầm quan trọng của tự động hóa quy trình kiểm thử hộp trắng dòng điều khiểnerror! Book CHƯƠNG 3: PHƯƠNG PHÁP KIỂM THỬ DÒNG ĐIỀU KHIỂN HƯỚNG TĨNH CHO CÁC HÀM JAVA... 15 3.1. Ý tưởng... 15 3.2. Xây dựng đồ thị dòng điều khiển từ mã nguồn... 16 3.3. Xây dựng tập đường kiểm thử... 20 3.3.1. Xây dựng tập đường đi độc lập... 20 3.3.2. Xây dựng đường kiểm thử vòng lặp... 22 i
3.4. Xây dựng hệ ràng buộc... 25 3.5. Sinh tập dữ liệu kiểm thử dựa trên giải nghiệm hệ ràng buộc... 27 3.5.1. Giải hệ sử dụng kỹ thuật sinh ngẫu nhiên... 27 3.5.2. Giải hệ sử dụng SMT-Solver... 27 CHƯƠNG 4: GIỚI THIỆU CÔNG CỤ... 32 4.1. Kiến trúc công cụ... 32 4.2. Nền tảng chương trình... 33 4.2.1. Thư viện JDT... 33 4.2.2. Bộ giải hệ Z3 Prover... 34 4.3. Cài đặt công cụ... 36 4.3.1. Tổng quan... 36 4.2.2. Đầu vào công cụ JavaUnitCFT... 36 4.2.3. Đầu ra công cụ... 37 CHƯƠNG 5: THỰC NGHIỆM... 42 5.1. Sinh bộ dữ liệu kiểm thử cho hàm đầu vào chứa biến số nguyên... 42 5.1.1. Input... 42 5.1.2. Output:... 43 5.2. Sinh bộ dữ liệu kiểm thử cho hàm đầu vào chứa biến số thực... 44 5.2.1. Input... 44 5.2.2. Output... 44 5.3. Sinh bộ dữ liệu kiểm thử cho hàm đầu vào chứa vòng lặp... 47 5.3.1. Input... 47 5.3.2. Output... 47 CHƯƠNG 6: KẾT LUẬN... 49 TÀI LIỆU THAM KHẢO... 50 ii
LỜI CẢM ƠN Trước tiên tôi xin gửi lời cảm ơn chân thành và sâu sắc đến thầy giáo, TS. Phạm Ngọc Hùng - người đã trực tiếp hướng dẫn, chỉ bảo, động viên, luôn tạo cho tôi những điều kiện tốt nhấtvà truyền cho tôi cảm hứng nghiên cứu khoa học từ khi tôi bắt đầu lựa chọn đề tài, trong suốt quá trình nghiên cứu, và cho đến bây giờ - khi tôiđã hoàn thành luận văn này. Tôi xin chân thành cảm ơn các thầy, cô giáo khoa Công Nghệ Thông Tin, Trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội - những người đầy tâm huyết, đã tận tình đào tạo,cung cấp cho tôi những kiến thức chuyên môn vô cùng quý giá.những kiến thức ấy không chỉ tạo cho tôi một nền tảng tốt trong quá trình học tập, nghiên cứu tại trường, mà sẽ còn là những bài học bổ ích, những kỹ năng và kinh nghiệm đáng quý cho tôi trong suốt quá trình làm việc và nghiên cứu chuyên môn sau này. Cuối cùng, tôi xin chân thành cảm ơn những người thân trong gia đình và bạn bè, đồng nghiệp đã luôn giúp đỡ, động viên tôi đặc biệt là những khi tôi gặp phải khó khăn trong việc học tập và nghiên cứu, đã tiếp thêm động lực để tôi vững tâm hoàn thành luận văn này. iii
TÓM TẮT Kiểm thử đơn vị là bước đầu tiên trong quy trình kiểm thử phần mềm. Hiện nay, trong các công ty phần mềm, kiểm thử đơn vị thường được thực hiện bởi các lập trình viên sau khi hoàn thành việc phát triễn mã nguồn sản phẩm, và trước khi bàn giao cho bộ phận kiểm thử để tiến hành kiểm thử tích hợp. Do hạn chế về mặt thời gian, chi phí và nguồn nhân lực, các lập trình viên thường chỉ sử dụng kỹ thuật kiểm thử hộp đen mà không áp dụng các kỹ thuật kiểm thử hộp trắng khi tiến hành kiểm thử đơn vị. Kết quả là các lỗi tiềm tàng trong mã nguồn sản phẩm hầu như không được phát hiện trước khi việc kiểm thử tích hợp được thực hiện. Luận văn này tập trung nghiên cứu phương pháp sinh dữ liệu kiểm thử tự động cho các ứng dụng Java dựa trên kỹ thuật kiểm thử hộp trắng dòng điều khiển hướng tĩnh, đồng thời cài đặt một công cụ(javaunitcft)hỗ trợ cho phương pháp này. Phương pháp được mô tả thành một quy trình với các bước chính như sau: Bước đầu tiên, từ mã nguồn được cung cấp, ta sẽ phân tích để sinh đồ thị dòng điều khiển thỏa mãn tiêu chí phủ kiểm thử. Sau đó, đồ thị dòng điều khiển được phân tích để xây dựng tập đường kiểm thử. Bước tiếp theo, các đường kiểm thử chứa vòng lặp được cấu trúc lại để sinh thêm các đường kiểm thử mới dùng kiểm thử tính đúng đắn vòng lặp. Dựa trên tập các đường kiểm thử, ta xây dựng các hệ ràng buộc tương ứng. Cuối cùng, ta thực hiện giải hệ ràng buộc thu được để sinh tập dữ liệu cho bộ cácca kiểm thử bằng cách sử dụng thế mạnh của các công cụ SMT-Solver. Một công cụ hỗ trợ phương pháp này cũng được cài đặt bằng ngôn ngữ lập trình Java để chứng minh tính đúng đắn và khả năng ứng dụng trong thực tế của phương pháp. Kết quả thực nghiệm cho thấy, tậpdữ liệu cho bộ ca kiểm thử sinh ra một cách tự động với số lượng tối thiểu nhưng vẫn đảm bảo đạt độ bao phủ cao, đạt độ tin cậy cao trong kiểm chứng tính đúng đắn của mã nguồn. Từ khóa:kiểm thử tự động, kiểm thử hộp trắng dòng điều khiển, đồ thị dòng điều khiển,kiểm thử vòng lặp, độ phủ,ca kiểm thử iv
ABSTRACT Testingphase has lot of significance in Software Development Life Cycle (SDLC) due to it is the most important part in executing and fault rectification. Because of high demand in quality, testing phase is performed quite thoroughly and strictly. As a result, the cost of the testing phase can be up to 40% - 60% the total cost of application development process. To reduce the cost of the testing phase, not only the testing execution phase but also the test case generation process should be automated as much as possible. However, some automation testing tools just focus on executing test cases and return the testing report instead of generating test cases automatically. The Thesis researches a method of generating a set of test cases automatically for Java applications based on the static white-box technique. Input by source code of the application under test and coverage criteria, the output of this method is a minimal set of test cases which can satisfy the provided criteria and reach the maximum coverage level. The proposed method processes as following: Firstly, the source code is required to be analysed in order to generate corresponding Control Flow Graph (CFG). Based on the CFG, independent paths will be built. After that, paths containing loop is reconstructed to generatesome new paths used to test the loop. Then, each path is analysed by using symbolic execution technique to create corresponding constraints. Finally, the constraints aresolved to find solutions by SMT-Solver tools. A set of test data for the test cases is generated automatically. The experimental result shows the effectiveness of the approach with the set of test data for the minimum number of test cases but ensures the high quality of source code. Keywords:Automated testing, white-box testing technique, control flow testing, test case, coverage criteria v
LỜI CAM ĐOAN Tôi xin cam đoan rằng luận văn thạc sĩ công nghệ thông tin Phương pháp sinh dữ liệu kiểm thử tự động cho các ứng dụng Java là nghiên cứu của riêng tôi, không sao chép lại của người khác. Trong toàn bộ nội dung của luận văn, những điều đã được trình bày hoặc là của chính cá nhân tôi hoặc là được tổng hợp từ nhiều nguồn tài liệu. Tất cả các nguồn tài liệu tham khảo đều có xuất xứ rõ ràng và hợp pháp. Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan này. Hà Nội, ngàythángnăm 2015 Phan Thị Thu Hà vi
DANH MỤC THUẬT NGỮ VIẾT TẮT STT Từ viết tắt Từ đầy đủ Ý nghĩa 1 AST Abstract Syntax Tree Cây cú pháp trừu tượng 2 CFG Control Flow Graph Đồ thị dòng điều khiển 3 JDT Java Development Tools Bộ công cụ lập trình của ngôn ngữ lập trình Java 4 CVC Cooperating Validity Checker 5 DIMACS Center for Discrete Mathematics and Theoretical Computer Science 6 SMT-Solver Satisfiability Modulo Theories Solver vii
DANH MỤC HÌNH VẼ Hình 1.1. Top 10 ngôn ngữ lập trình phổ biến giai đoạn 2002-2015... 3 Hình 2.1. Đảm bảo chất lượng phần mềm theo từng pha... 6 Hình 2.2. Chi phí cho việc tìm và sửa lỗi... 7 Hình 2.3. Các thành phần cơ bản của đồ thị dòng điều khiển... 8 Hình 2.4. Các cấu trúc điều khiển phổ biến... 9 Hình 2.5. Kiểm thử hộp trắng dòng điều khiển theo hướng động.... 11 Hình 2.6. Ví dụ một luật chèn mã nguồn trong DMS/SRT... 12 Hình 2.7. Mã nguồn hàm triangle sau khi thêm khối mã nguồn mới... 12 Hình 2.8. Kiểm thử hộp trắngdòng điều khiển theo hướng tĩnh... 13 Hình 3.1. Quy trình kiểm thử một hàm Java theo phương pháp nghiên cứu... 15 Hình 3.2. Thuật toán sinh CFG từ mã nguồn.... 17 Hình 3.3. Mã nguồn hàm kiemtranamnhuan.... 18 Hình 3.4. CFG hàm kiemtranamnhuan tiêu chuẩn phủ câu lệnh, phủ nhánh... 18 Hình 3.5. CFG hàm kiemtranamnhuan tiêu chuẩn phủ điều kiện con... 19 Hình 3.6. CFG điều kiện kép (a>=0 ((b>=0 && c>=0) b+c>=0) a+b+c>=0)... 20 Hình 3.7. Thuật toán sinh tập đường đi độc lập từ CFG... 21 Hình 3.8. Thuật toán sinh đường kiểm thử vòng lặp.... 23 Hình 3.9. Thuật toán sinh đường kiểm thử vòng lặp trong.... 24 Hình 3.10. Thuật toán sinh đường kiểm thử vòng lặp ngoài.... 25 Hình 3.11. Ví dụ một hệ ràng buộc.... 25 Hình 3.12. Thuật toán sinh hệ ràng buộc từ đường kiểm thử... 26 Hình 3.13. Quá trình rút gọn câu lệnh.... 27 Hình 3.14. Mô tả đầu vào, đầu ra SMT-Solver.... 29 Hình 3.15. Ví dụ hệ ràng buộc tuân theo chuẩn SMT-Lib.... 30 Hình 3.16. Quá trình chuyển một biểu thức trung tố về chuẩn SMT-Lib.... 31 Hình 4.1. Kiến trúc chương trình JavaUnitCFT... 32 Hình 4.2. Ví dụ minh họa AST... 33 Hình 4.3. Sử dụng ASTView trong Eclipse trên đoạn mã nguồn test... 34 Hình 4.4. Cây AST của mã nguồn class test... 35 viii
TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phạm Ngọc Hùng, Trương Anh Hoàng, Đặng Văn Hưng (2014), Giáo trình kiểm thử phần mềm, Nhà xuất bản giáo dục Việt Nam. [2] Nguyễn Đức Anh (2015), Xây dựng công cụ kiểm thử tự động cho các chương trình C, Khóa luận tốt nghiệp Trường Đại học Công Nghệ, Đại học Quốc Gia Hà Nội. Tiếng Anh [3] Manish Mishra, Shashi Mishra and Rabins Porwal (2012), Basic Principle for testcase Generation Automatically, VSRD-IJCSIT, Vol. 2 (9), pp.772-781 [4] Dorothy Graham, Erik van Veenendaal, Isabel Evans, Rex Black (2012), Foundations Of Software Testing, ISTQB Certification, 3 rd Edition [5] Danila Piatov, Andrea Janes, Alberto Sillitti and Giancarlo Succi (2012), Using the Eclipse C/C++ Development Tooling as a Robust, Fully Functional, Actively Maintained, Open Source C++ Parser,IFIP Advances in Information and Communication Technology, Vol. 378, pp. 399-406 [6] Arthur H. Watson and Thomas J. McCabe, Structured Testing: A Testing Methodology Using the Cyclomatic Complexity Metric, NIST Special Publication 500-235 [7] J. C. King (1976), Symbolic execution and program testing, Communciations of the ACM, vol. 19, no. 7, pp. 385 394 50