ETL Testing or Data Warehouse Testing Tutorial (Phần I)

Trước khi chúng ta muốn tìm hiểu về ETL Kiểm thì chúng ta phải hiểu rõ được một số thuật ngữ: I. BI là gì? Business Intelligence là quá trình thu thập dữ liệu thô hoặc dữ liệu kinh doanh và biến nó thành thông tin hữu ích và có ý nghĩa hơn. Các dữ liệu thô là các hồ sơ của các giao dịch hàng ngày của một tổ chức như tương tác với khách hàng, quản lý tài chính và quản lý nhân viên,....vv. Những dữ liệu này sẽ được sử dụng cho “Báo cáo, phân tích, khai thác dữ liệu, chất lượng dữ liệu và Giải thích, phân tích tiên đoán”. Data Warehouse là gì? Một kho dữ liệu là một cơ sở dữ liệu được thiết kế cho truy vấn và phân tích hơn là cho xử lý giao dịch. Các kho dữ liệu được xây dựng bằng cách tích hợp dữ liệu từ nhiều nguồn.Nó cho phép công ty hoặc tổ chức hợp nhất dữ liệu từ nhiều nguồn và tách khối lượng công việc phân tích từ khối lượng công việc giao dịch. Dữ liệu được chuyển thành thông tin chất lượng cao để đáp ứng tất cả các yêu cầu báo cáo doanh nghiệp cho tất cả các cấp của người dùng. II. ETL là gì? ETL là viết tắt của Extract-Transform-Load và nó là quá trình làm thế nào dữ liệu được tải từ hệ thống nguồn vào kho dữ liệu.. Dữ liệu được trích xuất từ cơ sở dữ liệu OLTP, được chuyển đổi để phù hợp với lược đồ kho dữ liệu và được nạp vào cơ sở dữ liệu kho dữ liệu. Nhiều kho dữ liệu cũng kết hợp dữ liệu từ các hệ thống không phải là OLTP như các tệp văn bản, các hệ thống kế thừa và bảng tính.

=> Hãy xem làm thế nào nó hoạt động Ví dụ, có một cửa hàng bán lẻ trong đó có các bộ phận khác nhau như bán hàng, tiếp thị, hậu cần vv. Mỗi người trong số họ đang xử lý thông tin khách hàng một cách độc lập, và cách họ lưu trữ dữ liệu là khá khác nhau. Bộ phận bán hàng đã lưu trữ nó theo tên của khách hàng, trong khi bộ phận tiếp thị theo id khách hàng. Bây giờ nếu họ muốn kiểm tra lịch sử của khách hàng và muốn biết những sản phẩm khác nhau mà họ mua do các chiến dịch tiếp thị khác nhau; Nó sẽ rất tẻ nhạt.

• Các giải pháp là sử dụng một Datawarehouse để lưu trữ thông tin từ các nguồn khác nhau trong một cấu trúc thống nhất sử dụng ETL. ETL có thể biến đổi các bộ dữ liệu không giống nhau thành một cấu trúc thống nhất.Sau đó sử dụng các công cụ BI để thu thập các thông tin chi tiết và báo cáo có ý nghĩa từ dữ liệu này Sơ đồ dưới đây cho bạn biết MAP ROAD của quá trình ETL

1. Extract Trích xuất dữ liệu có liên quan

2. Transform Chuyển đổi dữ liệu sang định dạng DW (Data Warehouse) Khóa xây dựng - Khóa chính là một hoặc nhiều thuộc tính dữ liệu nhận dạng duy nhất một thực thể. Các loại khóa chính là chìa khóa chính, phím xen kẽ, khoá nước ngoài, phím ghép, phím đại diện. Kho dữ liệu sở hữu các phím này và không bao giờ cho phép bất kỳ thực thể khác gán cho chúng. Rửa sạch dữ liệu: Sau khi dữ liệu được chiết xuất, nó sẽ di chuyển vào giai đoạn tiếp theo, làm sạch và phù hợp của dữ liệu. Việc làm sạch sẽ làm mất dữ liệu cũng như xác định và sửa lỗi. Việc tuân thủ có nghĩa là giải quyết mâu thuẫn giữa những dữ liệu đó không tương thích để chúng có thể được sử dụng trong kho dữ liệu doanh nghiệp. Ngoài ra, hệ thống này tạo ra siêu dữ liệu được sử dụng để chẩn đoán các vấn đề hệ thống nguồn và nâng cao chất lượng dữ liệu.

3. Load Tải dữ liệu vào DW (Data Warehouse) Build aggregates - Tạo tổng hợp là tổng hợp và lưu trữ dữ liệu có sẵn trong bảng sự kiện để cải thiện hiệu suất của các truy vấn của người dùng cuối. III. ETL Thử nghiệm là gì? Thử nghiệm ETL được thực hiện để đảm bảo rằng dữ liệu đã được tải từ nguồn đến đích sau khi chuyển đổi doanh nghiệp là chính xác. Nó cũng bao gồm việc xác minh dữ liệu ở các giai đoạn giữa đang được sử dụng giữa nguồn và đích. ETL là viết tắt của Extract-Transform-Load. IV. Kiểm tra quy trình ETL Tương tự như các Quy trình Thử nghiệm khác, ETL cũng trải qua các giai đoạn khác nhau. Các giai đoạn khác nhau của quá trình thử nghiệm ETL như sau: Thử nghiệm ETL được thực hiện trong năm giai đoạn

   1. Xác định nguồn dữ liệu và yêu cầu
   2. Thu thập dữ liệu
   3. Thực hiện logic kinh doanh và mô hình hóa chiều
   4. Xây dựng và lưu trữ dữ liệu
   5. Xây dựng báo cáo VI. Các loại kiểm tra ETL