Thách thức với kiểm thử Big data

Trong những năm gần đây thuật ngữ "Big data", "Big data application" dần trở nên quen thuộc. Đó là các hệ thống, các ứng dụng chứa rất nhiều thông tin quý giá để hỗ trợ cho việc kinh doanh, nghiên cứu khoa học, dự đoán tình huống, hoạch định chiến lược trong tương lai. Trên thế giới, nhiều DN đã ứng dụng Big Data để phát triển và thành công, điển hình là Facebook, Google... Việc kiểm thử các ứng dụng như vậy sẽ gặp không ít các thách thức, khó khăn để đảm bảo được chất lượng. Hãy cùng điểm qua các thách thức mà chúng ta có thể gặp phải.

Khối lượng dữ liệu khổng lồ và không đồng nhất

Việc kiểm thử một khối lượng dữ liệu khổng lồ là thách thức lớn nhất. Theo tài liệu của Intel vào tháng 9/2013, hiện nay thế giới đang tạo ra 1 petabyte dữ liệu trong mỗi 11 giây và nó tương đương với một đoạn video HD dài 13 năm. Bản thân các công ty, doanh nghiệp cũng đang sở hữu Big Data của riêng mình, chẳng hạn như trang bán hàng trực tuyến eBay thì sử dụng hai trung tâm dữ liệu với dung lượng lên đến 40 petabyte để chứa những truy vấn, tìm kiếm, đề xuất cho khách hàng cũng như thông tin về hàng hóa của mình

Câu hỏi được đặt ra: Làm thế nào để có thể chuẩn bị một môi trường để có thể lưu trữ cũng như đưa ra các trường hợp kiểm thử cho các dữ liệu lớn và không nhất quán như vậy? Việc kiểm thử toàn bộ khối lượng lớn dữ liệu là không thể thực hiện.

"Thấu hiểu" dữ liệu

Để có chiến lược kiểm thử Big Data hiệu quả, Tester (kiểm thử viên) cần liên tục theo dõi và xác nhận 4Vs (các đặc tính cơ bản) của Data - Volume (Khối lượng), Variety (Chủng loại), Velocity (Tốc độ) and Value (Giá trị). Việc hiểu được dữ liệu và tác động của nó đối với hoạt động nghiệp vụ là thách thức thực sự đối với bất kỳ người kiểm thử hệ thống big data. Bởi nó còn ảnh hưởng tới nỗ lực và chiến lược kiểm thử. Người kiểm thử cần phải hiểu hết và hiểu chính xác các quy tắc nghiệp vụ, mối quan hệ giữa các tập hợp dữ liệu khác nhau. Họ cũng phải hiểu mối tương quan thống kê giữa các bộ dữ liệu khác nhau và lợi ích của chúng đối với người dùng doanh nghiệp.

Thiếu kinh nghiệm về kỹ thuật và sự phối hợp

Công nghệ hiện nay đang phát triển và thay đổi từng ngày từng giờ. Con người đang phải vật lộn để hiểu được thuật toán xử lý dữ liệu lớn. Người kiểm thử hệ thống dữ liệu lớn cần phải hiểu kỹ các thành phần của hệ sinh thái Big Data.

Ngày nay, người kiểm thử hiểu rằng họ phải suy nghĩ vượt ra ngoài các thông số thông thường của kiểm tra tự động và thử nghiệm thủ công. Big Data, với định dạng dữ liệu không mong muốn có thể gây ra các vấn đề mà các trường hợp thử nghiệm tự động bao trùm được. Để tạo các trường hợp kiểm thử tự động cho một nhóm dữ liệu lớn đòi hỏi kỹ năng chuyên môn và sự phối hợp giữa các thành viên trong nhóm. Nhóm kiểm thử cần phối hợp với nhóm phát triển và đội nghiệp vụ để hiểu khai thác dữ liệu từ các nguồn khác nhau, lọc dữ liệu và các thuật toán xử lý. Vì có một số công cụ kiểm tra tự động hoàn toàn sẵn có trên thị trường để xác nhận tính hợp lệ của Big Data như Hadoop. Ngoài ra, các tổ chức cần phải sẵn sàng đầu tư vào các chương trình đào tạo cụ thể về Big data để phát triển các giải pháp kiểm thử tự động.

Thách thức về thời gian và chi phí

Nếu quá trình kiểm thử không được chuẩn hóa và tăng cường để tái sử dụng và tối ưu hóa bộ kịch bản kiểm thử thì thời gian thực hiện sẽ vượt quá mục tiêu dự kiến và do đó chi phí sẽ tăng lên. Các giai đoạn kiểm thử có thể kéo dài hàng tuần hoặc thậm chí lâu hơn với việc kiểm tra thủ công.

Nhìn chung, kiểm thử các ứng dụng Big Data đang dần trở thành một phần . Nếu các chiến lược kiểm thử phù hợp được áp dụng và tuân thủ, các vấn đề - lỗi - có thể được xác định trong giai đoạn đầu và chi phí có thể giảm xuống trong khi vẫn đảm bảo được chất lượng hệ thống.