Tool in Software Testing - P2 (ISTQB)

Phần trước đã liệt kê các loại tools, tên tools dùng trong testing, bài này sẽ chỉ rõ lợi ích và rủi ro khi sử dụng tool cũng như việc áp dụng tool trong một đơn vị tổ chức.

Mua hoặc thuê tool sử dụng trong kiểm thử không đảm bảo thành công với công cụ đó. Mỗi loại công cụ cần thêm nỗ lực khác nhau để đạt được lợi ích thực sự và lâu dài. Có nhiều cơ hội và lợi ích tiềm tàng trong khi sử dụng các công cụ để kiểm thử, nhưng bên cạnh đó cũng có nhiều rủi ro cần phòng tránh.

Lợi ích khi sử dụng tool

Giảm thiểu công việc lặp đi lặp lại: ví dụ như khi thực hiện kiểm thử hồi quy (regression test), hoặc các công việc nhập lại cùng một bộ dữ liệu hoặc kiểm tra đối chiếu code với tiêu chuẩn có sẵn. Tăng tính nhất quán và lặp lại: ví dụ khi chạy test bằng tool thì các action sẽ được thực hiện theo cùng một thứ tự và cùng tần suất, con người thực hiện thủ công các công việc lặp lại thì có thể không chính xác và không đồng nhất. Đánh giá khách quan hoạt động test: các thông tin được đo lường như độ bao phủ, tỉ lệ lỗi sẽ giúp đánh giá hệ thống một cách khách quan. Dễ dàng truy cập thông tin về hoạt động test: ví dụ số liệu thống kê hoặc biểu đồ về quy trình test, tỉ lệ khiếm khuyết (incidents) và hiệu năng /pictures/picfullsizes/2018/08/12/gud1534007013.jpg

Rủi ro khi sử dụng Tool

Mong đợi không thực tế: người dùng mong đợi về chức năng và tính khả dụng nhưng thực tế cần bỏ nhiều nỗ lực để xây dựng kịch bản.

Đánh giá không đúng:

• đánh giá thấp thời gian, chi phí và nỗ lực cho việc giới thiệu ban đầu của một công cụ, bao gồm đào tạo và chuyên môn bên ngoài
• đánh giá thấp thời gian và nỗ lực cần thiết để đạt được những lợi ích đáng kể và liên tục từ công cụ, bao gồm sự thay đổi cần thiết trong quá trình kiểm thử và cải thiện liên tục cách sử dụng công cụ
• đánh giá thấp nỗ lực cần thiết để duy trì tài sản test (testware) được sinh ra bởi công cụ

Quá phụ thuộc vào các công cụ: khi người dùng lạm dụng tool để thay thế cho thiết kế test hoặc thực hiện thử nghiệm tự động trong khi kiểm thử thủ công có thể mang lại hiệu quả hơn

Không quan tâm đến việc kiểm soát tài sản test trong công cụ

Bỏ qua các mối liên hệ và các vấn đề tương thích giữa các công cụ: như các công cụ quản lý yêu cầu, công cụ kiểm soát phiên bản, công cụ quản lý sự cố, công cụ theo dõi bug và các công cụ từ nhiều nhà cung cấp khác nhau

Rủi ro khi nhà cung cấp công cụ ra đạo đức kinh doanh, hoặc bán công cụ cho nhà cung cấp khác

Nhà cung cấp phản hồi hỗ trợ chậm, nâng cấp và sửa lỗi kém

Nguy cơ không lường trước của các dự án mã nguồn mở / công cụ miễn phí, chẳng hạn như không hỗ trợ một nền tảng mới hoặc cập nhật thư viện mới.

Áp dụng tool trong tổ chức

Lựa chọn tool cho tổ chức phụ thuộc vào các yếu tố sau:

1. Đánh giá về sự trưởng thành, điểm mạnh, điểm yếu của tổ chức và xác định các cơ hội để cải tiến quá trình kiểm thử dưới sự hỗ trợ của các công cụ
2. Đánh giá các yêu cầu rõ ràng và các tiêu chí khách quan
3. Sử dụng tool trong quá trình đánh giá để xem xét công cụ đó có hiệu quả đối với cơ sở hạ tầng hiện tại hay không, hoặc phát hiện các thay đổi cần thiết của cơ sở hạ tầng để sử dụng tool được hiệu quả hơn
4. Đối với công cụ phi thương mại (non-commercial), cần đánh giá nhà cung cấp về đào tạo(trainning), khả năng hỗ trợ (support) và các khía cạnh thương mại, dịch vụ hỗ trợ,...
5. Xác định các yêu cầu nội bộ để huấn luyện và cố vấn trong việc sử dụng công cụ
6. Đánh giá việc đào tạo cần thiết dựa trên việc xem xét khả năng của đội kiểm thử tự động hiện tại
7. Ước tính tỷ số chi phí - lợi ích dựa trên trường hợp kinh doanh cụ thể

Nên bắt đầu sử dụng tool với một dự án thí điểm nhằm mục đích:

1. Tìm hiểu thêm về công cụ
2. Đánh giá cách thức các công cụ phù hợp với quy trình và thực tiễn hiện có và xác định những gì cần phải thay đổi
3. Quyết định về cách sử dụng, quản lý, lưu trữ và duy trì công cụ và các tài sản thử nghiệm (vd: quyết định đặt tên files, tạo ra các thư viện và xác định modules của các bộ phần mềm thử nghiệm)
4. Đánh giá liệu các lợi ích có được đạt được với chi phí hợp lý hay không

Các yếu tố giúp thực hiện tool trong một tổ chức thành công

1. Triển khai dần dần công cụ cho các đội còn lại của tổ chức
2. Thích ứng và cải tiến quy trình test phù hợp với việc sử dụng công cụ
3. Tổ chức đào tạo và huấn luyện/cố vấn cho người dùng mới sử dụng
4. Định nghĩa hướng dẫn sử dụng tool
5. Thu thập thông tin sử dụng từ việc sử dụng thực tế
6. Giám sát lợi ích và cách sử dụng công cụ
7. Cung cấp cho nhóm kiểm thử một tool có sẵn
8. Thu thập các bài học kinh nghiệm rút ra từ tất cả các đội dự án

Tham khảo http://www.istqb.org/certification-path-root/foundation-level/foundation-level-content.html