[MLE - 02] Evaluation Metric

Chào các bạn, trong bài viết trước ta đã thấy được khó khăn trong quá trình đánh giá một mô hình Machine Learning, không chỉ thuần thuý sử dụng độ chính xác hay test trên một tập dữ liệu bất kì có thể cho ta biết được vấn đề của chúng. Hôm nay chúng ta sẽ làm rõ hơn về vấn đề này.

1. Cần gì để đánh giá một mô hình Machine Learning ?

Mục đích ta đánh giá mô hình Machine Learning nhằm giúp cho team nhận thức được rằng chuyện gì đang xảy ra với mô hình của mình, và từ đó xác định được ta nên làm gì tiếp theo. Như trong bài viết trước ta đã thử đánh giá một mô hình phân loại các bức ảnh có người hay không ? Cách ta sử dụng là đo độ chính xác của mô hình dựa trên một tập dữ liệu nào đó. Bạn sẽ tự hỏi, sao không tự tay thử, đúng sai ta sẽ ghi lại để thống kê. Dĩ nhiên là không, một hệ thống Machine Learning được thử bằng "tay" sẽ chỉ khiến bạn mất thời gian và tiền ... điện. Cũng giống như việc ta nhắm bắn vào một tấm bia, ta cần một số thứ trong tay để có thể đánh giá được chúng, chưa kể đến chúng có hữu dụng hay không:

• Mô hình sau khi training: nó giống như việc bạn cần 1 khẩu súng, hay cây cung (và tất nhiên cả mũi tên) để có thể có cái mà ngắm và bắn vào bia.
• Mục tiêu: đây chính là cái bia của bạn, không biết mục tiêu là gì thì bạn sao có thể ngắm hay bắn được. Trong ví dụ lần trước ta có thể nói đó chính là cái độ chính xác mà bạn mong muốn, bạn muốn 99%, hãy đưa mô hình tới mức chính xác đó tức là ta đã bắn trúng mục tiêu.
• Thước đo: dù đã có bia và vũ khí, nhưng sau mỗi lần bắn trượt, ta muốn lần kế tiếp phải tốt hơn, dĩ nhiên ta cần một cái gì đó để đo đạc, để biết rằng trong lần thử tiếp theo, ta đang làm tốt lên hay tệ đi. Chẳng hạn ngắm dịch sang trái 1cm thì bắn trúng điểm cách tâm bao xa, có gần tâm hơn so với không ngắm dịch sang trái không ?

Về cơ bản ta chỉ cần 3 thứ trên là có thể biết được mô hình đang tốt lên hay tệ đi. Với mô hình sau khi training, đó là điều tất yếu chúng ta sẽ có, vậy nên điểm quan trọng ở đây là bạn chọn mục tiêu và thước đo như thế nào ? Bạn nhắm vào mục tiêu 99% chính xác trên tập ảnh có 99% là ảnh không người trên 1% ảnh có người nhưng lại đem cho khách hàng thử trên trường hợp 50%/50% có người trong ảnh thì khả năng cao là bạn đặt sai mục tiêu. Khách muốn bia A nhưng bạn lại thiết lập bia B thì không khác gì lạc đề