Xây dựng một hệ thống gợi ý Collaborative Filtering dễ dàng như thế nào?

Hệ thống gợi ý là một hệ thống sử dụng các dữ liệu thu thập được từ người dùng nhằm dự đoán, gợi ý cho người dùng những sản phẩm, tính năng, dịch vụ mà người dùng có thể thích, từ đó nâng cao được chất lượng dịch vụ và thu lại lợi nhuận. Vậy cách để thực hành xây dựng một hệ thống gợi ý như thế nào? Bài viết này mình sẽ hướng dẫn các bạn xây dựng một hệ thống gợi ý đơn giản nhưng khá là hiệu quả trong thực tế, chỉ cần bạn là một người biết code cơ bản, chỉ cần bạn làm theo những gì mà mình hướng dẫn dưới đây, bạn sẽ xây dựng được một hệ thống gợi ý sản phẩm có thể áp dụng trực tiếp vào việc buôn bán thực tế của mình hay người thân. Nào, hãy thử làm xem sao!

Khi bạn đánh giá một trang fanpage trên facebook, hay đánh giá một sản phẩm ở một trang web mua sắm nào đó, chúng ta thường có các đánh giá dưới dạng ratings có điểm số từ 1 đến 5 hay 1 đến 7. Chúng ta sẽ dựa trên các đánh giá này của người dùng lên các sản phẩm để đưa ra gợi ý mua sắm cho người dùng. Một ví dụ của bảng ratings mà chúng ta nhận được như sau:

Dấu hỏi ở đây đại diện cho những rating mà người dùng chưa đánh giá cho sản phẩm, việc làm của chúng ta là cần phải dự đoán giá trị trong các dấu hỏi này. Nếu giá trị dự đoán được là cao, có khả năng cao rằng người dùng sẽ thích sản phẩm đó, và chúng ta đưa ra gợi ý cho người dùng.

Ý tưởng cơ bản của User-based Collaborative Filtering như sau:

• Giả sử trong quá khứ của người dùng A, người này thích giày thể thao hiệu XYZ, mũ hiệu UVT, kính râm hiệu MNP. Cũng tương tự trong quá khứ của B, B cũng thích giày thể thao hiệu XYZ, mũ hiệu UVT. Ta nhận thấy rằng sở thích của hai người này khá là giống nhau, do A có thích thêm kính râm hiệu MNP, có khả năng cao rằng B cũng thích kính râm hiệu MNP này, ta sẽ gợi ý cho B mua sản phẩm này.
  

Phương pháp thực hiện

Công việc mà chúng ta cần làm để dự đoán được sở thích của một người dùng $u$ lên một sản phầm $i$ gồm 2 bước như sau:

1. Đầu tiên, chúng ta phải tìm được nhóm người có chung sở thích với người dùng $u$ này thông qua bảng ratings mà chúng ta đã có.
2. Sau đó, dựa trên nhóm người mà chúng ta có chung sở thích với $u$ mà chúng ta tìm được và các đánh giá của nhóm người này lên sản phẩm $i$, chúng ta sẽ dự đoán đánh giá của người dùng $u$ lên sản phẩm $i$.

Quy trình khá là đơn giản phải không?

Trước tiên chúng ta định nghĩa ma trận ratings ở trên:

import numpy as 

nan = np.nan # not a number đại diện cho các sản phẩm chưa được đánh giá
ratings_matrix = np.array([[7, 6, 7, 4, 5, 4], 
                           [6, 7, nan, 4, 3, 4],
                           [nan, 3, 3, 1, 1, nan],
                           [1, 2, 2, 3, 3, 4],
                           [1, nan, 1, 2, 3, 3]])

Ma trận rating của chúng ta có kích thước là $m\times n$, ký hiệu là $R=[r_{uj}]$, trong đó, $m$ là số lượng người dùng (user) và $n$ là số lượng sản phẩm (items); $r_{uj}$ là điểm đánh giá của user $u$ lên item $j$. Ví dụ ở trong bảng trên ta có $r_{10}=6$ là điểm đánh giá của user $1$ cho item $0$. Chúng ta ký hiệu $I_u$ là tập hợp các sản phẩm mà đã được đánh giá bởi user $u$, khi đó dựa theo bảng trên ta có $I_2=1,2,3,4$ . Tập hợp các sản phẩm được đánh giá bởi cả hai người dùng $u$ và $v$ được ký hiệu là $I_u\cap I_v$

# indices for vector
def specified_rating_indices(u):
    return list(map(tuple, np.where(np.isfinite(u))))

Có một lưu ý nhỏ ở đây khi nói về đặc điểm cá nhân của người dùng: có những người dùng dễ tính thông thường sẽ đánh giá điểm cho các sản phẩm cao hơn so với những người dùng khó tính. Vì vậy, để khách quan hơn, chúng ta sẽ trừ điểm đánh giá của mỗi người dùng một lượng bằng trung bình điểm đánh giá của người dùng đó. Điểm trung bình của người dùng đó được tính như sau:

$${\mu }_u=\frac{{\Sigma }_{k\in I_u}{r}_{uk}}{|I_u|}$$

def mean(u):
    # may use specified_rating_indices but use more time
    specified_ratings = u[specified_rating_indices(u)]#u[np.isfinite(u)]
    m = sum(specified_ratings)/np.shape(specified_ratings)[0]
    return m

def all_user_mean_ratings(ratings_matrix):
    return np.array([mean(ratings_matrix[u, :]) for u in range(ratings_matrix.shape[0])])

def get_mean_centered_ratings_matrix(ratings_matrix):
    users_mean_rating = all_user_mean_ratings(ratings_matrix)
    mean_centered_ratings_matrix = ratings_matrix - np.reshape(users_mean_rating, [-1, 1])
    return mean_centered_ratings_matrix

Ta có được ma trận sau khi đã trừ đi trung bình ratings như sau:

mean_centered_ratings_matrix = get_mean_centered_ratings_matrix(ratings_matrix)
# array([[ 1.5,  0.5,  1.5, -1.5, -0.5, -1.5],
         [ 1.2,  2.2,  nan, -0.8, -1.8, -0.8],
         [ nan,  1. ,  1. , -1. , -1. ,  nan],
         [-1.5, -0.5, -0.5,  0.5,  0.5,  1.5],
         [-1. ,  nan, -1. ,  0. ,  1. ,  1. ]])

Để tính được sự giống nhau giữa các người dùng, chúng ta sẽ sử dụng điểm đánh giá của người dùng đó lên tất cả các sản phẩm làm vector đại diện cho người dùng, rồi so sánh các vector với nhau để tìm sự giống nhau. Có nhiều hàm toán học để tính toán độ giống nhau giữa các vector như Pearson, Cosine, ... Ở đây chúng ta sử dụng Pearson (code của hàm này khác phức tạp, bạn có thể bỏ qua hàm này), hàm này được xây dựng như sau:

$$Sim(u,v)=Pearson(u,v)=\frac{{\Sigma }_{k\in I_u\cap I_v}(r_{uk}-{\mu }_u)(r_{vk}-{\mu }_v)}{\sqrt{{\Sigma }_{k\in I_u\cap I_v}(r_{uk}-{\mu }_u{)}^2}\sqrt{{\Sigma }_{k\in I_u\cap I_v}(r_{vk}-{\mu }_v{)}^2}}$$

Ví dụ:

$$pearson(use{r}_0,use{r}_2)=\frac{(6-5.5)\ast (3-2)+(7-5.5)\ast (3-2)+(4-5.5)\ast (1-2)+(5-5.5)\ast (1-2)}{\sqrt{1.5^2+1.5^2+(-1.5{)}^2+(-0.5{)}^2}.\sqrt{1^2+1^2+(-1{)}^2+(-1{)}^2}}=0.894$$

def pearson(u, v):
    mean_u = mean(u)
    mean_v = mean(v)
    
    specified_rating_indices_u = set(specified_rating_indices(u)[0])
    specified_rating_indices_v = set(specified_rating_indices(v)[0])
    
    mutually_specified_ratings_indices = specified_rating_indices_u.intersection(specified_rating_indices_v)
    mutually_specified_ratings_indices = list(mutually_specified_ratings_indices)
    
    u_mutually = u[mutually_specified_ratings_indices]
    v_mutually = v[mutually_specified_ratings_indices]
      
    centralized_mutually_u = u_mutually - mean_u
    centralized_mutually_v