Tổng quan về Artificial Neural Network

Artificial Neural Network (ANN) gồm 3 thành phần chính: Input layer và output layer chỉ gồm 1 layer , hidden layer có thể có 1 hay nhiều layer tùy vào bài toán cụ thể. ANN hoạt động theo hướng mô tả lại cách hoạt động của hệ thần kinh với các neuron được kết nối với nhau
Trong ANN, trừ input layer thì tất cả các node thuộc các layer khác đều full-connected với các node thuộc layer trước nó. Mỗi node thuộc hidden layer nhận vào ma trận đầu vào từ layer trước và kết hợp với trọng số để ra được kết quả. Ở trong course của Andrew Ng trên coursera, thầy sử dụng Logistic Regression ở các node.

Sơ qua về Logistic Regression:

Logistic Regression có activation function là hàm sigmoid :

Hàm hypothesys :

Đồ thị có dạng :

Cost function:

Với :

Vậy ta có cost function :

Kết hợp với Regurlarization:

Vậy với ANN với mỗi node thuộc layer khác input layer đều là một Logistic Regression ta sẽ có :

Công việc của chúng ta hiện tại là tìm ra được $\Theta$ sao cho $J(\Theta )$ min.
Để tìm cực tiểu của $J(\Theta )$ ta áp dụng thuật toán Gradient Descent.

Với α là learning rate.
Để thực hiện được thì cần phải tính được $\frac{\partial }{\partial {\Theta }_j}J(\Theta )$, để tính được đạo hàm này là việc tương đối khó và ta cần thực hiện một thuật toán được gọi là backpropagation để tính.

Ta có mạng neural như sau :

Chú thích :
$x_1,x_2$ là các features của input.
$y_1,y_2$ là các output.
$b_1,b_2$ là các bias.
$w_1,w_2,\dots ,w_8$ là các trọng số.
Như cái tên của forward propagation , ta sẽ tiến hành tính toán $a_1,a_2,y_1,y_2$ từ trái qua phải.

$z_1=x_1{w}_1+x_2{w}_3+b_1$
$a_1=sigmoid(z_1)=\frac{1}{1+e^{x_1{w}_1+x_2{w}_3+b_1}}$

Tương tự :

$z_2=x_1{w}_2+x_2{w}_4+b_2$
$a_2=\frac{1}{1+e^{x_1{w}_2+x_2{w}_4+b_2}}$
$z_3=a_1{w}_5+a_2{w}_7+b_2$
$y_1=\frac{1}{1+e^{a_1{w}_5+a_2{w}_7+b_2}}$
$z_4=a_1{w}_6+a_2{w}_8+b_2$
$y_2=\frac{1}{1+e^{a_1{w}_6+a_2{w}_8+b_2}}$

Forward propagation là một công đoạn tính toán giá trị tại từng node để phục vụ việc tính toán trong Back propagation.

Như đã nói ở trên, mục tiêu của back propagation là đi tính $\frac{\partial }{\partial {\Theta }_j}J(\Theta )$.
Giả sử ta đang cần tính $\frac{\partial }{\partial {\Theta }_5}J(\Theta )$.
Áp dụng chain rule ta tách $\frac{\partial }{\partial {\Theta }_5}J(\Theta )$thành :
∂∂w5J(w)=∂J(w)∂y1∗∂y1∂z3∗∂z3∂w5frac{∂}{∂w_{5}} J(w)= frac{∂J(w)}{∂y_1}* frac{∂y_1}{∂z_3}* frac{∂z_3}{&p