Neural Network Fundamental 4: Gradient descent, back propagation

Giả sử ta muốn minimize $J(w_1,w_2,...)$. Nếu đây là 1 hàm sỗ phức tạp thì việc tìm 1 công thức tính $w_1,w_2,...$ cho J min là không dễ dàng. Gradient descent là thuật toán bắt đầu từ 1 giá trị nào đó của $w_1,w_2,...$ rồi đi từ từ từng bước một, mỗi bước lại update lại các parameter này và cuối cùng sẽ một giá trị mà J min. Câu hỏi đặt ra là với mỗi bước sẽ đi như nào. Để đơn giản, xét ví dụ $J$ là hàm số 1 biến số $J(w)$ Từ giá trị $w$ ban đầu (chấm bên phải ngoài cùng) ở mỗi bước ta update $w$ theo rule sau Repeat { $w:=w-\alpha \frac{d(J(w))}{dw}$ } Trong đó $\alpha$ là learning rate quyết định ta bước mỗi bước ngắn hay dài $\frac{d(J(w))}{dw}$ > 0 tức J tăng lên khi ta tăng w lên 1 khoảng rất nhỏ nên ta trừ $w$ đi 1 số dương là $\alpha \frac{d(J(w))}{dw}$

$\frac{d(J(w))}{dw}$ < 0 tức J tăng lên khi ta giảm w lên 1 khoảng rất nhỏ nên ta trừ $w$ đi 1 số âm là $\alpha \frac{d(J(w))}{dw}$ nghĩa là cộng thêm $\alpha \frac{d(J(w))}{dw}$ Khi w gần tới giá trị J min thì độ dốc của hàm số nhỏ đi do đó các bước ta đi cũng nhỏ đi

Chúng ta hãy nhắc lại một chút ở bài trước, loss function cho tất cả m training example $J(W^{[1]},b^{[1]},...)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^i,y^i)$ Trong đó $L({\hat{y}}^i,y^i)$ là loss function tính cho training example i Mục tiêu của chúng ta là tìm giá trị của $W^{[1]},b^{[1]},...$ sao cho J nhỏ nhất. Thực hiện gradient descent mỗi bước ta tính partial derivative (đạo hàm riêng) của từng layer: $W^{[l]}$, $b^{[l]}$ Repeat { $d{W}^{[1]}=\frac{dJ}{d{W}^{[1]}}$, $d{b}^{[1]}=\frac{dJ}{d{b}^{[1]}}$, ... $W^{[1]}=W^{[1]}-\alpha d{W}^{[1]}$ $b^{[1]}=b^{[1]}-\alpha d{b}^{[1]}$ ... } $d{W}^{[1]}$ là ma trận có cùng chiều với $W^{[1]}$ chứa đạo hàm riêng của từng phần tử trong $W$ với $J$ $d{b}^{[1]}$ là vector có cùng chiều với $b^{[1]}$ chứa đạo hàm riêng của từng phần tử trong $b^{[1]}$ với $J$ Nếu tập hợp tất cả các parameter $W^{[1]},b^{[1]},...$ thành 1 vector D. Kiến thức trong giải tich nhiều biến số cho ta biết là vector gradient của D cho ta hướng mà hàm số tăng nhanh nhất. Nên nếu ta muốn chiều mà hàm số đang giảm, ta update các parameter đó bằng cách trừ đi learning rate $\times$ partial derivative

Ta nhắc lại một chút, forward propagation thực hiện việc tính toán input layer $\to$ hidden layer $\to$ nếu như đã biết trước $W^{[l]},b^{[l]},...$ của mỗi layer for l = 1..L $z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]}$
$a^{[l]}=g(z^{[l]})$ Thuật toán gradient descent cần tính $d{W}^{[l]}$ và $d{b}^{[l]}$ ở mỗi lớp để có thể update $W^{[1]},b^{[1]},...$. Backward propagation theo đúng tên gọi của nó đi từ output layer $\to$ hiddenlayer $\to$ input layer, và dựa vào các giá trị của $z^{[l]}$ và $a^{[l]}$ đã tính toán ở mỗi lớp trong forward propagation mà tính được $d{W}^{[l]}$ và $d{b}^{[1]}$ Dưới đây tôi sẽ trình bày công thức tính, phần chứng minh sẽ để ở bài kế tiếp

Back propagation cho 1 training example

Đạo hàm của $z$ ở lớp cuối cùng $d{z}^{[L]}=\hat{y}-y$ Với mỗi lớp l $d{z}^{[l]}=d{a}^{[l]}\ast g^{[l{]}^{}}$