Neural Network Fundamental 3: Forward Propagation In A Deep Network, Loss Function

Phần trước tôi đã trình bày biểu diễn của mạng neural với 2 lớp, ở phần này tôi sẽ trình bày tiếp mạng neural với nhiều lớp Trên là ví dụ cho mạng neural có 4 lớp (ta không đếm lớp input) . Tổng quát hóa cho mạng có L lớp ta có các ký hiệu sau

• L: số lớp, ở ví dụ trên L = 4
• $n^{[l]}$: số node ở lớp l trong đó ta đánh số từ lớp input có l = 0. Ví dụ trên thì $n^{[1]}=5$, $n^{[2]}=5$, $n^{[L]}=$ số node ở lớp output $=1$
• $a^{[l]}$: activation vector ở lớp thứ n $a^{[l]}=g(z^{[l]})$, $a^{[0]}=x$ (vector input), $a^{[L]}=\hat{y}$
• $w^{[l]}$: weight matrix để chuyển từ $z^{[l-1]}$ tới $z^{[l]}$
• $b^{[l]}$ bias vector để chuyển từ $z^{[l-1]}$ tới $z^{[l]}$

Các bài trước đã trình bày binary classification phân loại có hay không, phần này sẽ trình bày multi-class classification, một loại phân loại phổ quát hơn. Multi-class classification là từ input ta phân loại ra n class khác nhau. Ví dụ input là một matrix chứa các pixel của một bức ảnh, ta phân loại bức ảnh đó theo 1 loại trong số: ảnh chó, ảnh người, ảnh mèo, ảnh ô tô, ảnh xe đạp. Muốn vậy ở lớp output ta sẽ có n node mà mỗi node biểu hiện xác suất của loại c nếu ta biết được input x: $p(y=c|x)$ Khi ấy hàm softmax rất thích hợp để sử dụng như là activation function ở output layer

$o(a)=softmax(a)={\left[\begin{array}{ccc}\frac{exp(a_1)}{{\sum }_{i}exp(a_i)}& ...& \frac{exp(a_C)}{{\sum }_{i}exp(a_i)}\end{array}\right]}^{⊺}$

Trông có vẻ phức tạp nhưng ta hãy phân tích một chút

• Input là 1 vector, output cũng là 1 vector
• Phần tử thứ nhất: tử số là $e$ mũ số thứ nhất của vector cũ, mẫu số là tổng của $e$ mũ của tất cả các phần tử của vector cũ. Các phần tử tiếp theo cũng tương tự

Hàm softmax thích hợp để biểu diễn xác suất của mỗi class vì

• Các phần tử đều $>0$ và $\le 1$
• Tổng của tất cả phẩn tử $=1$

Ví dụ ở bài toán phân loại ảnh chó, ảnh người, ảnh mèo, ảnh ô tô, ảnh xe đạp ở trên, sau khi áp dụng softmax ở output layer ta có vector ${\left[\begin{array}{ccccc}0.8& 0.05& 0.05& 0.05& 0.05\end{array}\right]}^{⊺}$ Ta biết xác suất là ảnh chó là 0.8, là ảnh người là 0.05... Do đó ta có thể kết luận là ảnh chó vì có xác xuất lớn hơn các loại còn lại.

Thực hiện việc tính toán với từng hidden layer $\to$ output layer tương tự như với mạng neural có 2 lớp.

• Với hidden layer thứ nhất: $z^{[1]}=W^{[1]}{a}^{[0]}+b^{[1]}(a^{[0]}=x)$
  $a^{[1]}=g(z^{[1]})$

• Hidden layer thứ hai: $z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}$
  $a^{[2]}=g(z^{[2]})$

• Tổng quát hóa cho layer n: $z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]}$
  $a^{[l]}=g(z^{[l]})$

• Thực hiện vector hóa cho tất cả các training example for l = 1..L $Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$
  $A^{[l]}=g(Z^{[l]})$

  Trong đó $A^{[0]}=X$ là matrix các training example xếp thành cột như đã nói ở phần trước $Z^{[l]}$ là matrix có được khi xếp các vector z của layer 1 của mỗi training example vào mỗi cột $Z^{[l]}=\left[\begin{array}{c}\genfrac{}{}{0ex}{}{\genfrac{}{}{0ex}{}{|}{z^{[l](1)}}}{|}\genfrac{}{}{0ex}{}{\genfrac{}{}{0ex}{}{|}{z^{[l](2)}}}{|}\cdots \genfrac{}{}{0ex}{}{\genfrac{}{}{0ex}{}{|}{z^{[l](m)}}}{|}\end{array}\right]$ VD: $z^{}$