Neural Network Fundamental 5: Back Propagation Proof

Bài trước tôi đã trình bày các công thức của back propagation trong bài này tôi sẽ chứng minh các công thức đó

Trước hết ta chứng minh cho trường hợp chỉ 1 training example. Ta sẽ tính đạo hàm riêng đối với $z_c^{[L]}$ (phần từ thứ c của output z, sau khi áp dụng hàm softmax) của hàm loss là $-logf(x{)}_y$ (đọc thêm ở bài 3, phân biệt y viết thường và $\mathbf{y}$ viết đậm: y là số thứ tự của phần tử mà vector $\mathbf{y}$ có giá trị là 1). Trông các bước có vẻ phức tạp nhưng nếu theo dõi từng bước một bạn sẽ thấy cũng khá dễ hiểu và đẹp.

$\frac{\partial -logf(x{)}_y}{\partial z_c^{[L]}}=\frac{\partial -log(softmax(z^{[L]}{)}_y)}{\partial z_c^{[L]}}$

$=\frac{\partial -log(\frac{e^{z_y^{[L]}}}{{\sum }_i{e}^{z_i^{[L]}}})}{\partial z_c^{[L]}}$

$=-\frac{{\sum }_i{e}^{z_i^{[L]}}}{e^{z_y^{[L]}}}\frac{\partial \frac{e^{z_y^{[L]}}}{{\sum }_i{e}^{z_i^{[L]}}}}{\partial z_c^{[L]}}$

Đến đây để tính đạo hàm riêng của $\frac{\partial \frac{e^{z_y^{[L]}}}{{\sum }_i{e}^{z_i^{[L]}}}}{\partial z_c^{[L]}}$ ta áp dụng quy tắc tìm đạo hàm riêng của $\frac{g(x)}{h(x)}$

$\frac{\partial \frac{g(x)}{h(x)}}{\partial x}=\frac{\partial g(x)}{\partial x}\frac{1}{h(x)}-\frac{g(x)}{h^2(x)}\frac{\partial h(x)}{\partial x}$

Nên ta có

$\frac{\partial -logf(x{)}_y}{\partial z_c^{[L]}}=-\frac{{\sum }_i{e}^{z_i^{[L]}}}{e^{z_y^{[L]}}}(\frac{\partial e^{z_y^{[L]}}}{\partial z_c^{[L]}}\frac{1}{{\sum }_i{e}^{z_i^{[L]}}}-\frac{e^{}}{{\sum }_i{e}^{z_i^{[L]}}{\sum }_i{e}^{z_i^{[L]}}}$