Vanishing & Exploding Gradients Problems in Deep Neural Networks (Part 2)

Part 1: https://viblo.asia/p/eW65G2gRlDO

Trong phần trước của bài viết chúng ta đã tìm hiểu về hiện tượng Vanishing / Exploding gradients trong quá trình training DNN. Trong phần hai này chúng ta sẽ cùng tìm hiểu một số phương pháp giúp loại bỏ vấn đề trên bao gồm: Xavier and He Initialization Techniques, Nonsaturating Activation Functions, Batch Normalization và Gradient Clipping.

Let's get started!