[Deep Learning] 如何解決梯度消失 ( Gradient Vanishing) ?

-
Why :

  • 激勵函數使用 sigmoid function, 因Chain Rule法則, 會使得激勵函數之導數無限相乘會越來越小, 無法更新到接近input layer的weight, 稱為梯度消失。

How :
  1. Activation function改用Relu
  2. 改用ResNet和Batch normalization
  3. 網路不要太深

留言

張貼留言

這個網誌中的熱門文章

[CentOS, OpenCV] CentOS 7 安裝 OpenCV 3.4.5 (CentOS install OpenCV )

-
先下載OpenCV，版本自選，應該會得到xxx.zip - 安裝相關套件 $yum install cmake $yum install gcc gcc-c++ kernel-devel gcc-essential gcc-gfortran $yum install git ibgnomeui-devel gtk2 gtk2-devel gtk2-devel-docs - 確認自己有沒有pkg-config --version ，我是使用 0.27.1，沒有的話自行裝一下 - 安裝epel擴展及其他相關擴展 $yum -y install epel-release $yum localinstall –nogpgcheck https://download1.rpmfusion.org/free/el/rpmfusion-free-release-7.noarch.rpm $yum localinstall –nogpgcheck https://download1.rpmfusion.org/nonfree/el/rpmfusion-nonfree-release-7.noarch.rpm - 安裝ffmpeg-deve $yum -y install ffmpeg ffmpeg-devel $ffmpeg -version - 安裝opencv其他依賴 $yum install python-devel numpy $yum install libdc1394-devel $yum install libv4l-devel $yum install gstreamer-plugins-base-devel - Cmake編譯 $cd opencv $mkdir build $cd build $cmake -D WITH_TBB=ON -D WITH_EIGEN=ON ..  $cmake -D BUILD_DOCS=ON -D BUILD_TESTS=OFF -D BUILD_PERF_TESTS=OFF -D BUILD_EXAMPLES=OFF ..  $cmake -D WITH_OPENCL=OFF -D WITH_CUDA=OFF -D BUILD_opencv_gpu=OFF -D BUILD_op...
閱讀完整內容

[CGAL, BOOST, C++, Visual Studio] Mutex is not supported when compiling with /clr or clr:pure

-
使用CLR專案去建置GUI並搭配CGAL的套件，出現以下訊息 : [C++] Mutex is not supported when compiling with /clr or clr:pure  目前已知原因如下 : C++ / CLR在編譯時不允許使用<mutex>, <thread>, <future>, <condition_variable>。 CGAL編譯時所包含的Boost裡有<boost/thread/mutex.hpp>, 因此編譯器會有不兼容的問題。 解決方法目前還在想，但有一個方法可能可以試試 : 將thread額外拿出來自己寫, 重新繼承? (網路上查到的, 還未確認)
閱讀完整內容