[Deep Learning] 如何解決梯度消失 ( Gradient Vanishing) ?

-
Why :

  • 激勵函數使用 sigmoid function, 因Chain Rule法則, 會使得激勵函數之導數無限相乘會越來越小, 無法更新到接近input layer的weight, 稱為梯度消失。

How :
  1. Activation function改用Relu
  2. 改用ResNet和Batch normalization
  3. 網路不要太深

留言

張貼留言

這個網誌中的熱門文章

[Docker Swarm] Docker Swarm 指令

-
圖片
docker service create --name="名稱" nginx docker service ps "集群名稱" docker service ls docker service rm xxxxx # 刪除正在執行中的映像檔 docker node rm -f "node name" #移除node  docker node demote "node name"#降級node docker node promote "node name"#升級node docker node update --availability drain "node name" #維護node docker node update --availability active "node name" #回復node
閱讀完整內容

[Ubuntu, Docker, Docker Swarm] Docker Swarm 建置 Jupyter Notebook 流程

-
首先更新apt到最新並下載ipython3以及相關套件 sudo apt update sudo apt install python3-pip  sudo apt install notebook 接著進入ipython去產生SHA密碼 ipython import IPython IPython.lib.passrd() 輸入密碼會產生sha密碼 接著產生swarm cluster sudo docker service create --name 'cluster名稱' -d -p 8888:8888 -e GRANT_SUDO=yes jupyter/base-notebook start-notebook.sh --NotebookApp.password='SHA密碼' sudo docker service scale 'cluster名稱'=1 sudo docker exec --user root -it 'cluster名稱' bash NFS 共享Storage設置 sudo apt install nfs-kernel-server (manager node) sudo apt install nfs-common (worker node) sudo vim /etc/exports sudo mkdir -p /mount/nfs_volume /mount/nfs_volume 192.168.80.0/24(rw,sync,no_root_sqush) sudo nfs-kernel-servel restart mount -t nfs 192.168.80.129:/mount/nfs_volume /mount/nfs_volume 最後暫定指令，指令必須連結至jupyter的預設目錄 sudo docker service create --name jup-base --mount 'type=volume,src=nfs_volume,dst=/home/jovyan/work,volume-driver=local,volume-nocopy=true,volume-op...
閱讀完整內容

[Daily] 近期辭職工作以及找新工作的心得...

-
紀錄一下最近的生活... - 2018/08 碩士畢業 2018/08 兵役開始 2018/12 兵役結束 2019/01 前東家上工 2019/05 出國遊玩 2019/09 前東家離職 2019/10 新公司上工 - 去年2018年順利在八月碩士畢業，也在碩士前被某間小公司相中，得到Offer，但在此前需要服完中華民國應盡的兵役義務，八月底進去十二月多出來，一月馬上直接進入公司擔任AI工程師職務並上工。 其實我也是懶惰，沒打算去找更多公司去比較，太年輕沒想太多，在高雄薪水不錯，離家也近，感覺也沒什麼好挑剔的，進來以後才發現有很多事物，是比薪水還重要的，讓我簡短說明一下。 - 第一天上工就要求我去尋找有沒有什麼Idea可以開發，因為他們也不知道要我做什麼，畢竟我是第一個被找進去做AI相關的工程師，想的Idea又不能跟太遜，必須要跟別人不一樣且可以有收益的，對我來說是相當的困難，如果我想得到的話，當初碩士論文題目以及大學專題題目，我早就想出一堆驚人的題材了，因此我腦中有個想法，我是不是走錯地方了? 沒有團隊只有我一人，沒有已開發的產品，沒有前人的Code或是想法，一切都要我一個人自己來，我能拿到的資源就是一台筆電，其他的AI主機或是攝影機也拿不太到，基本上一切都要靠自己，還要依靠自己的人脈，這一切都讓我越來越害怕，但自己覺得是不是要做久一點才好，不要太早走，不然履歷不好看，也有一點點自己想要拚出一片天，直到... 公司出現一些問題，讓我發現即使我做出成績，年底的年終或加薪也不太可能發生，說我能力不足也是有可能，但一個人盲目地做這些東西，成長真的有限，因此產生了想走的念頭。 有一天以前的學長問我要不要去他們公司面試，我就開始猶豫了，是不是時間到了，一切就這麼剛好都在八九月，外界詢問我，公司也有些問題，我自己也累了，於是我開始面試了新公司。 - 我面試了兩間公司，一間在高雄楠梓加工區，另一間在南科，我在面試的時候都特別詢問，你們團隊有幾人，會分工嗎，我一進去就可以有工作做嗎，我在意的反而是工作內容和工作環境，跟我剛出社會想要的完全不同，最後兩間公司的內容與環境差不多，轉而薪水評估，設原公司薪水為N，高雄少個2-3K我就留在高雄，結果高雄那間公司-5K，台南公司+3K...
閱讀完整內容