CNN_2_AlexNet
AlexNet - 2012 論文 《 ImageNet Classification with Deep Convolutional Neural Networks 》 2012 年的 ImageNet LSVRC 比賽上 AlexNet 拿了冠軍，且準確率遠優於第二名。 Model Architecture 圖片來源： https://zhuanlan.zhihu.com/p/77480151 一、 AlexNet 的特點 1 、使用 Relu 當激活 / 啟動 (Activation Function) 函數 ， 在 AlexNet 前常用的激活函數是 Sigmoid (0,1) 、 tanh (-1,1) 。但這兩個啟動函數在接近 (0,1),(-1,1) 時微分幾乎為 0 ，會導致梯度下降很緩慢而使訓練卡住。 圖片來源： Activation Functions in Neural Networks 相較於 Sigmoid 和 tanh ， Relu 的優點為收斂快速，其微分計算簡單在 Back propagation 時可省去複雜的運算。 2 、 Dropout ， AlexNet 使用 Dropout 來降低 Overfitting ，在 fc6 與 fc7 使用 Dropout ，參數為 0.5 ，代表 Neuron 有 50% 的機率不作用。 3 、 Data Augmentation ，使用兩種方式： ImageNet 中圖片解析度不固定，作者在保持原比例下將短邊 resize 到 256 ，並取圖片正中部分的 256* 256 ，再由此 256* 256 進行隨機裁切取 224 * 224 ，總共會有 32*32 種 patch ，加上水平翻轉將資料擴增 32*32*2 =2048 個 patch 。 图片像素值的 PCA ：參考 https://zhuanlan.zhihu.com/p/77480151 ，引用其說明 ” 一張圖片有 3 個通道， RGB 。 3 個通道間的 3x3 協方差矩陣，求出其特徵值 λi 和特徵向量 Pi ， λi 再乘以一個服從高斯分佈 N(0;0.1) 的亂數 αi 的到 λi * αi （ i
