RCNN:RCNN可以看作是RegionProposal+CNN這一框架的開(kāi)山之作,在imgenet/voc/mscoco上基本上所有top的方法都是這個(gè)框架,可見(jiàn)其影響之大。RCNN的主要缺點(diǎn)是重復計算,后來(lái)MSRA的kaiming組的SPPNET做了相應的加速。
Fast-RCNN:RCNN的加速版本,在我看來(lái),這不僅僅是一個(gè)加速版本,其優(yōu)點(diǎn)還包括:
(a) 首先,它提供了在caffe的框架下,如何定義自己的層/參數/結構的范例,這個(gè)范例的一個(gè)重要的應用是python layer的應用,我在這里支持多label的caffe,有比較好的實(shí)現嗎? - 孔濤的回答也提到了。
(2) training and testing end-to-end 這一點(diǎn)很重要,為了達到這一點(diǎn)其定義了ROIPooling層,因為有了這個(gè),使得訓練效果提升不少。
先驗證1次方……
再假設k次方……
最后k+1時(shí)改成k次方乘以(a+b)帶入上一步假設的利用多項式乘法解決問(wèn)題。
例:證明:當n=1時(shí),左邊=(a+b)1=a+b
右邊=C01a+C11b=a+b
左邊=右邊
假設當n=k時(shí),等式成立,
即(a+b)n=C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn成立;
則當n=k+1時(shí), (a+b)(n+1)=(a+b)n*(a+b)=[C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn]*(a+b)
=[C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn]*a+[C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn]=[C0na(n+1)+C1n anb十…十Crn a(n-r+1)br十…十Cnn abn]+[C0nanb+C1n a(n-1)b2十…十Crn a(n-r)b(r+1)十…十Cnn b(n+1)]
=C0na(n+1)+(C0n+C1n)anb十…十(C(r-1)n+Crn) a(n-r+1)br十…十(C(n-1)n+Cnn)abn+Cnn b(n+1)]
=C0(n+1)a(n+1)+C1(n+1)anb+C2(n+1)a(n-1)b2+…+Cr(n+1) a(n-r+1)br+…+C(n+1)(n+1) b(n+1)
∴當n=k+1時(shí),等式也成立;
所以對于任意正整數,等式都成立
RCNN:RCNN可以看作是RegionProposal+CNN這一框架的開(kāi)山之作,在imgenet/voc/mscoco上基本上所有top的方法都是這個(gè)框架,可見(jiàn)其影響之大。
RCNN的主要缺點(diǎn)是重復計算,后來(lái)MSRA的kaiming組的SPPNET做了相應的加速。 Fast-RCNN:RCNN的加速版本,在我看來(lái),這不僅僅是一個(gè)加速版本,其優(yōu)點(diǎn)還包括: (a) 首先,它提供了在caffe的框架下,如何定義自己的層/參數/結構的范例,這個(gè)范例的一個(gè)重要的應用是python layer的應用,我在這里支持多label的caffe,有比較好的實(shí)現嗎? - 孔濤的回答也提到了。
(2) training and testing end-to-end 這一點(diǎn)很重要,為了達到這一點(diǎn)其定義了ROIPooling層,因為有了這個(gè),使得訓練效果提升不少。
用一個(gè)卷積核滑動(dòng)圖片來(lái)提取某種特征(比如某個(gè)方向的邊),然后激活函數用ReLU來(lái)壓制梯度彌散。對得到的結果用另一個(gè)卷積核繼續提取+reLU,然后池化(保留區域最大或者用區域平均來(lái)替換整個(gè)局部區域的值,保證平移不變性和一定程度上對過(guò)擬合的壓制)
之后“深度”的話(huà),就會(huì )需要對池化后的結果繼續用不同的卷積核進(jìn)行 “卷積+relu”再池化的工作。最后得到的實(shí)質(zhì)是一個(gè)圖片的深度特征,然后實(shí)際分類(lèi)需要另外加一層,一般是softmax。
(也就是說(shuō)如果對一個(gè)現成的已經(jīng)訓練完畢的卷積神經(jīng)網(wǎng)絡(luò )模型,只保留除了最后一層之外的部分,然后輸入訓練圖片,把網(wǎng)絡(luò )的輸出重新送入一個(gè)多類(lèi)的SVM再訓練,最后也能得到差不多的結果,取決于svm的參數。)
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權,根據《信息網(wǎng)絡(luò )傳播權保護條例》,如果我們轉載的作品侵犯了您的權利,請在一個(gè)月內通知我們,我們會(huì )及時(shí)刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習?shū)B(niǎo). 頁(yè)面生成時(shí)間:3.140秒