Links

S覺k Kullan覺lan CNN Modelleri

ResNet (Resudial Network)

  • Aktivasyon sonucu dier katmana aktar覺r ve ekler. (+)
  • $a^{[l+2]} = g(Z^{[l+2]} + a^{[l]})$
  • Bu yap覺 sayesinde 癟ok katmanl覺 veriler oluturulabiliyor
  • Balarda verilerin etkisinin 癟ok azalmas覺 engellenir ("vanishing / exploding gradient")
</details>

Neden ResNet

  • Derinlere indik癟e sinir a覺 a覺n覺r
  • renme ve gelime s羹recinde kay覺plara urar
  • D羹z yap覺da (plain net):
    • $a_l$ deerlerinin parametreleri (w, b) 0'a yakla覺r
    • $a^{[l+1]} = g(W^{[l]} \times a^{[l]} + b_l)$ form羹l羹 $W=0$ i癟in $0$ olur, yani 繹l羹r
    • Gradyanlar 癟al覺maz hale gelir (no gradient descent)
  • ResNet yap覺s覺nda:
    • $a^{[l+2]} = g(Z^{[l+2]} + a_l)$ ve $Z^{[l+2]} = g(W^{[l+2]} \times a^{[l+1]} + b^{[l+2]})$
    • $W=0$ i癟in $a_l$ deeri aktar覺l覺r (eski aktivasyon sonucu kullan覺l覺r)
    • Sinir a覺n覺 etkilemesine izin verilmez

Eitim Grafii (Loss)

ResNet vs PlainNet

ResNet i癟in nemli Husular

$(Conv \times 3 \rArr Pool) \rArr ... \rArr (Conv \times 3 \rArr Pool) \rArr Softmax$
  • CNN i癟in "some" padding yap覺s覺 tercih edilir
    • Boyutun deimesini engellemek i癟in se癟ilir
    • $dim(a^{[l]}) = dim(a^{[l+2]})$ olmak zorundad覺r ki matrix atamas覺 ger癟ekleebilsin
      • $dim(..)$ Boyut'u anlam覺na gelmektedir
  • Some padding yerine "vali" kullan覺l覺rsa
    • Boyutlar eit olmayaca覺ndan ekstra bir hyperparam ($W_s$) ile 癟arp覺larak, boyutlar eitlenir
    • $a^{[l+2]} = W_s \times a^{[ l]}$
      • $dim(Ws) = (a^{[l+2]}, a{a})$

1 x 1 Convolutional Nedir ve Neden Yap覺l覺r

Network in network olarak da bilinir.
  • Temel amac覺 boyutu s覺k覺t覺rmak ve k羹癟羹ltmekdir.
    • $n_c$ deerini k羹癟羹ltmek i癟in kullan覺l覺r
    • $n_c \rArr n_f$ , $n_f$ = Filtre say覺s覺
  • S覺k覺t覺r覺lm覺 verinin olduu katmana bottleneck layer denir
    • ienin dar k覺sm覺na verilen isim, bu katman CNN'in ufak k覺sm覺n覺 ele al覺r
  • Baz覺 alarda hesaplamadan tasarruf edilir
  • 1 x 1 filtreye sokulup ard覺ndan ReLU'ya sokulma ilemidir
    • Ayn覺 derinlik hizas覺nda olanlar toplan覺r ve 繹yle aktar覺l覺r
  • Eer filtre ile kanal ayn覺 ise katamana non-linerity (dorusals覺zl覺k) 繹zellii eklenir

Inception Network

  • 1x1 Convolution'dan oluan bir s羹r羹 Inception Module'den oluur