しゃけのブログ

某大学院で研究している人の備忘録

【論文雑読み】 Contrastive Syn-to-Real Generalization -

openreview.net

Contrastive Syn-to-Real Generalization ICLR 2021採択論文

f:id:shuckle-rbtech:20210409143037p:plain
By Wuyang Chen et al.

  • Syntheticなデータで学習したモデルはRealなデータに対して汎化しないことが多い 図では,syntheticなデータで学習した場合に特徴マップに偏りが生じることを示している
  • 本論文では学習された特徴マップのdiversityが汎化性能に重要であることを見つけた
  • 特徴マップがdiversityを持つという帰納バイアスを導入して,syntheticデータへのover-fittingを回避するフレームワークを提案
  • attention poolと呼ばれる手法も提案.これによってさらなる汎化性能の改善