Paper Review. RDrop-Regularized Dropout for Neural Networks@NeurIPS’ 2021

• Paper link

Introduction

Model

Experiments

Conclusions & Reviews

• 모델의 일반화 능력 향상을 위해 Dropout 기법을 확장한 R-Drop 방법을 제안함.

• 제안한 방법은 Over-fitting을 막아주면서, 일반화를 달성함.

• 생각보다 간단한 논문이지만, Training과 Inference 단계에서의 Dropout의 문제점을 잘 해결한 것 같음.

• Dropout 비율을 0.5나 했음에도 불구하고, baseline과 비교할만한 성능이 나오는 것을 통해, 일반화 능력을 달성하지 않았나라는 생각이 듦.

Reference