BYOL

Bootstrap your own latent: A new approach to self-supervised Learning

위 논문을 살펴본다.

summary

label 없이 학습하는 방법으로, feature engineering을 더욱 자동화하는데 쓰이는 연구이다. 이 분야에는 원하는 data를 augmentation시키고 서로 같다고 판단하도록 신경망을 학습시키는 contrastive learning 방식이 있는데, 신경망의 degeneration을 방지하기 위해 negative sample을 사용한다. Negative sample 없이는, A같이 생긴 물체를 찾는게 목표인데 (여러 고양이 사진으로 학습 가능, 고양이라는 레이블을 주지 않음) 훈련 단계에서 신경망이 모든 이미지에 대해 고양이라고 말해버려도 문제가 해결된것처럼 보인다. 이를 방지하기 위해 고양이가 아닌 사진 (negative sample)을 넣어서 ‘이건 아닌거다’라고 알려주는 방식이다.
하지만 이 방식은 원본 데이터들에 더해 negative sample도 필요하다는 번거로움이 있다. 이 단점을 해결하고자 순전히 data augmentation (색 반전, 회전, 일부 자르기 등) 과 delayed update된 신경망 만을 활용한 학습법을 제안한다.

online network와 target network 두 신경망을 이용해 학습시키며, target net은 backprop 시키지 않고 online net의 parameter를 update한다. 타 블로그에서 본 좋은 글귀가 있다. 과거의 내가 오늘의 스승이 된다. 마치 이와 같은 학습법이다.

discussion