ML Note

이 글에서는 2020 Neurips에 게재된 "wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations" (Alexei Baevski, et al)논문에 대해 리뷰한다. 제목 그대로 wav 음원을 vector (speech representation)으로 매핑하는 모델을 제안하였다. 이 논문을 TTS, STT에 넣은 이유는 wav2vec의 output에 간단한 predictor만 붙여주면 speech-to-text 모델로 사용할 수 있기 때문이다. ※ STT: Speech-To-Text, 음성을 텍스트로 변환해 주는 작업이다. Abstract이 연구에서는 처음으로 script없이 오디오로만 표현을 학습하고, script..

이 글에서는 2022 CVPR에 게재된 "Align Representations with Base: A New Approach to Self-Supervised Learning" (Shaofeng Zhang et al) 논문을 정리한다. 논문 제목을 읽어보면 'A New Approach to Self-Supervised Learning'이라고 해서 새로운 SSL 방법론에 대한 논문이라고 생각할 수 있지만, 정확히는 Positive pairs만을 이용하여 학습하는 contrastive learning(대조 학습) 기법의 새로운 접근법이라고 이해하면 될 것 같다. Contrastive Learning?contrastive learning에 대해서 간단하게 소개하면, 하나의 이미지에서 각각 다른 augment..