IT 정리용 블로그!

Introduction Self attention 기반의 구조들, 대표적으로 transformer은 NLP에서 좋은 성능을 보인다. Transformer는 연산 효율성이 좋아 매우 큰 크기의 모델들을 학습시킬 수 있었다. 하지만 컴퓨터 비젼 분야에서는, convolutional 구조들이 아직 우세하다. NLP 분야에서의 성적을 보고, CNN 구조를 self attention과 결합하거나 CNN을 완전히 대체하려는 연구들이 진행되고 있다. 본 논문에서는 전형적인 transformer 모델에 거의 수정을 하지 않고 이미지를 직접 적용하는 방법을 실험한다. 이를 위해 이미지를 패치로 나누어 이 패치들의 linear embedding의 sequence를 transformer의 입력으로 사용한다. 이미지 패치들은..

Introduction 기존의 computer vision model들은 주로 고정된 수의 label에 task specific하게 훈련됐다. 하지만 transformer을 사용한 image-text model을 사용하고 각 modality를 enocde하면, 추가 훈련 없이 수많은 downstream task를 수행할 수 있다. 첫 방법은 텍스트를 transformer로, image를 resnet이나 transformer로 encode한다. 둘째 방법은 quantize된 image representation을 text token에 concate하고 transformer model을 사용한다. 이 외에도 텍스트와 이미지를 combine하는 다른 방법들이 있겠지만, 두 input과 prediction을 m..