디코더 모델

디코더 모델(Decoder models)은 트랜스포머 모델의 디코더만 사용합니다. 각각의 단계마다, 어텐션 레이어는 주어진 단어에 대해 문장 내에서 해당 단어 앞에 위치한 단어들에 대해서만 액세스 할 수 있습니다. 이러한 모델을 자동 회귀(auto-regressive) 모델이라고 부릅니다.

디코더 모델의 사전 학습은 보통 문장 내 다음 단어 예측을 반복하는 방식으로 이루어집니다.

이러한 모델은 텍스트 생성에 특화되어 있습니다.

디코더 모델 계열의 대표 주자들은 다음과 같습니다:

• CTRL
• GPT
• GPT-2
• Transformer XL

Update on GitHub