1. Resource
Title: "Improving Language Understanding by Generative Pre-Training"
Link: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

2. Overview
- GPT-1의 핵심적인 구조와 특징을 종합적으로 다룹니다.
- 텍스트 생성 원리와 사전학습(Pre-train), 미세조정(Fine-tuning) 과정을 설명합니다.
- 사용된 데이터 셋과 활성화 함수로 채택된 GELU,
- 모델의 성능에 영향을 주는 Hyperparameter 설정을 Transformer(원본)과 비교하며, 살펴봅니다.
- Ablation Study 결과를 통해 각 요소가 모델 성능에 미치는 효과를 분석합니다.