1. 논문 제목
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
링크(URL): https://arxiv.org/pdf/2401.02954

2. Overview

a. 프로젝트 개요
* 사전 학습 데이터 규모 및 구성
* 아키텍처 기본 설계 방향
* 미세 조정(Fine-tuning) 전략
* 정렬(Alignment) 기법

b. 데이터 전처리 (Pretraining Data)
* 중복 제거 (Deduplication)
* 필터링 (Filtering)
* 재혼합 (Remixing)

c. 토크나이저 (Tokenizer)
* BBPE 알고리즘 및 라이브러리
* 프리-토크나이제이션 (Pre-tokenization)
* 숫자 처리 방식
* 어휘(Vocabulary) 크기 및 구성

d. 모델 아키텍처 (Architecture)
* Pre-Norm 및 RMSNorm
* SwiGLU 활성화 함수
* Rotary Embedding (RoPE) 위치 인코딩
* Grouped-Query Attention (GQA)
* 모델 계층(Layer) 및 파라미터 설계

e. 학습 설정 및 하이퍼파라미터
* 초기화 및 옵티마이저 (AdamW)
* 다단계 학습률 스케줄러 (Multi-step LR Scheduler)
* 단계별 학습 비율 및 배치 크기
* 지속적 훈련(Continual Training) 효율성

f. 인프라스트럭처 및 훈련 프레임워크
* HAI-LLM 프레임워크 및 3D 병렬화
* 연산 최적화 (Flash Attention, ZeRO-1)
* 훈련 안정성 및 체크포인트 관리
* 정밀도(Precision) 및 메모리 최적화 전략

g. 스케일링 법칙 (Scaling Laws)
* 스케일링 법칙의 정의 및 수식화
* 하이퍼파라미터 스케일링 (학습률, 배치 크기)
* 모델 및 데이터 스케일링 (Non-embedding FLOPs 중심)
* 데이터 품질에 따른 자원 할당 전략