Transformers documentation
파인튜닝
파인튜닝
Fine-tuning은 특정 작업이나 도메인에 특화된 더 작은 데이터셋을 사용하여 대규모 사전 학습된 모델의 학습을 계속하는 과정입니다. 예를 들어, 코딩 예제 데이터셋으로 fine-tuning을 수행하면 모델의 코딩 능력이 향상됩니다. Fine-tuning은 사전 학습과 동일한 방식이지만, 무작위 가중치로 시작하지 않는다는 점이 다릅니다. 또한, 훨씬 적은 컴퓨트, 데이터, 시간이 필요합니다.
아래 튜토리얼에서는 Trainer를 사용하여 대규모 언어 모델을 파인튜닝하는 과정을 안내합니다.
사용자가 자신의 작업을 위한 fine-tuning 실행을 계획하도록 돕습니다. 구성을 제안하기 전에 작업, 사전 학습 모델 및 revision, 데이터셋 필드, 평가 데이터, Transformers 버전, 하드웨어, 사용 가능한 메모리를 확인합니다. 이 튜토리얼을 사용하여 해당 사례에 적용되는 데이터 준비, 모델 로딩, Trainer 설정을 확인합니다. 예제 데이터셋이나 모델이 다른 작업에 적합하다고 가정하지 마세요.
- 모델, 전처리 또는 학습 설정을 변경할 수 있는 누락된 세부 사항을 요청합니다. 모든 가정을 명시합니다.
- 평가 예시를 학습 데이터와 분리하세요. 작업을 위한 모델과 토크나이저를 선택하고, 모델이 기대하는 입력과 라벨을 준비한 후, 해당 입력과 일치하는 데이터 콜레이터를 선택하세요.
TrainingArguments를 사용자의 하드웨어와 목표에 맞게 설정하세요. 사용자가 필요할 때 평가와 체크포인트 저장을 구성하세요. 전체 학습 작업을 실행하기 전에 작은 테스트를 실행하고, 모델이 예상된 입력을 받는지, 손실이 유한한지, 평가가 완료되는지 확인하세요.- 사용자가 요청하지 않는 한 전체 학습 실행을 시작하거나 아티팩트를 업로드하지 마십시오. 제안된 구성, 테스트에서 얻은 증거, 예상되는 리소스 트레이드오프, 그리고 검증할 수 없었던 사항을 보고하십시오.
사용자 토큰으로 Hugging Face 계정에 로그인하여 파인튜닝한 모델을 Hub에 push합니다.
from huggingface_hub import login
login()토큰화
데이터셋을 로드하고 모델이 학습하는 텍스트 열(horoscope)을 토큰화합니다.
토크나이저는 모델 입력인 input_ids와 attention_mask를 생성합니다. 모델의 forward 메서드는 input_ids와 attention_mask만 허용하므로, 토크나이징 후 horoscope와 같은 컬럼을 제거하려면 remove_columns를 설정하세요.
truncation=True를 설정하고max_length를 지정하여 더 긴 시퀀스를 지정된 최대 길이로 잘라냅니다.train_test_split메서드를 사용하여 모델을 평가하기 위한 테스트 분할을 생성합니다.
from datasets import load_dataset
from transformers import AutoTokenizer, DataCollatorForLanguageModeling
model_name = "Qwen/Qwen3-0.6B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
dataset = load_dataset("karthiksagarn/astro_horoscope", split="train")
def tokenize(batch):
return tokenizer(
batch["horoscope"],
truncation=True,
max_length=512,
)
dataset = dataset.map(tokenize, batched=True, remove_columns=dataset.column_names)
dataset = dataset.train_test_split(test_size=0.1)Data collator는 모델이 처리할 수 있도록 데이터셋 샘플을 배치로 조립합니다. DataCollatorForLanguageModeling은 데이터셋의 모든 시퀀스를 동일한 길이로 패딩하는 대신, 동적으로 각 배치를 해당 배치 내 가장 긴 시퀀스 길이에 맞게 패딩합니다. 이를 통해 불필요한 패딩 토큰에 대한 계산을 피하여 계산량과 메모리를 절약합니다.
- 토큰이 무작위로 마스킹되는 것을 방지하려면
mlm=False로 설정하세요.
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=False)모델 로드
파인튜닝을 위해 사전 학습된 체크포인트를 로드합니다(모델 로딩에 대한 자세한 내용은 모델 로드 가이드를 참조하세요).
dtype="auto"를 설정하면 저장된 dtype으로 가중치를 로드합니다. 이 설정이 없으면 PyTorch는 가중치를torch.float32로 로드하며, 원래 가중치가torch.bfloat16인 경우 메모리 사용량이 두 배로 증가합니다.
from transformers import AutoModelForCausalLM, TrainingArguments, Trainer
model_name = "Qwen/Qwen3-0.6B"
model = AutoModelForCausalLM.from_pretrained(model_name, dtype="auto")학습 구성
TrainingArguments는 학습 실행을 커스터마이징하는 모든 옵션을 제공합니다. 여기서는 가장 일반적인 인자만 다루며, 나머지는 합리적인 기본값을 가지거나 분산 학습과 같은 특정 시나리오에서만 관련이 있습니다. 전체 인자 목록은 TrainingArguments API 문서를 참고하세요.
num_train_epochs와per_device_train_batch_size는 학습 기간과 배치 크기를 제어합니다.learning_rate는 옵티마이저의 초기 학습률을 설정합니다.
- 하드웨어가 지원(Ampere 이상 GPU)하는 경우 빠른 혼합 정밀도 훈련을 위해
bf16=True를 설정하세요. 그렇지 않으면 구형 하드웨어에서는fp16=True로 대체하세요. gradient_accumulation_steps는 가중치를 업데이트하기 전에 여러 번의 forward pass에 걸쳐 그래디언트를 누적하여 더 큰 유효 배치 크기를 시뮬레이션합니다.gradient_checkpointing은 저장 대신 역전파 과정에서 중간 활성을 다시 계산하여 메모리를 계산으로 교환합니다. 메모리와 속도 사이의 절충점에 대해서는 부분 체크포인트링을 참고하세요.gradient_checkpointing=True인 경우, 긴 시퀀스에서 GPU 메모리 사용량을 줄이고 저장된 activations를 pinned host memory에 유지하려면gradient_checkpointing_kwargs={"offload": True}를 설정하세요. 트레이드오프에 대해서는 저장된 activations 오프로딩을 참조하세요.train_sampling_strategy="group_by_length"을 설정하면 길이가 유사한 예시를 배치에 묶어 패딩을 줄일 수 있습니다. 프로세서 기반 멀티모달 데이터셋과 사전 계산된 길이에 대해서는 길이에 따라 샘플 그룹화를 참고하세요.
eval_strategy와save_strategy는 학습 중 모델을 평가하는 시점과 체크포인트를 저장하는 시점을 결정합니다.load_best_model_at_end은 학습이 완료되면 최적의 체크포인트를 로드합니다.eval_strategy가 설정되어 있어야 합니다.
logging_steps는 학습 중 손실을 업데이트하고 반환하는 빈도를 제어합니다.
training_args = TrainingArguments(
output_dir="qwen3-finetuned",
num_train_epochs=3,
per_device_train_batch_size=2,
gradient_accumulation_steps=8,
gradient_checkpointing=True,
gradient_checkpointing_kwargs={"every_n_layers": 4},
bf16=True,
learning_rate=2e-5,
logging_steps=10,
eval_strategy="epoch",
save_strategy="epoch",
load_best_model_at_end=True,
)학습
필요한 구성 요소를 모두 갖춘 Trainer 인스턴스를 생성한 후, train()을 호출하여 시작합니다.
trainer = Trainer(
model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["test"],
processing_class=tokenizer,
data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=False),
)
trainer.train()
trainer.push_to_hub()push_to_hub()은 파인튜닝된 가중치, 생성 설정, 토크나이저, 모델 설정을 Hub에 업로드합니다.
다음 단계
- 커스텀 손실 함수, 메모리 효율적 평가, 체크포인트링 등 일반적인 Trainer 기능의 최소 작동 예제를 보려면 Trainer 기능 가이드를 읽어보세요.
- 새로운 기능과 사용자 정의 기능을 지원하기 위해 Trainer 메서드를 서브클래스로 만드는 방법을 배우려면 Subclassing Trainer methods 가이드를 읽어보세요.
- Callbacks 가이드를 읽어 보고, 로깅, 조기 종료 및 기타 사용자 정의 동작을 위해 학습 이벤트에 어떻게 연결하는지 알아보세요.
- 샘플이 배치로 조립되는 방식을 사용자 지정하는 방법을 배우려면 Data collators 가이드를 읽어보세요.
- Hugging Face Jobs를 통해 임대 GPU에서 학습 스크립트를 실행합니다.
- 노트북 또는 Resources > Task Recipes 섹션을 참고하여 텍스트, 오디오, 비전, 멀티모달 작업에 대한 추가 학습 예시를 확인하세요.