이번에는 훈련한 모델을 저장하는 방법과 불러오는 방법에 대해 알아보려고 한다. 1편에서 사용한 코드를 거의 그대로 사용하며, Trainer선언 부분만 바뀌는 정도이며, 전체 코드는 깃허브에 있으니 참고하기 바란다.
요약
모델을 특정경로에 체크포인트 저장하기
모델의 하이퍼파라미터 저장하기
체크포인트로 모델을 불러오기
모델을 특정경로에 체크포인트 저장하기
모델을 저장하는 것은 각 epoch마다 자동으로 저장된다. Jupyter 기준으로 설명하면, Jupyter 파일의 같은 디렉터리 내에 lightning_logs폴더에 각 validation_step마다 저장되는 것을 알 수 있다. 하지만, 나는 여기서 특정 경로에 저장하는 방법에 대해 소개하려고 한다.
# 이전 코드
trainer = pl.Trainer(max_epochs=2)
위의 코드는 1편에서 사용된 코드이다. 여기서 저장할 특정경로를 지정하지 않았기 때문에 실행파일과 동일한 디렉토리에 모델이 저장된다.
trainer = pl.Trainer(
max_epochs=2,
# 저장 경로 지정
default_root_dir='ckpt/'
)
위의 코드는 수정된 코드이며, 'ckpt/' 경로에 모델이 저장되는 것이다. 그림으로 살펴보자.
ckpt 폴더 내에 무언가 저장된 것을 볼 수 있는데 각각 요소에 대해 설명하겠다.
version_숫자 : n번째에 실행했을때 저장되는 것들이다.
hparams.yaml : hyperparameter들이 저장되어 있는 yaml 파일이다. 이에 대해서는 밑에서 다루도록 하겠다.
metrics.csv : 우리가 측정하려는 metric들이 각 epoch마다 csv 형태로 저장되는 파일이다.
checkpoints : 모델이 훈련하고 각 epoch가 끝날 때마다 얼마나 훈련되어 있는지 저장되어 있는 파일이다. 이 파일을 통해 어떠한 오류로 실험이 중단되면 저 ~~~.ckpt 파일을 읽어와서 실험을 진행할 수 있다. (그래서 사용한다.)
version_1에서의 저장되어있는 하이퍼파라미터 없음
우리는 모델의 파라미터만 저장하고 하이퍼 파라미터는 저장하지 않았다. 그래서 하이퍼 파라미터를 저장하는 방법에 대해 다루려고 한다.
모델의 하이퍼파라미터 저장하기
하이퍼 파라미터를 저장하는 방법은 간단하다. 코드 한줄을 추가하면 된다.
class LitAutoEncoder(pl.LightningModule):
def __init__(self, encoder, decoder):
super().__init__()
# 코드 추가
self.save_hyperparameters()
self.encoder = encoder
self.decoder = decoder
# 코드 중략
self.save_hyperparameters() 이 함수를 하나 추가하면 된다. 그리고 코드를 돌리면(훈련하면) 다음과 같이 나온다.
version_2에서 하이퍼파라미터가 저장됨
체크포인트로 모델을 불러오기
model = LitAutoEncoder(Encoder(), Decoder())
trainer = pl.Trainer()
# 수정 코드
trainer.fit(model,
train_dataloaders=train_loader,
val_dataloaders=valid_loader,
# 체크포인트 저장한 경로
ckpt_path='ckpt/lightning_logs/version_0/checkpoints/epoch=1-step=96000.ckpt')
여기서 Trainer에서는 건드릴 것이 없다. 그 이유는 ckpt파일에 정보가 저장되어 있다. 그래서 필요한 것은 다음과 같다.
model : 훈련시킬 모델의 틀
dataloader: 훈련시킬 데이터를 다시 가져와야 함
ckpt_path = 훈련되어있는 parameter를 불러올 경로
다음 것들을 알면, 이제부터 훈련이 날아가서 처음부터 다시 돌리는 경우가 안 생긴다. 파이토치 라이트닝을 사용한다면, 꼭 이것을 알아주었으면 한다. 다음은 OverFitting을 방지하는 Early stopping 방법에 대해 소개하려고 한다.
# 필요한 라이브러리 선언
import os
import torch
import numpy as np
import matplotlib.pyplot as plt
from torch import nn
import torch.nn.functional as F
from torchvision import transforms
from torchvision.datasets import MNIST
from torch.utils import data
import pytorch_lightning as pl
데이터셋 선언(분할) 및 확인
dataset은 손글씨로 유명헌 MNIST 데이터셋을 사용한다. 자세한 정보는 여기를 확인하면 된다.
1편을 보시면 알겠지만, 저는 한국어로 입력했을 때, 영어로 출력하도록 Task를 만들었습니다. 그래서 저는 한국어-영어 쌍으로 훈련된 모델을 허깅페이스에서 가져와서 사용했습니다. 궁금하신분은 링크를 클릭해보시면 됩니다. 간단히 말하면 한국어를 입력했을 때, 영어로 출력하는 KoBART 모델입니다.
model_id = 'chunwoolee0/circulus-kobart-en-to-ko'
model = AutoModelForSeq2SeqLM.from_pretrained(args['model_path'], cache_dir='/home/hgjeong/hdd1/hub')
tokenizer = AutoTokenizer.from_pretrained(args['tokenizer'])
이번에는 훈련이 잘되고 있는지 확인하기 위해 필요한 것들에 대해 알아보려고 합니다. 모델 인수들이 잘 입력되었는지 log에 확인하기 위한 logger 작성과 훈련 loss들이 잘 훈련되고 있는지에 대해 알려주는 wandb, tensorboard에 대해 알아보려고합니다.(tensorboard는 추후에 작성하도록 하겠습니다.)
logger 작성
import logging
import sys
def get_logger(name: str) -> logging.Logger:
"""Return logger for logging
Args:
name: logger name
"""
logger = logging.getLogger(name)
logger.propagate = False
logger.setLevel(logging.DEBUG)
if not logger.handlers:
handler = logging.StreamHandler(sys.stdout)
handler.setFormatter(logging.Formatter("[%(asctime)s] %(message)s"))
logger.addHandler(handler)
return logger
logging.getLogger(name) : 이름이 'name'인 로거 객체를 생성하거나, 존재하는 경우 해당 로거를 반환한다.
logger.setLevel(logging.DEBUG) : 로거의 로그 레벨을 'DEBUG'로 설정
logger.handler : 로거에 핸들러(콘솔, 파일)가 없는 경우 설정
handler.setFormatter(logging.Formatter("[%(asctime)s] %(message)s"))는 로그 메시지의 형식을 설정
%(asctime)s는 로그가 기록된 시간, %(message)s는 로그 메시지를 나타낸다.
머신러닝 및 딥러닝 프로젝트에서 모델의 추적을 위해 강력한 도구인 wandb(Weights and Biases)를 사용하여 모델의 성능을 극대화하는 방법을 소개하려 한다.
wandb는 무엇이고 왜 사용하는가
wandb(Weights and Biases)는 머신러닝 및 딥러닝 프로젝트에서 모델의 파라미터에 대한 도구로, 실험 결과를 시각화하고, 하이퍼파라미터를 조정하며, 모델의 성능을 모니터링하는 도구이다. 특히, 하이퍼파라미터 최적화를 통해 최적의 모델 설정을 찾는 데 큰 도움이 된다.
wandb 가입 및 로그인
wandb를 사용하기 위해서는 wandb 공식 웹사이트에서 회원가입과 로그인을 해야 합니다. 이메일 주소와 비밀번호를 입력하거나, 구글 계정이나 GitHub 계정으로 손쉽게 가입하고 로그인할 수 있다.
가입버튼 클릭
공식사이트에 들어가서 가입버튼을 클릭한다.
나의 경우는 Github로 가입하고 개인정보를 입력한다.
다음과 같은 창이 나오게 되는데 여기서 API KEY를 복사해 두고 저장해 둔다.
wandb 로그인
pip install wandb
wandb 설치
import wandb
wandb.login()
다음과 같이 셀을 실행하면 밑에와 같은 창이 생긴다. 이때, 여기에 복사한 API KEY를 입력한다.
이번에는 Dataset 구축 및 DataLoader 구축에 대해 설명하려고 한다. 근데 생각을 해보았을 땐, 이 글을 보는 사람들은 데이터셋 구축은 관심이 없을 것이고 아무래도 어떻게 코드를 짜는지 궁금할 것이라 생각하기 때문에 데이터셋 구축에 대해서는 설명하지 않고 데이터셋이 어떻게 구성되어 있는지만 말하려고 한다.
Dataset 구축
# Text : Encoder
# function : Decoder
# 예시
# 음료 개수, 메뉴 개수, 메뉴 개수 -> drink(quantity=1); menu(quantity=3); menu(quantity=2);
{"Text": "아이스 카페 라떼 4잔 주세요 그 외에 따듯한 그린티 라떼 줄래?", "function": "ICE_cafe_latte(quantity=4); HOT_greentea_latte(quantity=1); "}
데이터셋의 구성은 다음과 같다.
Encoder에는 한국어로 되어있는 Text
Decoder는 메뉴에 대해 요약된 Text
결론은 카페 메뉴에 대한 text가 들어갔을 때, 영어로 요약된 text가 출력되도록 하는 것이다.
DataLoader 구축
라이브러리
from datasets import Dataset
from torch.utils.data import DataLoader
from tokenizers.processors import TemplateProcessing
라이브러리는 다음과 같이 사용합니다.
데이터셋 로딩
# json을 dataset으로 변환
dataset = Dataset.from_json(fname)
토크나이저 설정
# cls token과 sep token이 설정되어있지 않으면 설정
if not tokenizer.cls_token:
tokenizer.cls_token = tokenizer.eos_token
if not tokenizer.sep_token:
tokenizer.sep_token = tokenizer.eos_token
토크나이저에 클래스 시작(cls_token)과 분리(sep_token) 토큰이 설정되어 있지 않다면, 각각을 문장 종료(eos_token) 토큰으로 설정
요약을 하면, 입력데이터를 BART의 출력에 맞도록 tokenizing 하는 것이라고 생각하면 된다.
train mode : encoder, decoder 모두 tokenizing
not train mode : encoder만 tokenizing
그 이유는 테스트 모드의 경우에는 decoder는 예측을 하는 것이기 때문에 정답이 없다.
데이터셋 전처리 적용
# dataset에 대해 전처리 함수로 매핑, columns제거 및 torch tensor로 변환
dataset = dataset.map(preprocess_function,remove_columns=dataset.column_names).with_format("torch")
dataset에 대해 전처리를 적용한 뒤, 이전에 필요 없는 column을 삭제한 뒤, pytorch 형태로 변환한다.
오늘은 이전에 캡스톤디자인에서 BART를 이용해서 Text를 요약하는 Task를 진행했었는데, 이것에 대해 설명하면서 코드를 어떻게 작성했는지 설명하려고 한다.
간단하게 요약하면 다음과 같다. 카페 메뉴에 대한 Text가 입력이 되면, BART를 이용해서 영어로 번역한 뒤 필요한 내용만 출력하는 것이다. 아이스 아메리카노 하나, 카페라떼 하나를 영어로 요약하는 것이다. 다음과 같은 Task를 위해 BART를 훈련시키는 코드에 대해 설명하겠다.
오늘은 허깅페이스에 내가 만든 Dataset을 올리는 방법에 대해 소개해드리려고 합니다. 이를 통해 다른 사람들이 업로드한 데이터셋을 사용할 수 있습니다. Dataset을 업로드하려면 허깅페이스 토큰이 필요합니다. 토큰을 발급받지 않은 분들은 여기를 클릭해서 토큰을 발급해주세요
