이번 포스팅에서는 Huggingface hub에서 제공하는 dataset의 목록과 dataset을 불러오는 방법에 대해 알려드리겠습니다.

* 모든 코드는 Jupyter Notebook 환경에서 실행했습니다.

datasets 라이브러리 설치

# Hugging face에서 제공하는 datasets 라이브러리 설치
!pip install datasets

dataset 불러오기

datasets 개수 확인(24.01.03 기준)

import datasets

print(len(datasets.list_datasets()))
# 91305

datasets load 방법(emotions)

from datasets import load_dataset

emotions = load_dataset("emotion")

현재 emotions 안에 train, validation, test 데이터가 각각 16000, 2000, 2000개가 있는 것을 확인할 수 있습니다. 또한, 요소로는 text와 label이 있는 것을 볼 수 있습니다.

그림으로 표현하면 다음과 같습니다. 

train 내부는 그림과 같습니다.

metrics 불러오기

metrics :자연어 처리에서 모델의 성능을 평가하기 위해 사용되는 수치. 여러 종류의 metrics가 존재하며 각각은 특정 목적에 맞게 설계

• BLEU Score : 모델의 번역 품질을 평가
• ROUGE Score : 모델의 요약 성능을 평가

위와 같은 다양한 metrics가 있으며 불러오는 방법에 대해 설명하겠습니다.

metrics의 목록을 확인

import datasets

print(datasets.list_metrics())

# Output
['accuracy',
 'bertscore',
 'bleu',
 'bleurt',
 'brier_score',
 'cer',
...
]

metics 중 가장 간단한 accuracy를 사용

from datasets import load_metric

# Accuracy 메트릭 로드
accuracy_metric = load_metric('accuracy')

# 예측된 값과 참조 값
predictions = [0, 1, 1, 0, 1]  # 예측된 레이블 예시
references = [0, 1, 0, 0, 1]  # 실제 레이블 예시

# Accuracy 스코어 계산
results = accuracy_metric.compute(predictions=predictions, references=references)
print(results["accuracy"])

# Output
# 0.8

metrics 중 bleu사용

from datasets import load_metric

# BLEU 메트릭 로드
bleu_metric = load_metric('bleu')

# 예측된 번역과 참조 번역
predictions = [["the", "cat", "is", "on", "the", "mat"]]
references = [[["the", "cat", "is", "on", "the", "mat"]]]

# BLEU 스코어 계산
results = bleu_metric.compute(predictions=predictions, references=references)
print(results["bleu"])

# Output : 1.0

Hugging face의 dataset과 metrics의 목록과 사용법에 대해 알아봤습니다. 다음엔 모델에 사용하는 방법에 대해 알아보겠습니다.

출처 : https://huggingface.co/docs/datasets/index

오늘은 GPU 버전 오류에 대해 포스팅을 하려고 합니다.

최근에 GPU를 이용해서 인공지능 모델을 학습시키려고 하는데 다음과 같은 오류가 발생했습니다.

버전확인하는 방법

$ nvidia-smi

다음과 같이 CUDA Version을 확인할 수 있습니다.

해결하는 방법은?

해결하는 방법은 2가지입니다.

• NVIDIA driver 최신 버전 설치
• PyTorch 최신 버전 또는 GPU에 맞는 버전 설치

그 중에서 PyTorch 설치 방법에 대해 소개해드리려고 합니다.

첫 번째  PyTorch 홈페이지에 접속한다.

https://pytorch.org/get-started/previous-versions/

두 번째, 자신의 OS와 이전 CUDA버전보다 최신 버전의 CUDA를 찾습니다.

저는 Linux를 사용하며 이전 버전이 11.4였기 때문에 11.7 버전을 설치할겁니다.

$ pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

3. 코드 입력

사진과 같이 Jupyter Notebook에 실행하고 커널을 재시작합니다.

그럼 정상적으로 오류를 출력하지 않고 작동합니다.

참고링크 : https://pytorch.org/docs/stable/generated/torch.ne.html

torch.ne

import torch

torch.ne(input, other,*, out=None)

# tensor을 반환한다.

Parameter:

• input(tensor) - 비교할 텐서
• other(Tensor or float) - 비교할 텐서 또는 값

Keyword Arguments:

• out(Tensor, optional) - 반환 텐서

Returns:

• input과 output이 같으면 False, 다르면 True를 반환한다.

Example:

>>> import torch
>>> torch.ne(torch.tensor([[1, 2], [3, 4]]), torch.tensor([[1, 1], [4, 4]]))
tensor([[False, True], [True, False]])

torch.eq

참고링크 : https://pytorch.org/docs/stable/generated/torch.ne.html

import torch

torch.eq(input, other,*, out=None)

# tensor을 반환한다.

Parameter:

• input(tensor) - 비교할 텐서
• other(Tensor or float) - 비교할 텐서 또는 값

Keyword Arguments:

• out(Tensor, optional) - 반환 텐서

Returns:

• input과 output이 같으면 True, 다르면 False를 반환한다.

왜 사용하는가

저 같은 경우는 Sequen 모델에서 가변 길이 Sequence를 처리할 때 사용을 했습니다.

torch.ne -> Mask Index인 경우 같으면 False로 바꾸어 유효한 데이터만 True로 반환되도록 함수를 사용했습니다.

torch.eq -> 유효한 데이터 중에서 값이 똑같은 Index들은 정답을 맞췄기에 True로 반환되도록 하여 정확도 계산에 사용되도록 했습니다.

두 함수는 필요없는 데이터와 필요있는 데이터를 구분하고 필요한 데이터 중에서 올바른 데이터만 계산하는 accuracy를 구할 때 사용했습니다.