이번 포스팅에서는 허깅페이스 라이브러리를 이용해서 벤치마크 클래스를 만들어보도록 하겠습니다. 클래스에 특정한 벤치마크를 넣어서 한번에 출력하여 모델의 성능을 판단할 수 있습니다. 모델 성능 : Acc, F1 등으로 모델의 성능을 파악 메모리 : 모델의 파라미터의 양을 파악 레이턴시 : 모델이 얼마나 빠르게 예측을 하는지 파악 총 3가지의 벤치마크를 파악하는 클래스를 만들어보겠습니다. 파이프라인은 텍스트 분류를 통해서 모델의 성능을 벤치마킹하겠습니다. 필요한 모듈 임포트 from transformers import pipeline from datasets import load_dataset from pathlib import Path from time import perf_counter import tor..
