IntroductionPre-trained Language Model(PLM) 장점상당한 지식 습득외부 메모리 접근 없이 지식 풍부PLM 단점Hallucination메모리의 확장 및 수정 불가능PLM의 단점을 위해 parametric memory + non-parametric memory → Seq2Seq Model을 설계Parametric memory (e.g., Logistic Regression, Linear Regression)Pre-trained seq2seq transformerNon-parametric memory(K-NN, Decision Tree, Random Forest)dense vector index of Wikipedia여기서 Retriever는 Top-K approximation..
