LLM LoRA fine-tuning 해보신 분 계신가요??

Question

안녕하세요 선배님들 저는 NLP에 관심이 많은 대학생입니다.AI 법률 어드바이저 언어모델을 만들기위해 생활법령 100문 100답 데이터를 스크랩하여 LLM 학습에 맞는 데이터셋을 준비했습니다. 하지만 이유는 잘 모르겠는데 모델 학습이 수월하게 되지 않습니다... 학부생 수준에서 쉽지 않네요...https://github.com/juicyjung/LAW-Alpaca코드랑 세부사항은 여기 레포에서 보실 수 있고 Colab에서 작업했습니다.현재 2가지 문제가 있습니다.1. Training Loss가 어느순간부터 0으로만 나오는 현상 (LoraConfig의 r을 16 이상으로 올리거나 TrainingArguments epoch을 6 이상으로 늘릴 때 주로 발생)2. 이상한 말을 막 내뱉는 현상 (학습이 된건지 안된건지 잘 모르겠습니다..)훌륭한 선배님들 도움 주시면 감사하겠습니다..ㅠㅠ 열심히 해보려고 하는데 어려운게 많네요ㅠㅠ..

LLM LoRA fine-tuning 해보신 분 계신가요??

0개의 답변

Q&A 목록