distilkobert 못배운 내용이라 손을 못대겠어요 ㅠㅠ 도와주세요

Question

안녕하세요 고수님들 ㅠㅠ 제가 상상했던 프로그램 만들려고 문장에서 단어 뜻을 추론해주는 프로그램을 깃헙에서 찾아서 사용하려고 했는데 오류가 떴어요 ㅠㅠ 지금까진 어찌어찌 해결해왔는데 이번 오류는 구글링해서 할수있는거 다해봤는데 안되는데다가 DistilBertModel 이라든가 체크포인트라든가 무슨소린지 알 수가 없어서 결국 질문드리게 되었습니다...Some weights of the model checkpoint at monologg/distilkobert were not used when initializing DistilBertModel: ['vocab_layer_norm.weight', 'vocab_projector.weight', 'vocab_layer_norm.bias', 'vocab_projector.bias', 'vocab_transform.weight', 'vocab_transform.bias']- This IS expected if you are initializing DistilBertModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).- This IS NOT expected if you are initializing DistilBertModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization.The tokenizer class you load from this checkpoint is 'BertTokenizer'.The class this function is called from is 'KoBertTokenizer'.Traceback (most recent call last): File &#34;C:\python nature word\WSD_2023_xml\main.py&#34;, line 85, in <module> model &#61; model.to('cuda') File &#34;C:\Users\hodol\anaconda3\lib\site-packages	orch
n\modules\module.py&#34;, line 1145, in to return self._apply(convert) File &#34;C:\Users\hodol\anaconda3\lib\site-packages	orch
n\modules\module.py&#34;, line 797, in _apply module._apply(fn) File &#34;C:\Users\hodol\anaconda3\lib\site-packages	orch
n\modules\module.py&#34;, line 797, in _apply module._apply(fn) File &#34;C:\Users\hodol\anaconda3\lib\site-packages	orch
n\modules\module.py&#34;, line 797, in _apply module._apply(fn) [Previous line repeated 1 more time] File &#34;C:\Users\hodol\anaconda3\lib\site-packages	orch
n\modules\module.py&#34;, line 820, in _apply param_applied &#61; fn(param) File &#34;C:\Users\hodol\anaconda3\lib\site-packages	orch
n\modules\module.py&#34;, line 1143, in convert return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking) File &#34;C:\Users\hodol\anaconda3\lib\site-packages	orch\cuda\__init__.py&#34;, line 239, in lazyinit raise AssertionError(&#34;Torch not compiled with CUDA enabled&#34;)AssertionError: Torch not compiled with CUDA enabled일단 cuda랑 torch가 문제인 줄 알고 torch 사이트에 들어가서 직접 입력해서 받기 cpuonly로 받아보고(그래픽카드가 없어서) 안돼서 torch 지웠다가 받아보고 노트북 껐다 켜보고 파이썬 지웠다가 다시 깔아보고 그래픽카드 없어도 cuda 설치해보고 torch 다운그레이드해보고 이것저것 해봤는데 아무리 봐도 이건 torch cuda 문제가 아니다 싶더라구요그래서 위쪽 내용 이해하려고 구글링 해봤는데 distilkobert 에 대한 내용이 거의 안나오더라구요 그래서 파일이라도 열어보려고 monologg 폴더를 찾는데 찾아봐도 안나오더라구요 c드라이브 전체 검색하니까 'C:\Users\hodol\.cache\huggingface\hub\models--monologg--kobert' 이런 게 나오더라구요 안엔 별 내용 없었구요체크포인트라든가 가중치라든가는 배운 적이 없는 탓에 어떻게 건드려봐야할지조차 몰라서 여기에 질문올려봅니다 ㅠㅠ 도와주시면 정말 감사하겠습니다

shintwl · Answer

깃헙에서 찾아서 사용하려고 했는데 깃헙 레포를 쓰는거라면 해당 깃헙의 issue를 뒤져보는 게 가장 좋습니다비슷한 문제를 겪었고 해결책을 얻은 사람이 있을 가능성이 있습니다

distilkobert 못배운 내용이라 손을 못대겠어요 ㅠㅠ 도와주세요

1개의 답변

#tokenizer 목록