자연어처리 토크나이저 저장후 사용하면 결과값 달라짐

Question

모델을 바로 돌리고 결과값을 보면 원하는 만큼 결과 값이 나와서사용한 토크나이저와 학습한 모델을 저장하고따로 불러와서 test한 결과값을 보면 완전 다르게 나오는데.. 몇번 보다보니까 그냥 훈련하고 결과값을 보면 정상인데 저장한 토크나이저를 따로 불러올때마다 결과값이 완전 달라지는것 같은데.. 원인이 몰까요..학습전tokenizer &#61; Tokenizer()tokenizer.fit_on_texts(text_token) vocab_size &#61; len(tokenizer.word_index) &#43; 1print('단어 집합의 크기 :',vocab_size)tokenizer &#61; Tokenizer(num_words &#61; vocab_size)tokenizer.fit_on_texts(text_token)max_len &#61; 57X &#61; pad_sequences(X, maxlen &#61; max_len)with open('tokenizer_2.pkl', 'wb') as f: pickle.dump(tokenizer, f)&#61;&#61;&#61;>>> 결과값a: 96%b: 0%b: 1%학습후 토큰 따로 불러와서 결과값 예측하면with open('tokenizer_2.pickle', 'rb') as handle: tokenizer &#61; pickle.load(handle)new &#61; [item for item, tag in kom.pos(sentence) if tag in ['NNB', 'NNG', 'NNP', 'NP', 'VV', 'VA', 'MAG', 'MAJ', 'JC', 'JKB', 'JKC', 'JKG', 'JKO', 'JKQ', 'JKS', 'JKV', 'JX']] encoded &#61; list(filter(lambda x: x>0, [tokenizer.word_index.get(i,0) for i in new])) #단어를 인덱스로 바꿈 pad_new &#61; [0]*(max_len-len(encoded)) &#43; encoded # 패딩 scores &#61; [i[0][0] for i in best_model.predict(np.array([pad_new]))] #이전에 학습한 모델로 예측한 후 결과 저장.&#61;&#61;&#61;>>> 결과값a: 0%b: 0%b: 1%

배고프고가난한백수 · Accepted Answer

test 한다는게 학습 데이터를 그대로 다시 넣고 추론해본단 말인가요?보통 test는 학습 데이터랑 다른 데이터를 쓰는데 왜 결과 값이 같아야 하는건지 고민 해보다가 혹시 이런 상황인걸까 하는 결론에 도달했습니다.솔직히 말씀드리면 질문이 잘 이해가 안가서요.무슨 모델에 뭘 넣어서 학습 시키고 test 해봤는지 이런게 하나도 안적혀있으니 그냥 추측으로 답변드리는겁니다만,보통 모델 학습하고 나서 test 할 때는 학습 데이터 말고 다른 데이터를 쓰는데요,학습은 잘 됐는데 test에서 도저히 결과가 너무 쌩뚱맞아서 못써먹겠다 싶으면 두 가지 경우가 있습니다.하나는 test 데이터셋이 학습 데이터셋이랑 너무 동떨어져 있는 경우(예를 들어 사람 안면인식 모델을 만들었는데 오징어 사진을 입력하는 경우)이고,다른 하나는 학습 데이터셋에 너무 과적합 되어서 모델이 일반화가 안된 경우입니다.한 번 확인해보셔요.

자연어처리 토크나이저 저장후 사용하면 결과값 달라짐

1개의 답변

Q&A 목록