xml파일 다루는 코드가 안되네요 도와주시면 감사하겠습니다

Question

초보라 온갖 문제에 막히네요 문제되면 자삭하겠습니다아래가 깃허브에서 찾은 단어 의미 중의성 해소 코드의 오류난 코드고요import osimport jsonimport argparseimport pickleimport xml.etree.ElementTree as elemTreeimport pandas as pdArgparse Settingparser &#61; argparse.ArgumentParser(description&#61;'전처리 파라미터 설정')training argumentsparser.add_argument('--dict-path', type&#61;str, default&#61;'./Dict')parser.add_argument('--data-path', type&#61;str, default&#61;'./Data')fname1 &#61; 'NXLS2002104060.json'fname2 &#61; 'SXLS2002104060.json'train_fname &#61; 'processed_train.csv'eval_fname &#61; 'processed_eval.csv'dict_fname &#61; 'processed_dictionary.json'def dict_to_data(dirname):&#34;&#34;&#34;우리말샘 사전 데이터를 딕셔너리로 변환Args:dirname : string (우리말샘 사전 파일이 저장된 폴더)Return:dictionary ('key' : 단어&#43;품사, 'definition' : 의미, 'sense_no' : 단어 의미 순번)&#34;&#34;&#34;dict_data &#61; {}filenames &#61; os.listdir(dirname)for filename in filenames:if filename.endswith('xml'):full_filename &#61; os.path.join(dirname, filename)root &#61; elemTree.parse(full_filename).getroot()for it in root.iter('item'):word &#61; it.find('wordInfo').find('word').textword &#61; word.replace('-', '')word &#61; word.replace('^', '')sense_no &#61; it.find('senseInfo').find('sense_no').texttry:pos &#61; it.find('senseInfo').find('pos').textexcept:pos &#61; ''definition &#61; it.find('senseInfo').find('definition').textif word not in dict_data.keys():w_dict &#61; {}w_dict['key'] &#61; [word&#43;&#34;_&#34;&#43;pos]w_dict['definition'] &#61; [definition]w_dict['sense_no'] &#61; [int(sense_no)]dict_data[word] &#61; w_dictelse:dict_data[word]['key'].append(word&#43;&#34;_&#34;&#43;pos)dict_data[word]['definition'].append(definition)dict_data[word]['sense_no'].append(int(sense_no))return dict_datadef process(sent_input, multiwords_set):&#34;&#34;&#34;말뭉치 데이터의 문장이 주어졌을 때 문장과 WSD만 남기며, 또한 다의어 중우리말 사전 기준으로 의미 갯수가 2개 이상인 것만 남긴다.Args:sent_input : dictionary(key&#61;['id', 'form', 'word', 'morpheme', 'WSD'])multiwords_set : set(우리말샘 사전 기준 의미가 2개 이상인 명사의 집합)Return:dictionary(key&#61;['form', 'WSD'])&#34;&#34;&#34;sent_input2 &#61; sent_input.copy()# 사용하지 않는 key 제거del sent_input2['id']del sent_input2['word']del sent_input2['morpheme']WSD_multiwords &#61; []for wsd_d in sent_input2['WSD']:# 우리말샘 기준 의미가 2개 이상인 단어이면서# WSD 데이터의 의미번호가 777, 888, 999 이 아닌 다의어로 한정# 777 : 우리말샘에 해당 형태가 없는 경우# 888 : 우리말샘에 형태는 있되 해당 의미가 없는 경우# 999 : 말뭉치 원어절에 오타, 탈자가 있는 경우if wsd_d['word'] in multiwords_set and wsd_d['sense_id'] not in (777,888,999):WSD_multiwords.append(wsd_d)sent_input2['WSD'] &#61; WSD_multiwordsreturn sent_input2if __name__ &#61;&#61; &#34;__main__&#34;:args &#61; parser.parse_args()dict_path &#61; args.dict_pathdata_path &#61; args.data_pathprint(&#34;우리말샘 사전 데이터 로딩...&#34;)# 우리말샘 사전 데이터 불러온 후 json 파일로 저장dict_data &#61; dict_to_data(dict_path)print(f'사전 데이터는 총 {len(dict_data)}개 입니다.')print(&#34;우리말샘 사전 데이터 저장...&#34;)# 변환 파일 저장with open(os.path.join(dict_path, dict_fname), 'w') as f:json.dump(dict_data, f)# 다의어 추출multiwords_set &#61; set(word for word, d in dict_data.items() if len(d['definition'])>1)print(&#34;말뭉치 데이터 로딩...&#34;)with open(os.path.join(data_path, fname1), &#34;r&#34;, encoding&#61;'UTF8') as json_file:f1 &#61; json.load(json_file)with open(os.path.join(data_path, fname2), &#34;r&#34;, encoding&#61;'UTF8') as json_file:f2 &#61; json.load(json_file)# 데이터의 key는 'id', 'metadata', 'document' 이며, 이중 'document'가 필요한 데이터 부분# 'document'는 기사들의 list로 이루어져 있으며, item은 딕셔너리이다.# 이 딕셔너리 또한 'sentence'라는 key를 조회하면 실제 데이터를 얻을 수 있다.data &#61; f1['document'] &#43; f2['document']print(f&#34;문맥 데이터는 {len(data)}개입니다.&#34;)print(&#34;말뭉치 데이터 변환 시작...&#34;)train_results &#61; []eval_results &#61; []# 문맥 데이터 중 10번째마다 eval_data로 저장,# 그외는 train_data로 저장i &#61; 0for paragraph in data:for sentence in paragraph['sentence']:sent &#61; process(sentence, multiwords_set)if len(sent['WSD']) > 0:i &#43;&#61; 1if i % 10 !&#61; 0:train_results.append(sent)elif i % 10 &#61;&#61; 0:eval_results.append(sent)else:continuetrain_df &#61; pd.DataFrame(train_results)eval_df &#61; pd.DataFrame(eval_results)print(&#34;변환된 말뭉치 데이터 파일로 저장...&#34;)# 완료된 데이터를 csv 파일로 저장train_df.to_csv(os.path.join(data_path, train_fname), index&#61;False)eval_df.to_csv(os.path.join(data_path, eval_fname), index&#61;False)print(&#34;전처리가 끝났습니다.&#34;)여기까지 코드구요 아래는 오류 내용입니다C:\python nature word\WSD 다의어구분 국어사전 용량 너무큼>python preprocess.py우리말샘 사전 데이터 로딩...Traceback (most recent call last):File &#34;C:\python nature word\WSD 다의어구분 국어사전 용량 너무큼\preprocess.py&#34;, line 112, in <module>dict_data &#61; dict_to_data(dict_path)File &#34;C:\python nature word\WSD 다의어구분 국어사전 용량 너무큼\preprocess.py&#34;, line 48, in dict_to_dataroot &#61; elemTree.parse(full_filename).getroot()File &#34;C:\Users\hodol\AppData\Local\Programs\Python\Python310\lib\xml\etree\ElementTree.py&#34;, line 1229, in parsetree.parse(source, parser)File &#34;C:\Users\hodol\AppData\Local\Programs\Python\Python310\lib\xml\etree\ElementTree.py&#34;, line 580, in parseselfroot &#61; parser.parse_whole(source)xml.etree.ElementTree.ParseError: not well-formed (invalid token): line 1699129, column 111혹시 깃헙에서 주워온 코드 올리면 안된다면 바로 지우겠습니다

Clickin · Answer

생각없이 그대로 던지고 모르겠어요 하시면 답변 주실 분들이 잘 없으십니다.그와는 별개로 파이썬 내장 xml 파서는 사용하기 좀 어려운 형태라서 다른 라이브러리 사용해보시는 걸 추천드립니다.xml을 dict 형태로 파싱해줘서 다루기 쉬워집니다.https://pypi.org/project/xmltodict/사용법 예제https://minwook-shin.github.io/python-xml-parsing-to-json-using-xmltodict/

xml파일 다루는 코드가 안되네요 도와주시면 감사하겠습니다

1개의 답변

#wsd 목록