파이썬 바이너리 파일 처리 속도 개선 방법

Question

파이썬으로 게임의 세이브 파일을 바이너리 형태로 읽고엑셀 형태로 변환 하는 작업을 하고 있습니다.참고로 게임은 football manager 의 모바일 게임 입니다.PC 게임 대비 모바일 게임은 세이브 파일이 간단하게 되어 있어헥스 에디터로도 쉽게 수정이 가능합니다.if문, for문 만으로 프로그래밍 하는 수준이어서 그런지데이터 처리하는데 속도가 너무 느립니다.예를 들어서with open(&#34;fm_save1.fms&#34;, &#34;rb&#34;) as fmm:이렇게 파일을 바이너리 형태로 불러오면 우선temp &#61; fmm.read(295)처음 295바이트까지는 불필요한 부분이어서 위와 같이 읽고 버립니다.그러면 다음 60 EA 00 00 으로 시작하는 부분이 나오는데,이 4개 바이트는 이름으로 사용하는 단어들의 개수를 의미 합니다. 10 진수로는 60,000 입니다.그리고 03 00 00 00 은 다음 단어를 이루는 바이트 개수 입니다.그래서 다음 3개의 바이트를 읽고 문자 형태로 변환해서 리스트에 저장을 하게 됩니다.name_num &#61; np.fromfile(fmm, np.int32, 1) name_list &#61; [] for i in range(name_num[0]): str_len &#61; np.fromfile(fmm, np.int32, 1) name_list.append(fmm.read(str_len[0]).decode('utf-8'))이런 식으로 6만 번을 반복 하게 됩니다.4바이트 &#43; 고정된 N 바이트 형식이라면, 통으로 읽으면 쉬운데4바이트 &#43; 가변 바이트 형식이라 for문으로 순차적으로 읽고 있습니다.혹시 좀 더 빠른 방법이 있을 까요?

Hee Sung Son · Answer

파이썬은 하지않지만 파일읽고 처리하는 방식에 스트리밍 방식으로 해보면 어떨까요? 스트리밍 방식으로 해서 청크를 받아서 처리하는 로직으로 만들면 메모리사용등 성능 개선될거같아요

상영 · Answer

read 로 읽어들이지 말고 seek 으로 바로 찾아가는게 어떨까요?

파이썬 바이너리 파일 처리 속도 개선 방법

2개의 답변

Q&A 목록