Java 파일 수정 관련 질문

Question

토이프로젝트를 진행하다가 궁금한 점이 생겨서 질문드립니다제가 지금 하고있는게 백업 기능인데 과정을 보면,특정 디렉토리의 모든 파일을 java.io.file 타입의 리스트로 가져옵니다.이 것을 다른 프로세스에 파일 이름, 최종 수정일, 파일 내용(byte) 형태로 보냅니다. (보내면 거기서 저장합니다)추후에 롤백을 해야할 일이 생깁니다. 롤백할 디렉토리의 파일들을 탐색해서 Map<파일 이름, File> 형태로 만듭니다.다른 프로세스에서 저장했던 파일을 읽어와서 Map<파일 이름, File> 형태로 만듭니다.위의 두 Map<파일 이름, File> 객체를 비교해서 로컬 파일을 롤백합니다.이 때 다른 프로세스가 같은 PC에 있으면 상관 없겠지만, 원격에 있다면 파일 내용을 하나하나 주고받는게 부하가 될 거라고 예상이 되는 상황입니다.그래서 정말 롤백을 해야하는 파일만 받고, 변경되지 않은 파일에 대해서는 되도록 내용을 주고받지는 않도록 구현을 했습니다.(필요하면 파일 이름만 주고받는 식으로 구현했다고 가정하겠습니다)그런데 이 또한 부하가 예상이 된다고 했을 때, 롤백해야하는 파일 중에 수정된 파일같은 경우는 수정된 내용 자체만 가져와서 적용하는 방법이 있을까요?예를 들어 2GB의 파일이 있는데, 한 글자 달라졌다고해서 2GB 전부를 주고받는 것은 비효율적이기 때문입니다.혹시 방법이 있을까요?

Clickin · Accepted Answer

파일의 어느 부분이 수정되었는지는 어떻게 알 수 있을까요?파일 전체를 읽지 않으면 어느 부분이 수정되었는지는 알 수 없습니다.단일 파일로 서비스한다면 2GB 네트워크 태우는 비용보다 2GB 다 읽어서 파싱하는 비용이 더 크지 않을까요간단하게는 단순하게 checksum으로 수정되었는지 여부만 확인하고 수정되었다면 재전송 할 것 같습니다.혹은 특정 chunk 단위로 분리해서 서비스하되 chunk 단위별 checksum을 저장해뒀다가 해당하는 부분만 전송하는 방법은 가능합니다.

yeori · Answer

이 문제는 이미 20여년 전에 적절한(현실적인) 해결책이 나왔습니다.리눅스에서 자주 사용하는 rsync라는 도구가 있는데 님이 고민하는 그 문제를 이미 20여년 전에 똑같이 고민한 결과로 나온 도구입니다.아주 큰 파일을 대상으로 발생한 작은 change들만 찾아내서 파일을 동기화하자는 아이디어는 대강 다음과 같습니다.큰 파일 F를 블록단위로 쪼갬(64KB, 1MB, 4MB 등등).이 조각을 chunk라고 하겠음.chunk들마다 해시값을 구함해시값을 비교해서 변경된 부분만 찾아내서 전송함실제 알고리즘 및 구현은 이보다 더 복잡한데 대강의 얼개는 이렇습니다.이 해시값을 갖고 파일을 수정했을때 어느 부분이 변경됐는지를 매우 빨리 찾는 식입니다.구글링 키워드는rolling hash algorithmdelta encoding algorithm - https://en.wikipedia.org/wiki/Delta_encodingdelta transfer algorithm정도입니다.rsync라는 도구도 있고, 사용 제품도 있습니다.자바로 쌩으로 구현하겠다...? 뭐 불가능하지는 않은데 할게 많습니다.특정 파일을 chunk단위로 쪼개서 해싱 결과값을 저장하는 등 디비 구현 비스무리하게 들어가는 부분이 많습니다.sender와 receiver사이에 프로토콜도 정의해야하고

Java 파일 수정 관련 질문

2개의 답변

Q&A 목록