java 대용량 파일 처리에 대해 질문드립니다.

Question

순수 java로 대용량 파일에 대해 3개의 Process를 이용하여 처리를 진행하려 합니다. 1. 파일 읽기- 파일의 내용을 buffered로 readline단위로 읽어서 Queue에 저장합니다.2.파일 내용 분류- Queue에 저장되어 있는 내용을 읽어 처리 완료 Queue에 저장합니다.3.분류 내용 쓰기-처리 완료 Queue에 저장 된 내용을 파일에 씁니다.이때 파일의 형식은 json,xml,iis log 형식으로 존재합니다. 질문 1. buffered로 이용하여 readline으로 읽을시에 io 딜레이가 많이 발생하나요? read를 사용하여 StringBuilder에 담아 한개의 데이터씩 처리하려 했더니 비교문때문에 속도가 늦어지더군요 다른 방법이 없을 까요?질문 2.Queue에 내용을 분류 할 시에 순서를 보장해야 됩니다.순서 때문에 멀티쓰레드를 이용하여 처리하기가 힘든데 어떤 방법이 있을까요?질문 3.Spring batch와 같은걸 이용하여 처리 시에 어느정도 효과가 있나요??아니면 파일을 처리하기 위한 다른 자바 기반 프레임워크가 존재할까요? 고수님들 의견 제시 부탁드립니다.감사합니다.

구구구구우 · Accepted Answer

Gimga꽤 재밌어 보여서 나름 고민을 해봤는데, 제가 경험이 부족해서 그냥 아이디어가 이렇다 정도로만 생각해주세요1. Job을 정의한다. : 데이터와 데이터를 가공할 로직을 정의 합니다. 속성에 번호를 정의합니다.class Job { int number; List<String> lines; work() { // line을 처리하는 로직 } } 2. 파일에서 읽어들인 데이터는 job으로 할당한다. : 하나의 Job에는 번호가 할당이 되고 이 번호는 순서를 의미합니다. Job이 처리 해야 하는 데이터는 파일에서 읽어들인 Line 들입니다. Line하나당 Job을 하나 생성하셔도 좋지만 일정 수준의 Line갯수로 job을 할당하는것이 성능상 좋을것 같습니다. 해당 job은 기존의 말씀한신 처리 되어야 하는 1번 큐에 저장이 됩니다. (작업 큐) 3. 스레드 풀을 두고 각 스레드들은 작업 큐에 작업이 들어오는대로 경쟁적으로 잡을 가져와 처리를 합니다. (이때 ForkJoin에 분할정복을 이용하면 경쟁으로 인한 성능 저하가 덜 될걸로 생각되는데 제가 ForkJoin을 써보지 않아서 실제 구현에 어떻게 적용해하는지는 감이 안잡히네요)각 스레드는가 처리한 작업에 대한 결과는 큐에 저장하지 않고 각자 서로가 영향을 주지 않는 선에서 데이터를 List에 보관합니다.(성능향상 기대) 4. 모든 스레드가 작업이 완료되면 각 스레드 별로 가지고 있는 List에 데이터를 합하여 번호를 기준으로 정렬을 진행하고 출력합니다.(이때 모든 스레드의 작업이 완료 되는 시점에 결과 데이터가 너무 많으면 성능에 문제가 될거 같은데.... 이게 관건이네요) 일단 위에 서술한것처럼 작업을 진행하면 된다고 보는데 중요한건 이게 코드로 작성할때 굉장히 복잡할거 같네요. 또 여러가지로 구간구간마다 성능을 끌어올리려면 많은 테스트가 필요할거 같아요 Job을 줄이는 방법, Job을 처리하고 난뒤에 나온 결과를 관리하는 방법, 스레드 갯수, 스레드가 할당 받는 Job에 공평함?(job에 갯수를 의미하는게 아니라 모든 Job을 처리하는 시간이 모든 스레드가 얼마나 비슷하냐) 등 고민할게 굉장히 많을거 같고 이것들을 해결하는게 ForkJoin이라고 알고 있긴한데 이게 코드로 어떻게 작성해야 할지는 답변을 못하겠네요또 Job을 처리하는 스레드(job 처리 스레드)가 한개 였을때는 결과를 파일에 저장하는 스레드가 job처리 스레드를 기다리지 않고 큐에 들어오는 데이터를 바로 저장하였을텐데 Job을 처리하는 스레드(job 처리 스레드)가 여러개로 늘어나고 순서를 보장해야하기 때문에 job 처리 스레드를 기다리는 과정에서 시간소요, 그리고 처리된 결과 데이터를 바로 저장하지 않았기때문에 저장하기 전까지 유지되어야 하는 메모리 소요 등으로 오는 성능 저하도 따져봐야할거 같네요

구구구구우 · Answer

3개의 프로세스 라고 하셨는데 스레드가 아니라 프로세스 인가요??번호별로 개별 프로세스라고 생각하면 되나요??

Gimga · Answer

글을 잘못 썼네요;;구구구구우 일단 queue관리를 쉽게 하기 위해서 스레드로 생각은 하고 있습니다.

구구구구우 · Answer

그럼 3개의 스레드라고 하셨는데 각각의 스레드가 동작하는 구간은 어딘가요?? 굳이 3개로 명신한걸로 봐서는 1,2,3번의 과정을 각각의 스레드가 맡아서 진행하려는거 같은데 맞나요?? 아니라면 어떤 일을 멀티 스레드가 맡아서 처리를 하려는건지 설명을 해주세요

Gimga · Answer

각각 1,2,3번을 처리하려 합니다.Queue는 10000공간으로 제한하고 LinkedBlockingQueue을 사용했습니다. json 형식의 1.7기가 date란 키를 가진 데이터중 -01이란 텍스트가 존재하는 List만 뽑아냈더니현재 제작한 모듈은 syso 없을 시 30초 syso 존재시 50초 정도의 성능을 보이네요... 단일 Thread 처리 시 1분 20초 정도가 걸리는걸로 체크는 했습니다.

구구구구우 · Answer

질문 1. 버퍼 사이즈를 적당히 조절해서 한번읽을때 많이 읽어서 처리하는게 더 빠르죠질문 2. 말쓴하신대로의 동작에서는 순서가 보장이 될거같은데, 혹시 2번의 과정에서 스레드 개수를 더 늘리실 계획인건가요?질문 3. Spring batch는 안해봐서 모르겠네요

Gimga · Answer

질문 1read는 8192 넘어가면 별반 차이가 없다고 봤던거 같아서요그리고 read를 사용시에는 if문으로 
값을 찾아야 한줄씩 출력하면 if문을 더 돌게 되어 속도가 느릴꺼 같고readline은 그 과정을 처리해주지만 어떤식으로 내부에서 동작하는지 몰라 둘중에 어떤것이 빠른지 의문이네요질문 2 네 처리 해야 조건이 많아지면 Queue의 공간을 쪼개어 다중쓰레드로 처리 하려고 합니다

구구구구우 · Answer

Gimga 그래도 한문자씩 읽는것보다 버퍼를 두는게 빠르죠 그리고 line별로 읽을거 같으면 readline으로 읽는게 나을거 같은데2번에서 하는 작업 내용이 뭔지는 모르겠지만 line단위로 작업을 하나요 그러니까 큐에 저장되는 항목이 파일에서 읽은 한 Line인건지를 묻는겁니다. 이게 크게 문제 될건 없는데 일단 물어보구요제일 중요한건 이건데 처리가 완료된 데이터(Line)가 초기에 읽어들여서 큐에 저장된 데이터의 갯수보다 줄어드나요?

Gimga · Answer

1. 파일에서 읽은 데이터를 가공하여 line별로 관리합니다. - 가공한 데이터 파일을 다시 읽는 경우도 있어 형식을 맞춘후 동일 로직으로 처리할려고 이렇게 합니다.2.Queue는 2개 생성합니다.Thread1- 파일 읽기 -> lineText,xml,json데이터를 1번 Queue에 저장(Queue사이즈 10000제한)Thread2 - 1번 Queue에서 데이터를 뽑아내 가공 -> 2번 Queue에 저장(Queue사이즈 10000제한)Thread3 - 2번 Queue에 저장한 데이터를 뽑아 파일에 작성합니다.Queue에 있는 데이터를 take후 Queue에 저장하지 않은 데이터들은 null로 GC로 보내버립니다. 이런식으로 돌아가게 되요

Gimga · Answer

ForkJoin은 잘모르겠지만 참고해보겠습니다.마지막 파일쓰는 곳에서 순서 보장이 문제네요ㅠ.ㅠ파일이라 어떻게 해야 성능이 빨라질지 고민만 되네요 ㅠ.ㅠ

jslovers · Answer

하시는 고민에 도움이 되실까 해서 공유합니다~참고하세요~~~

java 대용량 파일 처리에 대해 질문드립니다.

11개의 답변

#io 목록