SpringBatch 여러개의 csv 파일 다운로드 후 읽기

Question

안녕하세요. 저는 지금 SpringBatch를 공부해보기 위한 목적의 개인 프로젝트를 진행하고 있습니다.Job AStep 1. csv 파일 다운로드Step 2. 다운로드 받은 csv 파일 읽고 저장하기Step 1은 어찌저찌 완료를 했고 1500개 정도의 csv 파일을 다운로드 받았습니다.하지만 Step 2부터 어려움을 느끼고 있습니다.MultiResourceItemReader를 사용할까 했는데 모든 파일을 하나로 처리해서 파일 하나라도 실패하면, 실패한 파일에서 부터가 아니라 전체를 다시하게 되더라구요...그래서 관련된 내용을 찾다보니 다음과 같은 글이 있더라구요. https://stackoverflow.com/a/75282266그래서 FlatFileReader를 사용해야 한다고 생각을 했습니다. 근데 여러 파일을 읽어야 하는 상황에서 FlatFileReader를 사용하자니 막막합니다.대안으로 Job A의 Step 2에서 파일을 직접 읽는게 아니라 아래와 같은 Job B를 호출하는 것을 생각했습니다.Job B - (파라미터 - filePath)Step 1. 다운로드 받은 csv 파일 읽고 저장하기Reader - 파라미터로 받은 filePath로 FlatFileReader 정의Writer - 읽은 정보 DB 저장근데 또 이렇게 Job이 진행되는 도중에 다른 Job을 호출하는 것이 일반적인 상황은 아닌 것 같더라구요...배움이 짧아서 뭘 모르는건지, step의 구성 자체가 잘못된건지 감이 안잡힙니다.저와 같은 상황에서 어떤 방식으로 해결하는게 좋은가요?

톰소여 · Answer

1500개를 받게끔 하는 부분이 있을 텐데 그러면 구분값을 itemcode라고 특정했다고 했을 시에 csv 파일을 다 받았고 다음 스텝을 실행할 때 1500개를 읽고 성공하면 개별 itemcode=true 라고 해놓고 실패한 itemcode에 대해서만 retry 하면 되지 않을까요?1500개가 한 항목에 대한 자료인지 1500개의 각각 항목에 대한 건지 구분에 따라서 한번에 모두 처리하던지 1500개 개별로 루프로 처리할지에 따라서 또 달라지겠죠. 각 스텝에 정상처리 구분을 결과로 받고 retry 하게 코드를 작성하면 될 것같아요.1500개를 db의 테이블에 넣는다고 생각하면 굳이 실패 시 처음부터 처리 안해도 될 것 같고요.소스가 없어서 전체를 다시하게 되는 부분에 대한 부분은 모르겠네요.자세한 내용은 모르겠지만 계속 실패하면 그 실패 부분에 대한 로그도 필요하면 로그 테이블에 넣으면 모니터링도 되겠죠.

SpringBatch 여러개의 csv 파일 다운로드 후 읽기

1개의 답변

Q&A 목록