스프링배치 xml방식 질문

Question

스프링배치 xml방식으로 작업을 하는데요데이터가 많아서 그런지 select후 insert update하는데 총데이터가 30만 조회되면 이중에 반인 15만건 insert update 하고 배치작동 완료되고 끝나고 다시돌리면 15만건중의 반인 7만 건 insert update 계속 반복되는데 혹시 아시나요 update는 insert후 조회한 테이블에 상태값 바꿔주기위해 하고있어요Select insert테스트 해봤는데 두가지만 돌리면 잘되는데 update까지 같이하면 위에처럼 반씩들어 갑니다 도움좀 부탁드려요

Clickin · Answer

코드 없이 정황만 간단하게 설명하시면 두리뭉술한 답변밖에 나올 수 없습니다.두리뭉술한 답변으로는 배치에서 chunk 단위로 작업하시는 게 좋습니다.Xml이라는 표현은 mybatis 쓴다는 말씀이신 듯 한데MyBatisCursorItemReader로 select 읽어와보시고 mybatisbatchitemwriter로 1000개 단위 끊어서 커밋해보세요자세한 참조 https://mybatis.org/spring/ko/batch.html

상후 · Answer

readCount는 30만 건인데, write 시 15만 건 만 처리가 된다는 걸까요?적은 데이터로도 동일한 현상이 나타나는지 먼저 확인해보면 좋을 것 같습니다.JOB 설정 부분을 올려주시거나 구체적으로 설명해주시면 더 도움이 될 것 같습니다.

도티 · Answer

혹시 a디비 b디비 동시에 commit을 하기때문에 커밋이 반만되는 문제일수 있나요?

스프링배치 xml방식 질문

3개의 답변

Q&A 목록