[스프링배치]오라클 DB 속도 개선 문의드립니다.

Question

안녕하세요.오라클 DB 속도 개선 문의드립니다.현재 스프링 배치를 구동중에 있습니다.2개의 프로젝트가 같은 스프링배치를 사용중이여서스프링 배치에는 2개의 데이터베이스에 접근하고 있습니다.현재 사용자 계정이라는 데이터가 있는데,해당 데이터는 인터페이스로 외부에서 넘어와서프로젝트A의 인터페이스 테이블에 에 적재됩니다.프로젝트 A 가스프링 배치 스텝안에서mybatisBatchItemWriter의 read 기능으로그 프로젝트A의 인터페이스 적재 테이블에서 약 45000개의 데이터를 읽어와서프로젝트 A의 사용자 계정 테이블(59만개)에 mybatisBatchItemWriter의 write 기능으로 데이터 적재합니다.write 기능안에는 merge문으로 SQL이 구성되어 있습니다.프로젝트 A는 멀쩡합니다.반면,프로젝트B 가스프링 배치 스텝안에서mybatisBatchItemWriter의 read 기능으로그 프로젝트A의 인터페이스 적재 테이블에서 약 45000개의 데이터를 읽어와서프로젝트 B의 사용자 계정 테이블(59만개)에 mybatisBatchItemWriter의 write 기능으로 데이터 적재합니다.write 기능안에는 merge문으로 SQL이 구성되어 있습니다.프로젝트B는 타임아웃에러가 납니다.타임 아웃 에러는; uncategorized SQLException for SQL []; SQL state [72000]; error code [1013]; ORA-01013: user requested cancel of current operation; nested exception is java.sql.BatchUpdateException: ORA-01013: user requested cancel of current operation이런 에러가 납니다.참고로 동일 프로젝트B내에서 다른 배치잡들은 문제 없고, 해당 프로젝트B의 사용자 계정 적재 부분에서만 에러가 납니다.이 두 프로젝트는 같은 스프링 프로젝트(개발 프로젝트)안에 들어가 있으므로,메모리 사이즈, 버퍼 사이즈 등 동일한 환경에서 구동됩니다.참고로 히카리 설정 타임아웃은 10분으로 해두었습니다.프로젝트A는 7개의 스텝이 5분안에 끝나며프로젝트B는 첫스텝에서 타임아웃 납니다.hikari 설정값도,pool-name 만 다르고,minimum-idle : 10maximum-pool-size: 10idle-timeout: 60000max-lifetime: 90000connection-test-query: SELECT 1입니다.다만, DB만 다릅니다.둘다 오라클이긴 하지만,프로젝트A는 IDC박스? 뭔가 기존 방식의 DB입니다. HOST가 IP주소같이 되어있고,프로젝트B는 RDS방식으로 HOST가 웹사이트URL로 되어있습니다. 아마존AWS입니다.제가 하도 이상해서,프로젝트B에서 사용자 계정 적재할 때,READ, WRITE 을 지우고리스트로 SELECT한다음에 FOR를 돌려서 적재하려고 했는데이 때 부하날까봐 스텝1을 제외한 나머지 스텝은 주석처리 했고,리스트 50개만 하고 진행하였고,50개 도는데 첫날은 8분동안 50개을 읽었고,두번째날은 10분동안 50개를 읽었습니다.타임아웃 등 FAIL은 안났고, 배치는 종료되었습니다.DB랑 연동은 된다는 겁니다.혹시 인덱스가 문제 있나인덱스의 망가짐 정도를 찾아봐서쿼리를 돌려봤으나 딱히 성능이 저하되었다는 인덱스는 보지 안보였습니다.사용자 계정의 인덱스는 프로젝트A,B 모두 3개씩 가지고 있습니다.인덱스가 있더라도인설트 업데이트가 자주 일어나면 DB성능이 저하가 된다고 하는데,인덱스 리빌드를 하면 될까요?DB에 문제가 되면 DBA한테 확인 요청을 할건데,그 전에는 할 수 있는 것은 다 해봐야할 것 같습니다.어떤 걸 더 하면 되는지 아시는 분 있으실까요?저번에 DBA 한테 프로젝트B의 설정 환경을 물어보니,정상이라고 했습니다.혹시 테이블 자체가 문제일 수도 있을까요?조금이라도 아시는 분 있으면 답글 부탁드립니다.정말 도움이 필요합니다.

라떼개발자 · Answer

aws 라이브러리 이용해서 적재하시는거지요?아마 http request 방식이라 오래걸려서 time out 나는게 아닌가 싶어요

동도인 · Answer

maximum-pool-size: 10 는 늘려 보셨을까요?오라클 은 잘 모르지만 오라클 내부의 최대 커넥션 수 확인해보는 것도 좋을거 같습니다.

톰소여 · Answer

대략 보니까..프로젝트 A 는 IDC 에 있는 오라클 DB를 사용하고프로젝트 B 는 AWS에 있는 오라클 DB를 사용하지만 IDC에 있는 오라클 DB를 spring batch로 동기화 해서 사용하는 것 같은데요..그러면 프로젝트 B는 IDC, AWS 디비를 둘다 물고 있는 거네요?스텝을 나누어서..IDC에서 데이터를 가져오는 부분과 AWS DB에 올리는 부분의 스텝을 나누어서 tx가 둘 다 동시에 물리지 않게 되어 있는지 체크해보세요. 만약 동시에 tx가 걸려있다면 한 쪽은 timeout이 발생할 수도 있겠네요.

[스프링배치]오라클 DB 속도 개선 문의드립니다.

3개의 답변

#batch 목록