spring batch 전략

Question

batch를 이용해서 공공데이터 api를 호출하여 db에 적재하는걸 프로젝트에 도입하려고합니다.제가 batch에 대해서 잘은 모르지만 jenkins, spring batch를 이용해서 간단하게 공공데이터 포털 api 호출 후 db에 적재를 해보았는데 jenkins에서 파라미터로 start_date, end_date, page_no을 주입합니다. 하지만 특정 page_no일때 오류가 나면 batch 메타테이블에 저장이 되는걸로 알고있습니다. batch를 2가지 상황으로 생각을 해보았습니다. step 1번 작동 할 때마다 공공데이터 api 1번 호출입니다. 그래서 제가 직접 체감한건 아래 장단점으로 생각을 했는데 어떻게 해야 할 지 모르겠습니다. batch를 처음 접하다보니 고려할것도 많네요ㅠㅠjob 1번 실행하면 step이 반복적으로 실행(page_no이 1씩 자동 증가)job 1번 실행 할 때 step도 1번 실행(page_no이 1씩 자동 증가)job 1번에 step 반복적:장점: 메타 테이블에 db 용량을 많이 안채울 수 있다.단점: StepExecutinConcept이였나 그 테이블에 몇번째 pageNo일때 오류가 났는 지 확인 할 수 는있지만 이를 디코딩하고 자바 역직렬화 해야함=====================job 1번에 step 1번:장점: 몇번째에서 오류가 났는지 db에서 쉽게 알 수 있음단점: job 횟수만큼 db에 용량이 참

spring batch 전략

0개의 답변

#batch 목록