스즈흐
541
2019-12-10 10:33:45
3
255

rest api 호출을 여러번 하려고하는데요!!


안녕하세요 okky님들

서버에서 rest api를 호출해야 할 일이 있어서 질문드립니다.

open api중에서.. 전체 데이터가 필요한데.. 전체 조회는 제공해주지 않아서

2009년부터 현재까지 * 조건1 * 조건2 *조건 3* 조건4... 등등으로 요청만 60만번 정도해야 할 작업이 있습니다..


작업내용은

get rest api 60만번 요청 -> 60만 * (데이터가공) -> insert 

인데요.


url openconnection으로 작업을 진행을 했었습니다만, readtimeout을 1분으로 해도 readtimeout이 발생하기도 하고 하루동안 돌려놔도 데이터를 다 call하지도 못했더라구요!


1. http request 할 때 라이브러리별로 속도 차이가 있을까요? 

2. 어떤 식으로 구현을 해야 timeout이 없고, 가장 빠른 방법으로 api를 호출하고 insert 할 수 있을까요 ..?

멀티쓰레드를 사용해야할까요? 




조언부탁드립니다. 감사합니다!

0
0
  • 답변 3

  • 드코
    2k
    2019-12-10 10:50:31 작성 2019-12-10 10:51:22 수정됨

    일단 하루가 아니더라도 조금씩 2~3일 나눠서 전체건을 다받은 후 그다음부터는 신규건만 일자기준같은거로 받으면 될거 같습니다.


    또는 해당 api 업체한테 전체건을 잠시 열어줄 수 있는지 문의를 해보는 방법도 있고 api업체에 어떠한 방식이 있을지 문의를 해본느거도 좋을거 같습니다.

    0
  • 스즈흐
    541
    2019-12-10 10:56:37

    드코 답변 감사합니다!

    말씀하신대로 전체건을 다 받고 그다음부터는 신규건만 일자 기준으로 돌리려고 하고 있습니다! 그리고 업체에서는 불가능하다고 하네요 ㅠㅠ 그런데 전체 건을 받을경우 기술적으로 접근하면 어떤 방법이 더 나을지 조언해주시면 더욱 감사하겠습니다!



    0
  • 스즈흐
    541
    2019-12-10 23:27:25

    java executors로 runnable 구현해서 해결했습니다

    감사합니다 

    0
  • 로그인을 하시면 답변을 등록할 수 있습니다.