이쿠소
90
2019-02-08 21:00:37
3
416

실시간 크롤링에 대해서


안녕하십니까! 개발자를 희망하는 학생입니다.


현재 스프링 기반 크롤링 기술을 학습하고자하는데,


실시간으로 크롤링을 계속하는 방법에는 


무엇이 있을까요??


구현가능한지는 모르겠으나


스프링 내에서도 자바처럼 스레드를 생성해서


계속적으로 똑같은 페이지의 html을 가져오는


방법도 가능한건지,


혹은 크롤링 관련코드를 적어놓은 리퀘스트에서 


리턴타입이 없도록 설정하고 해당 메소드를 


재귀호출해서 실시간으로 갱신된 html을 


따올 수 있는지,


혹은 좋은 방법이 있는지 궁금합니다.


선배님들께서 방향성이나 정답을 알고계신분께서 


조언해주시면 감사하겠습니다!

0
0
  • 답변 3

  • bzietro
    130
    2019-02-08 21:11:47

    저도 공부중인 학생인데요

    저희 팀은 이전 프로젝트에서 node.js 사용해서 크롤링 했는데 스케줄러를 사용해서 주기적으로 긁어오게 했어요

    예를 들어 다음 영화 박스오피스 데이터를 12시에 가져와서 새로 뿌려주는 방식이었어요

    Spring도 아마 비슷한 부류가 있는 걸로 알고있어요


    0
  • 노넨
    689
    2019-02-08 21:18:54

    @Scheduled 어노테이션을 사용해서 특정 시간마다 돌게 하고

    jsoup으로 크롤링해오면 되지 않을까요?

    0
  • 이쿠소
    90
    2019-02-11 13:16:25
    답변 감사합니다! 웹소켓을 사용하면 가능하다는 말을 듣고 웹소켓이나 파이어베이스쪽으로 알아보고 있습니다!
    0
  • 로그인을 하시면 답변을 등록할 수 있습니다.