후다다닥
371
2017-11-27 14:35:42 작성 2017-11-27 14:39:46 수정됨
3
1102

jsoup 크롤링 연습 - 한 사이트의 리스트 크롤링해오기


어느 한 사이트에 있는 리스트들을 크롤링 해오는 걸 연습중입니다.

jsoup도 어느정도 써보고 금새 할 줄 알았는데요.

일단 jsoup은 단순히 html의 태그의 id나 class로 해당 텍스트를 따오는걸로 알고 있는데,

지금 제가 크롤링 할려는 사이트가 리스트를 뿌려주는 방식이 기간 별로 되어있습니다.

한 마디로 특정 기간을 선택해 검색을 하면 그 해당 기간에 있는 리스트들만 가져오는 형태인 것 같습니다.


즉 컨트롤러나 db단에서 검색 조건에 맞게 리스트를 불러오는거 같은데

jsoup으로 크롤링을 하려면 제가 컨트롤러나 db단의 코드를 건들 수 있는게 아니니까

가져올 방법이 없는건가요? 어떻게 해야 하나요?

0
  • 답변 3

  • 재민
    608
    2017-11-27 14:48:49

    리스트 받아오는 url을 동적으로 넣어줘서 가져오면 되지않을까요?

  • 후다다닥
    371
    2017-11-27 14:50:34

    그럴려고 했는데 url은 같은 페이지 안에서 동작하는거라 url로만 판단하긴 힘들거같더라구요

    post방식인거같습니다.

  • 재민
    608
    2017-11-27 14:52:27

    https://stackoverflow.com/questions/10012399/how-to-post-data-into-website-using-jsoup


    이런방식으로 하면 되지 않을까요. post방식이면

  • 로그인을 하시면 답변을 등록할 수 있습니다.