dhrgml830
1k
2021-04-29 15:45:50
2
279
#928968 Tech Q&A

고수님들 크롤링 조언좀부탁드려요~~

안녕하세요.

최근 크롤링해보고싶은게있어서 보고있는데요~


https://cafe.bithumb.com/view/boards/43

여기사이트 공지목록을 가져오고싶은데 httpUrlConnection으로 전체 html은 가져와지는데 


api 방식으로 목록만 받아올수있는 방법이 있을가요??


조언좀 부탁드려요~~

0
0

  • 답변 2

  • RWB
    1k
    2021-04-29 15:54:14

    빗썸 요청 들어오는거 보니까 API 호출해서 렌더링하는게 아니라, 애초에 서버사이드에서 URL 호출 시 리스트 자체를 렌더링해서 출력해주는 거 같네요.


    이 경우 서버에서 HTML에 리스트를 때려박아서 넣는거라, 이런 형태의 크롤링은 통짜 HTML 가지고 파싱할 수밖에 없습니다.

    빗썸 API에 공지목록 관련 API가 있는지 찾아보는게 베스트겠지만, 아마 없을 것 같네요.

    0
  • dhrgml830
    1k
    2021-04-30 09:15:14 작성 ∙ 2021-04-30 09:15:29 수정됨

    RWB님 친절한답변 감사합니다!!


    0
  • 로그인을 하시면 답변을 등록할 수 있습니다.