MelRanG
639
2020-03-17 19:25:07
4
333

크롤링에서 F12와 페이지소스보기의 차이


도서사이트에서 검색했을 때 결과값을 크롤링하려고 합니다.

F12눌러서 나오는 값에는 li태그에 책 제목이 적혀있는데 페이지 소스보기를 하니까 ul과 li가 보이지 않고

큰틀??만 있습니다. 크롤링으로 긁어오니 마찬가지로 큰틀만 긁어오구요... 왜이런건가요??

0
  • 답변 4

  • programmerEgg
    1k
    2020-03-17 19:28:10

    혹시 해당 ajax로 도서 정보를 받아오는게 아닌지요?

  • MelRanG
    639
    2020-03-17 19:31:55

     

    그건 어떻게 확인하나요?? 혹시 ajax로 받아오면 못긁어오는건가요?

  • charny
    105
    2020-03-17 20:02:00

    ajax로 해당 페이지를 요청하게 되면 서버에서 응답해주는 데이터를 받게 됩니다. 

    근데 저 사이트는 클라이언트 사이드 렌더링을 하고 있기 때문에 서버에서 응답해주는 기본 소스에는 큰 틀밖에 없는데요.

    이런 경우에는 puppeteer 같이 직접 브라우저 접속을 구현해주는 크롤러 모듈을 사용하셔야 원하는 데이터를 크롤링 할수 있습니다

  • MelRanG
    639
    2020-03-17 20:11:28

    @ charny

    감사합니다!!!!

  • 로그인을 하시면 답변을 등록할 수 있습니다.