더밝은
130
2019-01-05 18:00:02
0
330

웹 크롤러 질문입니다


구글 이미지 검색에서 사진을 다운받는 크롤러를 만들려고 합니다

div jscontroller="Q7Rsec" 부분이 모든 사진에 공통적으로 있어서, BeautifulSoup의 find_all을 이용해서 페이지에 있는 모든 사진의 xpath을 가져오고 싶습니다



import requests

def get_html(url):
    _html = ""
    req = requests.get(url)
    if req.status_code == 200:
        _html = req.text
    return _html

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome('/Users/Admin/Documents/Python/chromedriver.exe')

driver.implicitly_wait(3) #3초 기다림

driver.get('https://www.google.co.kr/imghp?hl=ko')
source = driver.page_source
driver.find_element_by_name('q').send_keys('nanachi')#사이트를 열고 검색 칸에 검색어를 입력
driver.find_element_by_xpath('//*[@id="sbtc"]/button').click()

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
test = soup.find('div' jscontroller="Q7Rsec") #<- 이쪽 부분이 막힘
print(test)

https://kimdoky.github.io/python/2017/06/13/python-crawling.html


이 강좌를 참고하여 만들고 있습니다.

0
0
  • 답변 0

  • 로그인을 하시면 답변을 등록할 수 있습니다.