대학교 1학년 웹크롤링 완전 기초 질문

Question

안녕하세요. 코딩 완전 초보자입니다. 현재 웹 크롤링 기초에 대해 배우고 있고 교보문고 웹에서 2024년 종합 연간 베스트셀러 제목 50개를 추출하는 과제를 받았습니다. 그런데 첨부한 사진처럼 제목 셀렉터를 명확히 찾을 수가 없습니다. 멜론차트 100위를 추출할때는 제목 셀렉터가 명확해서 찾기가 쉬웠는데 이사이트는 그렇지가 않네요. 제목을 따로 추출할 편리한 방법이 있을까요? AI와 유튜브를 총동원해도 통 알수가 없어 질문드립니다.

개나소나고생 · Answer

이걸..어떻게 답변 줘야 할지..아무도 모를듯요..

파아란_푸딩 · Answer

첨부된 사진이 깨져서 나옵니다...그리고 이런 류의 질문은 어떤 라이브러리, 어떤 코드를 사용하는지 같이 작성해주셔야 합니다. 크롤링이니 어떤 페이지가 대상인지도요.이 페이지인 것 같은데, 일단 셀레니움 사용하는 것으로 간주하겠습니다.아래 코드는 첫 페이지 목록만 출력하고 추가 크롤링은 page 변수를 만들어 놓았으니 응용해서 구현하시기 바랍니다.과제이니만큼 전부 도와드리는 건 아닌 것 같네요. 하다가 막히시면 또 질문 주세요.from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options = Options() options.add_argument("--headless=new") options.add_argument("--disable-gpu") options.add_argument("--no-sandbox") options.add_argument("--disable-dev-shm-usage") driver = webdriver.Chrome(options=options) try: year = 2024 page = 1 driver.get(f"https://store.kyobobook.co.kr/bestseller/total/annual?page={page}&ymw={year}") wait = WebDriverWait(driver, 10) a_tags = wait.until( EC.presence_of_all_elements_located( ( By.XPATH, "//a[contains(@class,'prod_link') and not(*)]" ) ) ) for rank, a in enumerate(a_tags, start=1): title = a.text link = a.get_attribute("href") print(rank, title, link) finally: driver.quit()

대학교 1학년 웹크롤링 완전 기초 질문

2개의 답변

Q&A 목록