Airflow selenium (크롤링 질문)

Question

안녕하세요. 혼자 airflow로 크롤링 코드를 관리해보려고 하다가 생긴 문제입니다.Airflow의 하나의 task로 PythonOperator를 사용하고 있습니다.해당 파이썬 코드안에는 selenium을 사용한 코드가 작성되어 있습니다.driver &#61; webdriver.Chrome() while True: .... 크롤링 코드 if 페이지가 더이상 존재하지 않는다면: driver.quit() break 크롤링된 데이터를 가지고 전처리 하는 코드 ...이런 구조로 코드가 이루어져 있습니다.Airflow로 이 Task를 실행시키면 전부 잘되다가 driver.quit()을 만나는 순간 break로 내려가지 않고 그냥 작동이 멈춰버리는 현상이 일어나는데 혹시 어떤게 문제인지 제가 뭘 잘못하고 있는지 알려주실분 계신가요..

Airflow selenium (크롤링 질문)

0개의 답변

#airflow 목록