Django로 크롤링 구현 중인데 crontab 또는 Celery로 DB접근을 못하겠습니다..

Question

네 제목그대로입니다.현재 구성은 장고를 웹프레임워크로 사용해서,사용자가 url접속 시 장고가 DB에서 데이터 긁어다가 사용자 웹에 보여주는 구성이구요.크롤링을 매 사용자 요청시에 하기엔 느릴 거 같아서, 백그라운드 형식으로 주기적으로 돌려주려고 하는데문제는 장고의 DB에 celery나 cron이 어떻게 access 하는지를 모르겠습니다. 일단 구현이 목표라 쉬운 방식을 취해서 완성부터 시켜볼 생각인데, 두 방법 외에는 백그라운드에서 크롤링하는 방법은 잘 안나오더라구요. 혹 예제같은걸 찾아볼 수 있는 사이트가 있으면 추천좀 부탁드립니다. 감사합니다.

올게더링 · Answer

차라리 크롤링만 뚝 떼서 장고와 연관없이 구현해두고 해당 크롤링파트(파이썬파일)를 cron으로 실행하여 장고에서 만들어놓은 모델(sqlite3)에 덮어써볼까 했는데, 이것도 결국은 cron이 디비에 접속하는 문제를 해결해야하는 것은 똑같더군요... 현재 너무 막막한 상태라 뭐든 좋으니 힌트 부탁드립니다.

Django로 크롤링 구현 중인데 crontab 또는 Celery로 DB접근을 못하겠습니다..

1개의 답변

#celery 목록