OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
celery
전체
최신순
질문하기
해결
1
Danny Lee
·
1년 이상
413
0
해결 1
Python에서 Celery와 RabbitMQ 사용에 대한 Redis를 사용하여 Rocking 하는 방법
현재 제 프로세스는 이렇습니다. Client -> Backend -> Celery -> RabbitMQ -> worker -> Backend -> Client클라이언트 전송 요청 celery_app.task(name='core.worker.tasks.send) url = f'http://{BACKEND_API}:port/api/system/send/task' response =
답변
1
시나몬롤먹고싶다
·
1년 이상
352
0
답변 1
Python MySQL 에서 대용량 데이터 처리 시 Bulk Insert vs Convert CSV + LOAD DATA INFILE
Celery Task에서 Insert 처리를 합니다. 데이터의 총량이 대략 50~100GB라고 할 때, 전자와 후자 중 어떤 방식이 성능이 더 좋을까요? 현재 전자의 방식으로 구현했습니다. 혹은 다른 좋은 방법이 있으시다면 알려주시면 감사하겠습니다
답변
0
시나몬롤먹고싶다
·
1년 이상
168
0
답변 0
celery 방식이 prefork일 때, 마지막 task의 처리 여부를 확인하는법?
현재 파이썬을 이용하여 celery task를 처리하고 있습니다. 메인 프로그램에서 파일을 한줄한줄 읽으며 celery로 job을 보내는데, 보낸 모든 job의 처리가 완료되면 DB에 기록을 하려고 합니다. 다만, prefork 방식에선 마지막 작업을 명시해도 마지막 작업이 마지막에 처리된다는 보장이 없기에 이를 어떻게 처리해야할 지 고민입니다. redis를 이용해 job 카운트를 해보았는데도, get하는 시점이 같으면 get이 정확히 이루어지지 않는
답변
0
포도봉봉이
·
거의 2년
261
0
답변 0
Celery + RabbitMQ
안녕하세요 celery + RabbitMQ로 테스크 관리하고 있는데, celery beat로 스케줄 걸어놓았는데, celery worker와 beat를 둘 다 종료시켜도, queue에 task 메시지가 담겨 있는지 다시 껐다 켜면 worker에 task가 우루루 쏟아지더라고요 -> celery work를 실행시키기 전, queue에 쌓여 있는 것들을 모두 제거하고 싶은데 방법이 있을까요?
답변
0
포도봉봉이
·
거의 2년
328
0
답변 0
Celery + FastAPI) Database Session 의존성 주입
안녕하세요 프레임워크는 FastAPI를 사용하고 있고, 이번에 Celery를 이용해서 웹과는 별도로, 내부에서 작업 스케줄링을 걸려고 하고 있습니다. Celery 작업에서도 DB를 이용하는 작업이 있는데 문제가 지금 Database Session 연결을 FastAPI의 Depends 의존성 주입 시켜놓아서, 정의된 라우터(URL path)로 요청이 들어올 때만 제너레이터(yield)를 이용해서 Session을 생성하는 방식으로 되어 있어서요 # da
답변
2
django사용자
·
약 4년
500
0
답변 2
서버에서 오래걸리는 작업을 할 때 504 time out error를 피하는 방법
유저가 요청을 하면 그 요청을 토대로 youtube를 다운 받고 gif를 변환한 후 gif를 return 해주는 웹 프로젝트를 진행중입니다.그런데 영상을 다운 받고 gif로 변환하는 시간이 워낙 길다보니 Timeout error가 발생합니다.그래서 영상을 다운 받고 gif로 변환하는 과정을 celery를 이용해서 비동기 처리로 돌려놨는데요.이렇게 되면
답변
1
올게더링
·
거의 6년
591
0
답변 1
Django로 크롤링 구현 중인데 crontab 또는 Celery로 DB접근을 못하겠습니다..
네 제목그대로입니다.현재 구성은 장고를 웹프레임워크로 사용해서,사용자가 url접속 시 장고가 DB에서 데이터 긁어다가 사용자 웹에 보여주는 구성이구요.크롤링을 매 사용자 요청시에 하기엔 느릴 거 같아서, 백그라운드 형식으로 주기적으로 돌려주려고 하는데문제는 장고의 DB에 celery나 cron이 어떻게 access 하는지를 모르겠습니다. 일단 구현이 목표라 쉬운 방식을 취해서 완성부터
답변
2
bbubbu
·
약 7년
2.4k
0
답변 2
django celery 통한 progress bar
안녕하세요. 취미삼아 만들고있는 장고로 웹페이지를 만들고있습니다.사용자가 특정 작업을 요청하면 해당 작업을 백그라운드에서 실행시키고 사용자가에 완료의 정도를 나타내는 바를 보여주고 싶습니다. 그래서 찾아보니 celery 라는게 있더군요. 비동기를 통해 서버에 요청해서 해당작업을 추적해서 값을 돌려주는? 그런식인거 같은데, 튜토리얼을 찾아봐도 잘안되네용 뭐가문제일까요.pro.html은 다음과 같습니다.
Search Bar
