rora
30
2022-04-06 00:16:21
0
58

airflow celery 모든 큐에 동일 task 실행(task_id 동일하게)


celery worker가 3대 있고 각각 queue1, queue2, queue3 라고 합니다

대그에서


xxxOperator(..

...,

queue=queue1,

args=default_args

) 이런식으로 queue1 을 지정하는데

1개의 task를 모든 큐에서 실행하는 깔끔한 방법 없을까요?(task_id가 동일하게 하면서)


task_queue1 >> task_queue2 >> task_queue3

이런식으로 각각 쪼개서 만들자니 task_id도 모두 다르게 해야되서(중복에러나니까).. 

혹시 같은 task_id로 모든 큐에 던지는 좋은 예제가 있을까요?


0
  • 답변 0

  • 로그인을 하시면 답변을 등록할 수 있습니다.