Python에서 Celery와 RabbitMQ 사용에 대한 Redis를 사용하여 Rocking 하는 방법

Question

현재 제 프로세스는 이렇습니다.Client -> Backend -> Celery -> RabbitMQ -> worker -> Backend -> Client클라이언트 전송 요청 celery_app.task(name='core.worker.tasks.send)url = f'http://{BACKEND_API}:port/api/system/send/task'response = requests.post(url, json=invoice, cookies=cookies, headers=headers)서버 Celery 코드@router.post("/send/task")info_list = [] info_list 리스트는 task에 보낼 정보들을 삽입합니다.task = send_task.delay(invoice_info_list, dict(request.cookies), dict(request.headers))이런식으로 유지했지만, 아래와 같은 문제점이 발생했습니다.현 사용자와 다른 사용자의 전송 동시 요청 -> 데이터 중복성 문제어쩌면 당연한 얘기겠지만 한번 요청 하고 worker queue에 요청이 많이 쌓였다는 가정하에 서버를 재 구동하면 그동안 쌓였던 queue 요청들이 모두 전송 요청 실행ex : 메일 중복 전송 한번에 20번 전송....그래서 한번 보내고 방법을 찾아내 보았습니다.방법 1. 기존 Celery 작업 조회 후 중복 요청 방지특정 클라이언트가 요청을 보낼 때 다른 클라이언트들이 동시에 같은 작업을 중복 실행 방지이에 따른 해결법으로 간단하게 전송 key로 "send_task" , value로 task.id 를 Redis에 저장매 실행 시 Redis의 key로 task.id 를 조회, 가져온 task.id로 작업중인지 판별 후 작업중이지 않다면 전송 작업 실행이런 방법을 고안해 냈지만 더 효율적이고 좋은 방법이 있지 않을까해서 게시글 남겨봅니다.1. Distributed Lock (분산 락) 사용2. Celery Singleton 패턴 적용같은 방법도 있다는데... 실행해보신 경험자분들이 있다면 댓글 부탁 드립니다.

캐티 · Accepted Answer

애초에 분산 처리는 같거나 유사한 작업에 기준이 중요하빈다. 일반적으로 유니크 아이디를 사용하고, 특별한 경우에 일정한 그룹은 유니크 키를 공유하고 레이트 리미트를 걸어주겠쩌. 1초나 10초에 1번만 처리하도록 하여도 좋을거여요. 이럼 아까운 트랜젝션을 낭비하지 않아도 되겠쩌. 정답이 없고 하려는 목적이 분명해야 하빈다.

Python에서 Celery와 RabbitMQ 사용에 대한 Redis를 사용하여 Rocking 하는 방법

1개의 답변

Q&A 목록