서버에서 오래걸리는 작업을 할 때 504 time out error를 피하는 방법

Question

유저가 요청을 하면 그 요청을 토대로 youtube를 다운 받고 gif를 변환한 후 gif를 return 해주는 웹 프로젝트를 진행중입니다. 그런데 영상을 다운 받고 gif로 변환하는 시간이 워낙 길다보니 Timeout error가 발생합니다. 그래서 영상을 다운 받고 gif로 변환하는 과정을 celery를 이용해서 비동기 처리로 돌려놨는데요.이렇게 되면 어떻게 user에게 file을 return 해야하는가가 또 문제로 다가옵니다... Ajax를 사용한다고 하더라도while 문을 계속 돌면서 다운로드 혹은 변환 중인지 확인하는 신호를 post 하고False(아직 다운 및 변환 중)이라면 sleep 후 다시 또 요청.. 이런식을 생각해봤는데이러면 페이지를 벗어난 경우에는 결국 연결이 끊겨서 File을 return 못 해주는 상황이 아닌지.. 시간이 오래 걸리는 작업을 할 때, 실제 회사들은 어떻게 처리를 하고 웹에서 큰 파일을 다운 받을 때어떻게 연결성을 유지 하나요..? 그 페이지를 벗어나도 다운이 어떻게 되는지 궁금합니다.어떤 식으로 검색을 해봐야하는지 감이 안 잡히네요

ㅇㅋ · Answer

해당유형의 서비스를 구축해본적은 없지만 간단히 생각나는 flow 로는 세션 or 로그인 기반 연관정보 같은 정보테이블을job_translate_media ( pk string, -- 작업 고유 아이디 id string, -- 세션 or 레지스터드 아이디 dt timestamp, -- 요청시간 data string -- 최종 다운로드 uri progress number -- 작업 진행율 퍼센티지 status number -- 다운로드 받기전 / 다운로드 받아감 / 변환중 에러 / ... );대략 뭐 이런식으로 NoSQL 이나 DBMS 에 만들어놓고세션이 요청한 변환건수 만큼 background job 시작 과 동시에 job_translate_media 에 등록 및 업데이트 이렇게 하면 사용자가 요청한 건에 대해 개별 리스팅도 가능할것 같고다운로드 받을것이 있으면 알려주기도 가능할것 같네요.

django사용자 · Answer

감사합니다! 그런 방식으로 접근해도 되겠네요!

서버에서 오래걸리는 작업을 할 때 504 time out error를 피하는 방법

2개의 답변

Q&A 목록