Open AI Batch API 사용하시는 분 계신가요

Question

각 요청당 수십~수백바이트의 문자열의 후처리를 부탁하는 기능을 개발하고 있습니다이 요청을 실 서버 배포용은 2천건 곱하기 3, 로컬에서 테스트할 때는 수십~백건 곱하기 3 해서각 시도마다 배치 3건으로 보내는데요건수에 차이 없이 요청 시간의 편차가 엄청날 때가 있어요예를 들어서 2천건을 보냈을 땐 바로 in progress 가 시작되서1999 / 2000 즈음에서 좀 뜸 들이다가 응답해도 10 ~ 15분만에 끝날 때가 있는가 하면백건을 보냈을 땐 in progress 0 건에서 계속 머물러 있다가30분이 지나서야 처리되기 시작하고 그러네요처리 자체 속도는 빠른데처리가 시작되는 시간이나 최종 응답 시간까지의 편차가 엄청나면그냥 한 번의 요청에 최대한 많이 보내는게 이득일까요?아니면 일정 시간이 지나면 기존 요청을 취소하고 재요청을 넣어서내부 작업 큐에서 우선 순위로 배치 받기를 기도할까요?최종적으로는 백만건이 넘게 쌓인 데이터를 24시간 돌아가는 스레드로 처리해야 되는데개별 요청으로 처리하는거보다는 훨씬 빠르기를 기대하고 있거든요그런데 저렇게 편차가 심하다면 24시간 내 응답을 목표로 하는 batch 이니아예 한번에 엄청 많이 보낼까 고민하고 있습니다배치 작업 API 관련해서 개발해보신 분이 있다면 조언 부탁드립니다

Open AI Batch API 사용하시는 분 계신가요

0개의 답변

Q&A 목록