ChatGPT API 사용하시는분 있나요? 속도 원래 느린가요?

Question

Vue.js와 axios를 사용하는 환경에서 gpt-3.5-turbo 모델을 무료크레딧(5달러)로 사용하고있는데요,

간단한 인삿말에도 답변수신까지 대략 40초씩은 걸리는것같습니다.

  const apiUrl = "https://api.openai.com/v1/chat/completions";

  const data = JSON.stringify({
    messages: [
      {
        role: "user",
        content:
          message,
      },
    ],
    max_tokens: 400,
    model: "gpt-3.5-turbo",
  });

  try {
    const response = await axios.post(apiUrl, data, {
      headers: {
        "Content-Type": "application/json",
        Authorization: `Bearer ${apiKey}`,
      },
    });

코드에서 문제는 안보이지만 일단 첨부합니다..

원래 이렇게 느린건가요?ㅠㅠ 답답해서 못쓰겠네요

테스트맨 · Answer

순간적으로 트래픽 몰리면 느린듯함..
빠를땐 엄청빠름요.

그리고 ChatGPT 처음 나올 때 속도에 비하면 지금 진짜 개빠른거에요;

오후 · Answer

무료 : 유료처리하고 남는자원가지고 처리

킁킁탐정 · Answer

유료로 크레딧 결제해서 사용하고 있는데 openAI API 속도에 문제가 많습니다.

다음의 글을 보시면 관련된 내용이 있고 최근까지 글이 올라오는걸 볼 수 있습니다.

https://community.openai.com/t/chatgpt-api-responses-are-very-slow/98688/32

참고로 gpt 3.5 turbo 모델 API 이용할때 5분 넘게 걸린적도 수두룩 합니다.

그나마 해결책은 gpt 4을 사용하면 체감될 정도로 몇배는 빠르게 응답을 받을 수 있습니다.

ChatGPT API 사용하시는분 있나요? 속도 원래 느린가요?

3개의 답변

Q&A 목록