여러 LLM API를 통합하는 게이트웨이를 만들었습니다 — 피드백 부탁드립니다

안녕하세요. OrcaRouter라는 LLM API 게이트웨이를 만드는 팀에서 일하고 있습니다. 홍보 글로 보일까 조심스럽지만, 같은 고민을 해보셨을 분들께 피드백을 받고 싶어 올립니다. (만든 쪽 사람이라는 점 먼저 밝힙니다.)

여러 모델을 쓰다 보면 provider마다 키·과금·SDK가 따로 놀고, 모델을 바꾸거나 장애가 났을 때 코드와 운영이 번거로운 점이 계속 걸렸습니다. 그래서 OpenAI 호환 엔드포인트 하나로 묶는 게이트웨이를 만들어 봤습니다.

대략 이런 식입니다:

• 키 하나로 200+ 모델 (OpenAI, Anthropic, Google, DeepSeek, Qwen 등)

• OpenAI 호환이라 base URL만 바꾸면 기존 코드 거의 그대로 사용

• 요청 난이도에 따른 자동 라우팅 (라우팅 오버헤드 ~1ms 미만)

• provider 장애 시 자동 failover, 통합 과금·사용량 상한

• 토큰 마크업 0%, 비용은 직접 호출 대비 ~40% 절감

• 셀프 호스팅이 필요하신 분들을 위해 오픈소스 버전(OrcaRouter-Lite, MIT, Docker)도 공개했습니다

특히 이런 점들에 대한 솔직한 피드백을 듣고 싶습니다:

• 난이도 기반 라우팅이 실제 워크로드에서 의미가 있을지

• 게이트웨이를 하나 더 두는 것에 대한 우려(지연·단일 장애점·데이터)

• self-host로 운영하실 때 "이건 꼭 있어야 한다" 싶은 기능

엔터프라이즈/SI 환경에서 여러 모델을 운영해 보신 분들의 의견이면 더 감사하겠습니다. 부족한 점이나 "이건 아니다" 싶은 부분도 가감 없이 말씀해 주세요.

• Quickstart: docs.orcarouter.ai/getting-started/quickstart

• GitHub (Lite): github.com/Continuum-AI-Corp/OrcaRouter-Lite

읽어주셔서 감사합니다.