작업 설명
LLM Gateway pod을 별도로 추가하고, Workflow Engine의 LLM 요청이 Provider API를 직접 호출하지 않고 LLM Gateway를 통해 호출되도록 변경한다.
현재는 Workflow Engine이 저장된 Provider base URL과 API Key를 사용해 OpenAI/Anthropic/Google API를 직접 호출한다. 운영 환경에서는 LLM Gateway를 통해 routing, fallback, rate limit, 비용 추적, 감사 로그, provider key 보호를 중앙화하는 구조가 적합하다.
상세 작업
- 사용할 LLM Gateway 구현체 결정
- Helm chart에
llm-gateway Deployment/Service/Secret 추가
- LLM Gateway config 및 provider credential 주입 방식 정의
- Workflow Engine의 LLM 호출 base URL을 LLM Gateway로 라우팅하도록 변경
- 직접 Provider 호출과 LLM Gateway 호출을 전환할 수 있는 feature flag/env 추가
- Chat completion, embedding 호출 모두 Gateway 경유 가능 여부 확인
- LLM Gateway health check/readiness probe 추가
- 로컬 Docker Compose 또는 Helm local 환경에서 테스트 방법 추가
- 기존 LLM node, RAG/retrieval, wizard 기능 회귀 테스트
참고 사항
- 현재 Moduly의
gateway는 API server이므로 LLM Gateway와 구분 필요
- 목표 경로:
Workflow Engine -> LLM Gateway -> OpenAI/Anthropic/Google
- LiteLLM을 사용할 경우 OpenAI-compatible endpoint를 기준으로 통합 가능
- Organization-level Credential 전환 작업과 연계되지만, 인프라/라우팅 변경 이슈로 별도 관리 권장
작업 설명
LLM Gateway pod을 별도로 추가하고, Workflow Engine의 LLM 요청이 Provider API를 직접 호출하지 않고 LLM Gateway를 통해 호출되도록 변경한다.
현재는 Workflow Engine이 저장된 Provider base URL과 API Key를 사용해 OpenAI/Anthropic/Google API를 직접 호출한다. 운영 환경에서는 LLM Gateway를 통해 routing, fallback, rate limit, 비용 추적, 감사 로그, provider key 보호를 중앙화하는 구조가 적합하다.
상세 작업
llm-gatewayDeployment/Service/Secret 추가참고 사항
gateway는 API server이므로 LLM Gateway와 구분 필요Workflow Engine -> LLM Gateway -> OpenAI/Anthropic/Google