[Cost] LLM token/cost/latency 기록 및 집계 기반 구현

[yoonki1207]

작업 설명

현재 Gateway, Audit, Trace 이슈는 존재하지만 비용 관측을 독립적으로 다루는 이슈는 없다. Enterprise LLMOps에서는 workflow, organization, model 단위 비용 추적이 필요하다.

상세 작업

• LLM 호출별 input/output/total token 저장
• provider/model별 단가 기준 cost 계산
• request latency와 provider latency 분리 저장
• organization, workflow, node, model 기준 집계 가능하도록 필드 정리
• 기존 llm_usage_logs 또는 관련 로그 테이블과 연결 방식 확정

완료 조건

• LLM 호출 1건마다 token, cost, latency가 기록된다.
• workflow별 총 비용을 계산할 수 있다.
• organization/model/provider 기준 집계 쿼리가 가능하다.

참고 사항

• access token / refresh token 저장 방식 결정 필요

[linear-code]

MBA-25