Skip to content

Latest commit

 

History

History
18 lines (13 loc) · 719 Bytes

File metadata and controls

18 lines (13 loc) · 719 Bytes

任务描述

实现渠道级别的流式请求支持配置,包括:

  1. 支持流式和非流式(默认)
  2. 仅支持流式
  3. 仅支持非流式 在请求路由时根据请求的流式属性和渠道配置进行匹配筛选。

需要修改的核心组件

1. 渠道设置存储结构

2. 渠道筛选逻辑

当前的渠道筛选在 model/channel_cache.go 中的 CacheGetRandomSatisfiedChannel 函数: 需要修改筛选逻辑,在现有的组别和模型筛选调用链路基础上增加流式支持筛选。 为了增强可拓展性,或许可以增加名为 ExtraChannelFilter 的结构化条件,当前版本只需要包含流式支持筛选条件。

3. 前端页面渠道配置