ASF Roadmap(2022 11 6)

Athena Serving Framework Roadmap

overview整体概览

RoadMap明细

链路层

AI标准协议

• 协议扩展

  • 计划支持新数据类型, 如binary类型，

  • 部分字段调: 如expect字段协议调整

接入层

• webgate
  • 计划支持开源网关
  • 重构认证逻辑，对接开源认证协议

业务层

• atoms 计划开源版本，裁剪掉atoms

负载均衡

• 策略扩展:
  • 当前支持: 0：无权重轮询,1：普通哈希，2：hermes，3、一致性哈希，4：业务负载，缺省0
  • 计划支持基于动态metrics负载策略(如对接prometheus)
• APM扩展
  • 对接开源apm: 如 skywalking，Zipkin

AIGES加载器

• (社区)在加载器数据出、入口以插件形式支持编解码，对上下行数据进行编解码预后处理,支持但不限于以下:

  • text
    • plain
    • json
  • audio
    • pcm
    • speexwb
  • image
    • jpg
    • png
  • video
    • mp4
    • H.264
  • tensor…

• Adapter Widget

  • Cgo
    • C/C++ wrapper
    • python wrapper
  • Grpc
    • python wrapper
    • (社区)Java wrapper
    • (社区)golang wrapper
    • (社区)C/C++ wrapper

• 会话管理

  • 非流式
  • 流式

• 批推理

  • batch推理
  • 计划支持动态batch推理

• HTTP

  • 计划加载器支持提供HTTP服务
  • 计划支持提供websocket
  • 计划加载器支持根据schema生成http调用文档
    • 计划支持http调试插件

配置中心

• 计划增加k8s cfgmap形式配置中心

• 计划裁剪已有的配置中心组件

部署

Helm

• 支持一键部署asf

Sealos

• 支持一键部署asf

ASE

• 计划支持一键部署 ase公有云

文档

athena_website

• 计划制定文档发布策略
• 计划提供文档贡献指南，鼓励开源或者实习生维护文档

Demos/examples

计划提供但不局限于以下demos:

• mnist

• yolov5

SDK

• asf sdk 用于整个框架相关的操作管理api, sdk
• aiges sdk 用于用户编码wrapper时所需要的一些套件

社区

Github

• 讯飞开源
• Sealos开源
• Kubegems
  • 算法商店demo
• 其它社区组织

Gitee

• 讯飞开源
• 其它社区组织

OpenI

• 讯飞开源