AI90 PERFORMANCE

适配平台与加速性能

覆盖多种 GPU 平台与大模型配置,展示 AI90 在长上下文缓存复用场景下的首 Token 延迟与输入吞吐表现。

已验证平台

选择平台,查看对应模型与实测结果

性能对比

测试平台配置
模型 / 部署配置
上下文 Token 长度
首 Token 响应加速
平均首 Token 延迟 · 越低越好
输入吞吐达到基准的
聚合 Prompt tokens/s · 越高越好
并发性能趋势

首 Token 延迟

秒 · 越低越好
基准方案AI90 加速方案

输入吞吐

tokens/s · 越高越好
基准方案AI90 加速方案
同一模型与上下文长度下的并发对比;点击柱状图中的并发分组,可查看对应的加速指标。

AI90 方案相对收益

加速倍数 · 1× 为持平基准
TTFT 加速倍数输入吞吐倍数

如需相关详细测试数据,请联系我们。邮箱:AI90@gsaitech.com