印度Prism模型决策仅需44毫秒
摘要
印度AI公司Sarvam发布开源决策模型Prism，基于105B模型微调，采用MoE架构仅激活约100亿参数，单次请求中位响应时间从664毫秒降至44毫秒；在25款模型测试中平均得分71.8，为响应低于100毫秒的模型中最高，模型已按Apache 2.0协议开放权重。
原文片段
印度Sarvam发布Prism：105B模型只需44毫秒就能完成一次决策 动察 Beating AI 快讯，印度 AI 公司 Sarvam 发布开源决策模型 Prism，基于 Sarvam 105B 微调。 Prism 采用 MoE 架构，总参数约 1050 亿，每次仅激活约 100 亿参数。经过推理优化，单次请求的中位响应时间从 664 毫秒降至 44 毫秒，提速约 15 倍。 Sarvam 测试了 25 款决策模型。Prism 在三项评测中平均得到 71.8 分，是响应时间低于 100 毫秒的模型中得分最高的。它还测试了 2000 道选择题，无论如何打乱选项顺序，答案都保持一致。 …