百度开源文心5.5基座模型
摘要
文心5.5 Flash Base采用MoE架构,总参数2800亿,每Token激活140亿,预训练用33.5万亿Token,上下文最长128K,推理支持100万Token。
原文片段
百度开源基座模型文心 5.5 Flash Base 百度正式开源最新基座模型文心 5.5 Flash Base。模型采用 MoE 架构,总参数量 2800 亿,每 Token 激活 140 亿参数,预训练用 33.5 万亿 Token,预训练上下文最长 128K,微调与推理支持最长 100 万 Token 上下文。 围绕“效率”主线,模型在注意力机制、专家路由及训练目标等环节做了系统性优化,以提升资源利用效率。 新华网 🌸 科技圈· 茶馆 · 投稿
事件进展 共 3 条 ,最新在上
-
百度开源文心5.5基座模型
-
总参数2800亿预训练33.5万亿Token已在
该模型采用MoE架构,总参数量2800亿,每个Token激活140亿参数;预训练使用33.5万亿Token,推理阶段最长支持100万Token上下文,已在Hugging Face开源。
-
百度开源文心5.5 Flash
百度开源文心ERNIE-5.5-Flash-Base权重,总参数2800亿,每Token激活140亿,支持100万上下文;30项基准中24项第一,商用有营收门槛限制。