百度发布ERNIE 5.5 Flash Base
摘要
百度发布 ERNIE 5.5 Flash Base 预训练权重，总参数280B、每token激活14B，用33.5T token从零训练，训练上下文128K，微调与推理可支持1M token，不含中训练与后训练，采用混合稀疏注意力降低长上下文和KV缓存成本。
原文片段
Baidu released ERNIE 5.5 Flash Base Hacker News 187 points · 98 comments https://news.ycombinator.com/item?id=50377078