新文本生成法提速21倍
摘要
作者提出 Next-Concept Modeling，用多尺度残差 VQ-VAE 把文本编码成离散码层级，再由 transformer 逐层并行预测整层所有码。LM1B 上困惑度优于最强扩散基线，OpenWebText 快10倍，XSum 快31倍，数独推理各难度超过自回归与扩散基线。
原文片段
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation Hacker News 149 points · 33 comments https://news.ycombinator.com/item?id=50422168