根据SemiAnalysis，市场可能过度强调大语言模型推理中的首Token时间（TTFT）。研究指出，推理系统优化并非单纯追求最低延迟，而是需要在单用户交互速度（tok/s/user）与整体吞吐效率（tok/s/GPU）之间取得平衡。SemiAnalysis估计，仅有10-20%的推理任务真正受延迟约束；多数场景更注重吞吐量与成本效率。生成阶段的Token生成速度（而非TTFT）才是关键性能变量。
免责声明：本页面信息可能来自第三方，仅供参考，不代表 Gate 的观点或意见，亦不构成任何财务、投资或法律建议。数字资产交易风险较高，请勿仅依赖本页面信息作出决策。具体内容详见
声明。
