豆包大模型发布各领域技术进展，首次披露 300 万长文本能力

字节跳动旗下豆包大模型公布年度技术进展，长文本能力达300万字

就在年底冲刺之际，字节跳动旗下豆包大模型，刚刚向外界交出了2024年的成绩单。根据其在12月30日公布的年度技术进展，自今年5月15日首次亮相以来，短短7个月时间，豆包在通用语言、视频生成、语音对话和视觉理解等多个核心赛道上，已经具备了跻身国际第一梯队的硬实力。

当然，口说无凭，具体提升还得看数据。根据官方信息，截至今年12月，迭代升级后的豆包通用模型 Doubao-pro-1215，综合能力相较5月版本大幅提升了32%。更值得关注的，是其关键评测结果——现已全面对齐行业标杆GPT-4o，并且在数学、专业知识等需要深度推理的复杂任务场景中，效果表现甚至更为出色。与此同时，它的推理服务价格却能做到仅为GPT-4o的八分之一，这“质升价降”的组合拳，无疑给市场带来了不小的冲击。

这份亮眼成绩的背后，是持续的技术攻坚。团队通过海量数据的优化和模型架构层面的创新，比如提升模型稀疏度、引入强化学习等关键技术，最终实现了模型在理解精度和生成质量上的飞跃。

首次披露300万字长文本能力，十秒级处理延迟成亮点

除了通用能力的提升，豆包此次还放出了一个“大招”：首次对外披露了其大模型具备300万字窗口的长文本处理能力。这意味着什么？简单来说，它能一次性轻松“啃”下上百篇学术报告这样的超长文档。更关键的是速度，其每百万tokens的处理延迟被控制在了仅15秒左右。

那么，如此惊人的长文本处理能力是如何实现的？据悉，其背后运用了包括STRING在内的上下文关联数据算法，这些技术能极大增强大模型高效利用海量外部知识的能力。再结合稀疏化及分布式方案，共同将超长文本的处理时延压到了十秒级。这不仅仅是数字的提升，更意味着在金融分析、法律研读、科研文献处理等需要消化大量信息的专业领域，大模型的应用门槛和实用性都将被重新定义。