2024年AI大模型深度评测：零一万物技术实力与应用前景全解析
11月6日，国内AI公司零一万物正式发布了其“Yi”系列预训练开源大语言模型。这次发布带来了两个版本：Yi-6B和Yi-34B，可以说给开源社区投下了一枚“重磅冲击波”。
以小博大，登顶全球英文及中文权威大模型榜单No 1
根据Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单，Yi-34B的表现堪称惊艳。它一举拿下了多项SOTA（国际最佳性能指标）认可，成为了全球开源大模型的“双料冠军”，成功击败了包括LLaMA2和Falcon在内的众多知名开源竞品。
这意味着，Yi-34B是目前唯一成功登顶Hugging Face全球开源模型排行榜的国产模型，这个成绩的含金量不言而喻。
具体来看，在Hugging Face的预训练开源模型排名中，Yi-34B以70.72的分数位列全球第一。最引人注目的是它的“性价比”——它以不及LLaMA2-70B一半、Falcon-180B五分之一的参数量，实现了性能上的全面超越，真正做到了“以小博大”。
来源：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
作为国产大模型，Yi-34B在中文能力上的优势更为突出。它在C-Eval中文权威榜单上超越了全球所有开源模型。与业界标杆GPT-4相比，Yi-34B在CMMLU、E-Eval、Gaokao这几个核心中文评测指标上展现出了绝对优势，这无疑能更好地满足国内市场和用户的需求。
如果从更全面的模型能力来评估，在衡量大模型综合理解能力的“MMLU”（大规模多任务语言理解）和“BBH”等关键评测集上，Yi-34B的表现同样最为突出，在通用能力、知识推理、阅读理解等多项指标中均胜出，这与Hugging Face的评测结果高度吻合。
当然，模型也有其侧重点。与LLaMA2类似，Yi系列模型目前在GSM8k（数学）和MBPP（代码）评测上的表现略逊于GPT系列模型。不过，零一万物方面已经表示，未来将推出专攻代码和数学能力的继续训练模型，值得期待。
上下文窗口大小突破200k，并直接开源
除了基础性能，此次开源的Yi-34B还有一个“杀手锏”特性：它发布了支持200K超长上下文窗口的版本。这个长度是全球开源的同类模型中最长的。
200K上下文窗口是什么概念？这意味着模型一次可以处理约40万汉字的超长文本输入，其文本容量大致相当于一整本《儒林外史》。作为对比，OpenAI的GPT-4的上下文窗口为32K，大约只能处理2.5万字。超长上下文窗口对于处理长文档、进行复杂对话和多轮推理等实际应用场景至关重要。