2024精选开源大模型榜单：昆仑万维天工13B商用评测

10月底，国内AI开源社区迎来了一枚重磅冲击波。昆仑万维正式宣布，开源其百亿级大语言模型「天工」Skywork-13B系列。这本身已足够引人注目，但更罕见的是，这次开源还配套放出了一个高达600GB、包含1500亿Tokens的超大规模高质量中文数据集。这种“模型+数据”双开源的组合拳，在业内并不多见，诚意和分量都相当足。

简单来说，这次开源的Skywork-13B系列包含两个核心模型：一个是通用基础模型Skywork-13B-Base，另一个是专门强化了数学推理能力的Skywork-13B-Math。根据官方发布的数据，这两个模型在CEVAL、CMMLU、MMLU、GSM8K等多个权威评测基准上，都展现出了同规模模型中的领先性能，尤其是在中文科技、金融、政务等垂直领域的表现，优于其他开源竞品。

当然，最受开发者关注的，无疑是其商用政策。与许多开源模型设置复杂授权门槛不同，Skywork-13B系列宣布全面开放商用——开发者无需额外申请，在同意相关协议后即可直接用于商业场景。这无疑大大降低了技术落地的门槛。

两大模型与一个“超级数据集”

我们来具体拆解一下这次开源的核心内容。

首先是两大模型：

• Skywork-13B-Base模型：作为系列的基础模型，它经过了3.2万亿个多语言高质量Token的训练。在多项综合评测中，它都实现了对同级别开源模型（如LLaMA2-13B）的全面超越。
• Skywork-13B-Math模型：顾名思义，这个模型在Base模型的基础上，针对数学解题和推理能力进行了专项强化训练，在GSM8K等数学数据集上取得了同规模下的最佳效果。

其次，是那个堪称“硬通货”的数据集——Skypile/Chinese-Web-Text-150B。该数据集从海量中文网页中经过精心过滤和清洗而来，规模约600GB，Token数量高达1500亿，是目前最大的开源中文数据集之一。开源如此高质量、大体量的预训练数据，意味着开发者不仅能“用”模型，还能更深入地“理解”和“定制”模型，借鉴其训练经验。

此外，昆仑万维还一并公开了模型评估方法、数据配比研究以及训练基础设施的调优方案。这一系列动作，显然意在推动整个开源社区对大模型预训练技术的共同认知与进步。

五大特点，勾勒出竞争力轮廓

综合来看，Skywork-13B系列模型主要凸显了五个方面的特点，这也构成了其核心竞争力的轮廓。

1. 性能表现强劲：在CEVAL、CMMLU等主流中文评测，以及MMLU、GSM8K等国际通用基准上，其综合得分全面超越了同规模的LLaMA2-13B等模型（截至10月25日数据）。

2. 训练数据充沛：模型基于3.2万亿高质量多语言Token训练而成，庞大的数据量为其生成、创作和推理能力打下了坚实基础。

3. 中文能力突出：这一点尤其关键。在针对不同领域中文文本的语言建模困惑度评测中，Skywork-13B在技术文章、政务报告、金融文本、游戏内容等多个垂直领域，都表现出了更低的困惑度（数值越低代表建模能力越强），这意味着它在处理专业中文内容时可能更加得心应手。

上图为不同领域数据下评估模型的困惑度，越低代表模型在该领域建模能力越强。结果显示天工13B在技术文章，电影，政务报告，游戏，金融，通用领域均表现出色

4. 配套资源开放：如前所述，开源的1500亿Token中文数据集，为社区研究和模型微调提供了宝贵的资源。

5. 商用政策友好：这可能是对开发者最直接的利好。模型采用极简授权流程，取消了行业、公司规模等常见限制，用户下载并同意协议后即可商用，无需经历繁琐的申请审批。

All in AGI：昆仑万维的战略拼图

此次大规模开源，并非昆仑万维在AI领域的孤立行动，而是其“All in AGI与AIGC”战略的一块关键拼图。回顾其今年的动作，这条路径清晰可见：

从4月发布“天工3.5”大模型并启动测试，到5月入选北京市首批通用人工智能产业创新伙伴；从8月推出国内首款AI搜索产品“天工AI搜索”，到9月引入国际顶尖AI专家颜水成教授加盟并控股AI芯片公司艾捷科芯。每一步都在夯实其从算力、算法到应用的全栈能力。

可以说，Skywork-13B系列的开源，既是技术实力的展示，也是生态构建的宣言。它降低了高质量中文大模型的商用门槛，旨在吸引更多开发者和企业加入其生态，共同探索AGI技术的落地场景。在AI技术飞速演进、生态竞争日趋激烈的当下，这种通过开源扩大影响力、汇聚创新力量的策略，无疑值得关注。