AI搜索核心思考：Text2SQL竞赛Archer推介

2024年9月2日，周一，北京晴空万里。

今天聚焦两个话题：回顾一场技术分享，以及推荐一项值得动手实践的竞赛。

9月首个工作日已开启，共同前行。

一、昨日技术复盘：AI搜索核心思考要点

昨天，社区第32期分享以“AI搜索的几点思考”为主题圆满落幕，时长2小时，干货密集。本次系社区首次聚焦产品层面的分享，回放已上传至社区内部。

分享嘉宾赵老师（AI搜索产品专家）从用户需求、行业现状、生成式AI对搜索引擎的赋能路径以及未来演进方向等维度，进行了系统性剖析。

核心要点覆盖：AI搜索的产品定位、通用场景与垂直领域的落地实践，以及如何借助生成式AI优化交互体验。答疑环节中，与会者分享了诸多独到见解，现场讨论热烈。

以下提炼两个值得深究的视角供参考：

1、AI搜索的产品形态：三条路线各有利弊

当前主流AI搜索产品可归为三种架构：原生AI搜索工具、聊天机器人+搜索插件、传统搜索引擎叠加AI层。原生工具严格依赖检索结果，不主动生成；聊天机器人优先调用参数化知识，仅在必要时触发搜索；传统引擎的AI增强版可直接产出总结并支持上下文追问，但答案质量与引用准确性仍存在短板。

核心挑战在于：AI搜索的商业模式尚未成熟，且已对内容生产链条产生明显冲击。

2、AI搜索与传统搜索：博弈与权衡

AI搜索在幻觉控制及对搜索生态的破坏性影响方面仍有明显痛点。反观传统搜索引擎，通过渐进式引入AI能力，似乎在内容生成、商业可持续性与生态保护之间找到了折中点。落地实践中，核心原则是根据用户真实意图对查询进行分类，再匹配相应模型处理。

提问环节的精彩交锋远不止于此，建议回听完整内容。

二、Text2SQL竞赛推介：Archer数据集挑战

此前我们整理了8月以来Text2SQL领域的动态，两项工作值得跟踪：大模型幻觉检测与Text2SQL数据合成，以及基于Agent的Text-SQL方案（如MAG-SQL）。

但理论需实践验证。参与竞赛，亲身感受任务难度，是最直接的磨炼方式。

近日，CCKS-IJCKG 2024 发布了Text-to-SQL评测任务，采用Archer数据集。该数据集包含1,042个中文问题、1,042个英文问题，以及521个对应SQL查询，覆盖20个领域与20个独立数据库，涉及算术、常识与假设三种推理类型。

该任务源于论文《Archer: A Human-Labeled Text-to-SQL Dataset with Arithmetic, Commonsense and Hypothetical Reasoning》（https://aclanthology.org/2024.eacl-long.6.pdf）。

本次评测划分：8个数据库用于训练，2个用于验证，10个用于测试。数据集与排行榜入口：https://sig4kg.github.io/archer-bench。

值得注意的是，即使是GPT-3.5搭配Chain-of-Thought这类基线方法，准确率也相当低。换言之，在现有数据集上达到SOTA的方案，在此数据集上的执行准确率甚至不足20%。这充分表明Archer对当前模型与技术的难度之高。

此外，评估指标设计值得注意。本次采用两个指标：VA（有效SQL比例）与EX（执行准确率）。VA统计预测SQL能够成功执行的比例（不要求结果正确），EX则要求执行结果与标准SQL完全一致。简言之，VA衡量是否可运行，EX衡量结果是否精确。