清华大学与港科大MoKus测评：AI图像生成如何实现“记忆移植”新突破

你是否曾试图让AI绘制你记忆中那只独一无二的猫，却发现只能用“一只黄猫”来笼统描述，结果生成的图像与你脑海中的形象截然不同？更棘手的是，当你输入“我最喜欢的那只猫”时，AI完全无法响应，因为它对你与这只宠物之间的独特故事一无所知。

这揭示了当前AI图像生成技术的一个根本局限。它如同一位技艺高超却患有失忆症的画家，能模仿笔触，却无法记住你讲述的任何背景。想要生成“小美人鱼雕塑”？你不得不依赖类似“sks雕塑”这样无意义的触发词。问题在于，这类“暗号”本身缺乏语义，连AI模型也无法理解其指代。

近期，一项由清华大学与香港科技大学合作的突破性研究，为这一难题提供了全新的解决思路。这项于2026年发表、编号为arXiv:2603.12743v1的研究，提出了一种创新框架，旨在使AI不仅能“识别”物体，更能“解读”图像背后的叙事与知识。

传统方法的“失忆症”

传统的图像定制技术，其核心是为目标概念绑定一个无意义的标识符。当你提供参考图像时，系统会为其分配一个如“sks”般的随机标记。这种方法存在两个主要弊端：首先，这类标识符是模型预训练阶段未曾接触的“陌生词汇”，导致生成效果波动且不可控。其次，也是更关键的一点，这种编码方式彻底剥离了物品所承载的语义信息和背景故事。例如，“sks雕塑”能让AI输出一个雕塑的形态，但它无法关联这是“安徒生童话中的小美人鱼”、“哥本哈根港口的青铜地标”或是“承载个人旅行记忆的符号”。所有丰富的上下文知识，在定制过程中均被丢失。

“记忆移植术”：知识感知的概念定制

为此，研究团队定义了一个新的任务范式——“知识感知的概念定制”。这相当于为AI执行一次“记忆移植”，目标不仅是让它习得物品的视觉特征，更要让它内化所有相关的背景知识与个性化描述。

实现这一愿景面临双重挑战：第一，AI必须能精准解析用户用自然语言提供的知识描述（例如“我童年卧室里的玩具熊”），并将其无缝整合到后续的生成指令中。第二，同一物品可能对应多种描述维度（如客观的“陶瓷马克杯”与主观的“结婚纪念礼物”），AI需要高效地将每一种描述都与目标概念建立稳固的关联映射。

MoKus框架：两步实现“通感”

为应对上述挑战，研究团队开发了名为MoKus的创新框架。其理论基础是一个关键发现：跨模态知识转移现象。简言之，当你在文本描述中修改或注入知识时，这种语义变化会系统地影响并反映在生成的图像中，如同调节一个参数能同步改变关联的输出。

MoKus的工作流程明确分为两个阶段：

第一阶段：视觉概念学习——建立“视觉档案”

此阶段目标是为目标概念构建一个坚实的“视觉档案”。系统首先通过变分自编码器将参考图像编码为潜在空间中的表示。随后，通过扩散模型的去噪训练过程，系统从中提炼出该概念的核心视觉本质。

关键步骤在于，系统会将这个概念与一个“稀有标记”相关联，该标记后续将演变为“锚点表示”。这个锚点如同一个智能索引，既存储了视觉外观信息，也充当了连接各类知识描述的枢纽。

第二阶段：文本知识更新——注入“灵魂故事”

如果说第一阶段赋予了AI“视觉识别能力”，那么第二阶段便是赋予其“语义理解与记忆”。系统利用已获得的锚点表示，将一条条自然语言知识（如“小美人鱼雕塑创作于1913年”）绑定到该概念上。

这个过程设计精妙：每条知识被转化为问答对形式（例如“小美人鱼雕塑位于哪里？丹麦哥本哈根”），并与同一个锚点表示配对，构成训练样本。随后，系统通过求解一个正则化最小二乘问题，计算出对文本编码器参数的最优微调量。这种方法确保了新知识被牢固记忆，同时最大程度避免了对模型原有能力的干扰，实现了精准高效的“知识注入”。

KnowCusBench：一把新的“标尺”

为系统评估这一新任务，团队构建了首个专用基准数据集——KnowCusBench。该数据集从多个公开资源中精选了35个日常概念（涵盖玩具、宠物、场景等），并为每个概念生成了多维度知识描述（包括所有权、物理属性、功能、情感关联等）。评估分为“重构”（利用知识还原图像）和“生成”（结合知识与其他指令创作新图像）两部分，总计包含5975张图像，为全面、可靠地衡量模型性能提供了量化标准。

实验结果：全面领先

在KnowCusBench上的测试表明，MoKus表现卓越。在衡量概念保真度的关键指标CLIP-I-Seg上，MoKus取得了0.764的高分，显著优于基线方法。在人类主观偏好评估中，其生成结果也获得更高青睐。

效率提升更为显著。处理一个概念的全部知识，传统方法平均耗时约27分钟，而MoKus仅需约6分钟，效率提升超过4倍。这主要得益于其高效的知识更新机制，单条知识更新可在数秒内完成。

定性对比结果直观：传统方法生成结果不一致且质量参差；而MoKus能稳定生成高保真图像，并能将新知识灵活应用于复杂场景指令（如“将我最喜欢的雕塑放置在雨中的巴黎街头”），展现出强大的组合泛化能力。

广阔的应用前景

MoKus的潜力远超个性化概念定制：

• 虚拟概念创建：通过描述视觉属性并注入背景知识，可直接在模型中实例化全新的、可调用的虚拟概念（如“一位名叫vfx、喜爱园艺的退休教授”）。
• 概念擦除：通过定向修改模型对特定概念的认知，可有效抑制不期望内容的生成，为AI内容安全提供新思路。
• 增强世界知识：向模型注入事实性知识（如“钢琴是肖邦创作的主要乐器”），能直接提升其在需要常识推理的生成任务上的表现。

结语：从“模式匹配”走向“理解”

MoKus框架的核心价值，在于它将AI图像生成从基于关键词的“模式匹配”，推进到结合背景知识的“概念理解”新阶段。当AI开始理解“小美人鱼雕塑”不仅是一组视觉特征，而是关联着文学、历史与个人情感的复合实体时，人机协作的深度与创造性便开启了新的可能。

这项研究不仅攻克了现有技术的实用瓶颈，其揭示的“跨模态知识转移”机理，也为未来构建更智能的多模态AI系统提供了关键的理论洞见。迈向真正理解人类意图的创作伙伴之路，始于让AI记住并关联我们的故事。

Q&A

Q1：MoKus是什么技术？
A：MoKus是由清华大学与香港科技大学联合研发的AI图像生成框架。其核心是实现“知识感知的概念定制”，使AI在掌握物品视觉特征的同时，能够理解并关联该物品相关的各类背景知识与个性化描述。

Q2：MoKus比传统AI画图技术好在哪里？
A：主要优势体现在三个方面：一是使用自然语言而非无意义代码进行概念定制，操作更直观，结果更稳定；二是能够保留并灵活运用丰富的背景知识；三是训练效率大幅提升，处理速度比传统方法快4倍以上。

Q3：MoKus技术有什么实际用途？
A：应用场景广泛，包括为数字艺术家和内容创作者提供深度个性化工具、生成富含上下文知识的教学可视化材料、提升电商平台产品展示的信息丰富度。此外，在虚拟概念创建、内容安全过滤、以及增强AI模型的事实性知识库等方面也具有重要应用潜力。