InstanceAssemble - 小红书联合复旦推出的图像生成框架

InstanceAssemble是什么

InstanceAssemble是一个由小红书与复旦大学联合研发的布局到图像生成框架。它的核心功能是将用户提供的物体布局“蓝图”——包括位置坐标和内容描述——精准地转换为符合语义的图像。

该框架的核心创新在于“实例组装注意力”机制，使其能够稳定处理从简单到复杂、从稀疏到密集的各种布局任务。用户仅需定义物体的边界框和描述（例如“一只趴在窗台的布偶猫”），AI即可在指定区域内生成匹配的内容。其技术架构基于扩散变换器，并通过引入少量额外参数的轻量级适配方式，为主流图像生成模型赋予了前所未有的布局控制能力，显著降低了技术应用门槛。

InstanceAssemble的主要功能

InstanceAssemble框架具备以下核心能力：

• 精准布局控制：通过指定每个物体的边界框和文本描述，实现像素级的布局对齐，确保生成物体严格位于预设位置。
• 从简单到复杂的布局生成：无论是单一物体还是包含数十个实例、关系交错的复杂场景，都能维持高精度的布局一致性与整体语义连贯性。
• 多模态内容控制：支持文本、参考图像、深度图、边缘图等多种条件输入，为生成结果的准确性和细节丰富度提供多重保障。
• 轻量级适配：采用插件式设计，无需全模型训练。例如，适配Stable Diffusion 3-Medium仅需引入约3.46%的额外参数，即可让现有模型获得布局控制能力，实现高效部署。
• 强大的泛化能力：模型仅在稀疏布局数据（实例数≤10）上训练，却能稳健处理更密集的布局（实例数≥10），表明其真正学会了理解布局的空间逻辑关系，而非简单记忆。

InstanceAssemble的技术原理

支撑上述功能的是其精妙的技术设计，主要包括以下几个层面：

• 扩散模型基础：基于先进的扩散变换器架构，利用其强大的去噪生成过程，从随机噪声中逐步构建出高质量图像。
• 实例组装注意力机制：这是实现精准控制的关键模块。
  • 布局编码器：将用户输入的边界框及多模态描述编码为一组“实例令牌”，每个令牌封装了一个物体的位置与语义信息。
  • 组装注意力模块：在图像生成过程中，该模块引导每个图像局部区域仅与落入其边界框内的实例令牌进行特征交互。通过注意力机制更新区域特征后，再以加权方式组装回全局图像，从而确保每个物体的外观与位置均严格遵循布局条件。
  • 级联结构：采用两阶段生成策略：基础模型负责理解全局文本提示与风格，专用布局控制模块则精细处理每个实例的局部条件，实现全局协调与局部精准的平衡。
• 轻量级适配：通过低秩适配技术，仅在原始模型注意力模块中插入少量可训练参数矩阵，以最小化改动赋予模型布局控制的新能力，同时保留其原有的生成质量。
• 评估与基准测试：为科学评估布局对齐精度，团队提出了“布局锚定分数”这一新指标。同时构建了包含5000张图像、近9万个实例的“DenseLayout”基准测试集，专门用于评估模型在密集复杂布局下的性能，为领域研究设立了新标准。

InstanceAssemble的项目地址

项目代码与论文已开源，供研究与实践使用：

• GitHub仓库：完整的代码实现、使用说明与模型权重：https://github.com/FireRedTeam/InstanceAssemble
• arXiv技术论文：详细阐述算法原理、实验设计与结果的学术论文：https://arxiv.org/pdf/2509.16691

InstanceAssemble的应用场景

该技术在多行业具有明确的实用价值：

• 设计与广告：快速生成符合严格版式要求的设计稿与广告素材，精准控制品牌元素、产品图及文案的视觉位置，提升创意产出与迭代效率。
• 内容创作：为社交媒体运营者、视频创作者提供高质量的定制配图工具，无需专业绘图技能即可产出布局考究的视觉内容。
• 游戏开发：加速概念美术创作，快速生成场景布局预览、角色装备示意图，辅助关卡设计与视觉风格定调。
• 教育与培训：将抽象概念或历史场景可视化，生成教学示意图、虚拟实验环境，增强知识传递的直观性与互动性。
• 建筑设计：根据空间布局与家具描述，快速生成多种室内风格的效果图，辅助方案构思并优化客户沟通流程。