Document组件文件预处理：AI投喂前的三步必做清单

读完本文你将掌握

先明确几个关键判断。想让AI精准回答企业内部知识库问题，这个愿景很诱人，但存在一个现实瓶颈：AI的上下文窗口有限，无法一次性消化整本手册。

工程上如何突破？标准解法是 RAG（检索增强生成），核心逻辑并不复杂：

1. 建库：将文档分割成小块，计算向量，存入向量数据库
2. 检索：用户提问 → 系统召回最相关的几个片段 → AI基于这些片段生成答案

第一步“建库”正是 Document 组件的职责：加载 → 解析 → 切片。下面逐步拆解。

一、Document 的数据结构

源码位于 eino/schema/document.go，结构体精简到只有三个字段：

type Document struct {
    ID       string         // 该片段的唯一标识
    Content  string         // 实际文本内容
    MetaData map[string]any // 关联的元数据
}

Content 存储正文，MetaData 记录来源、分数、向量等附加信息。

举例说明，从HTML页面解析出的Document示例：

{
  "id": "doc-001",
  "content": "Go 是 Google 开发的编程语言，设计目标是简洁、高效...",
  "meta_data": {
    "_source": "https://example.com/go-intro.html",
    "_title": "Go 语言简介",
    "_language": "zh"
  }
}

MetaData并非普通map——它提供了一系列封装好的方法用于访问内部数据：

doc.Score()        // 获取检索相关性分数（无需手动从map中提取）
doc.DenseVector()  // 获取向量
doc.ExtraInfo()    // 获取附加说明
doc.SubIndexes()   // 获取多分区路由索引

这些值底层存储在MetaData的保留key中（_score、_dense_vector 等），但对外暴露的是封装方法，避免直接操作原始map。这种设计清晰分离了内部实现与外部接口。

二、Loader：负责将原始文件搬运到系统

接口定义在 eino/components/document/interface.go：

type Loader interface {
    Load(ctx context.Context, src Source, opts ...LoaderOption) ([]*schema.Document, error)
}type Source struct {
    URI string  // 文件路径或 URL
}

接口极简，职责单一。eino-ext提供了三种现成实现：

这里有一个重要设计原则：Loader 不关心文件格式。它只负责读取字节流，至于格式解析工作交由下一层 Parser 完成。两者解耦带来明确优势：更换文件格式无需修改Loader，更换数据源也无需改动Parser。

// FileLoader 内部核心逻辑示意：
func (f *FileLoader) Load(ctx context.Context, src Source, opts ...LoaderOption) ([]*schema.Document, error) {
    file, _ := os.Open(src.URI)
    defer file.Close()
    // 将文件流交给 Parser，扩展名通过 URI 传递
    return f.parser.Parse(ctx, file, parser.WithURI(src.URI))
}

三、Parser：负责将不同格式转换为纯文本

接口定义在 eino/components/document/parser/interface.go：

type Parser interface {
    Parse(ctx context.Context, reader io.Reader, opts ...Option) ([]*schema.Document, error)
}

接受字节流，返回 Document 列表。

TextParser：最基础的纯文本解析器

直接将整个流读为字符串，生成一个 Document。适用于 .txt、.md 等无格式纯文本文件。

HTMLParser：专为网页设计

来自 eino-ext，底层基于 goquery（Go语言的jQuery）操作 DOM。

// 源码：eino-ext/components/document/parser/html/html.go
htmlParser, _ := html.NewParser(ctx, &html.Config{
    Selector: gptr.Of("body"),  // 使用 CSS 选择器仅提取 body 内容
})

解析完成后，自动从页面中提取 meta 信息并写入 MetaData：

_title       <-