启典知识库技术架构说明

启典知识库技术架构说明

启典知识库技术架构说明

元泰档案知识库(启典)是元泰公司面向档案管理领域推出的知识库产品,基于大语言模型和向量检索技术,具备自主判定保管期限和年度的功能,能回答档案专业问题,服务档案整理公司、档案软件公司和档案整理人员。启典的技术架构结合的人工智能、向量检索、档案管理等多项技术。i

一、技术栈总览

层面技术说明
后端FastAPI + UvicornPython Web框架,端口8000
前端StreamlitPython数据应用框架,端口8501
向量检索FAISS索引2084块档案文档块
大语言模型本地模型为主(Ollama / 内网大模型)交付版默认本地或客户内网模型;公网模型仅本机测试与演示站使用
PDF处理PyMuPDF双层PDF文字层提取,版式位置分析
中文分词jieba + TF-IDF职权匹配L2层
反向代理NginxHTTPS反向代理,通过小皮面板管理
运行环境Python 3.13.12
部署环境Windows / Linux 服务器或本机交付版部署在机关内网;公网地址仅用于功能演示

二、核心技术亮点

三级匹配体系(职权匹配)

  • L1:JSON职权库精确匹配
  • L2:jieba + TF-IDF 语义匹配
  • L3:混元LLM兜底

保管期限判定

规则表驱动的八步法:先确认全宗名称与责任者,再判不归档、文件来源、重要程度与工作内容,最后命中规则表并给出依据条款;内置规则表 100 余条,另含不归档规则 16 条,判定结果供档案员复核。

PDF元数据提取

版式位置提取(PyMuPDF text dict)→ 文字层全文正则提取,支持5种文号模式。

三、数据存储方式

知识库没有使用 .db / .sqlite 等数据库文件格式,而是使用以下文件:

文件格式位置用途
meta.pklPickle(Python序列化)index/meta.pkl存储所有文档分块和元数据(2084块)
docs_hash.txt纯文本index/docs_hash.txt文档变更检测哈希值
faiss.indexFAISS二进制index/faiss.index向量索引(用于语义相似度搜索)

数据分层

  1. 文档内容 → meta.pkl(Pickle格式),包含 chunks(文本块列表)和 chunk_meta(来源信息)
  2. 向量检索 → FAISS索引(faiss.index),用于语义相似度搜索

采用三级匹配:L1 职权库精确匹配、L2 jieba + TF-IDF 语义加权、L3 大模型兜底;向量检索作为语义相似度的补充。检索结果供档案员核对。

四、安装部署能力

当前状态:内网交付版

正式交付为脱机安装包 / U 盘安装版,可安装在本机或单位内网服务器,完全脱机运行、档案数据不出内网。https://www.ytshuju.cn/knowledge/ 仅为公网功能演示,只处理脱敏样例,不用于实际档案工作。

交付形态:全量打包,脱机即用

安装包包含所有必需组件,用户下载安装后即可在完全脱机环境下使用,无需联网。

打包内容(全部内嵌):

  • 知识库后端(FastAPI)
  • 知识库前端(Streamlit)
  • 知识库索引文件(meta.pkl + faiss.index)
  • 依赖运行环境(Python及全部依赖库)
  • 本地大模型(Ollama + Qwen等国产模型)
  • 本地Embedding模型(BGE-M3)

安装包特性:

  • 安装包自动检测系统环境(Python版本、依赖库、端口占用等),缺失组件自动安装
  • 安装完成后自动注册为Windows系统服务,支持开机自启动
  • 提供可视化的安装向导界面,用户无需技术背景即可完成部署
  • 完全脱机运行:安装后无需联网,所有功能(保管期限判定、智能问答、扫描件提取、数码照片归档等)均在本地运行,适合涉密内网环境
  • 安装包大小目标:≤ 10GB(含模型文件,确保脱机可用)
  • 支持静默安装模式,便于企业IT批量部署
  • 交付版默认且仅使用本地 / 内网模型;公网模型只在演示站与本机测试中使用,交付版有内网护栏拦截公网地址

本地化可行性

组件本地化可行性
FastAPI✅ 纯Python,跨平台
Streamlit✅ 纯Python,本地浏览器访问
FAISS✅ 离线索引,不依赖云服务
PyMuPDF✅ 本地库
本地大模型(Ollama + Qwen)✅ 交付版默认,本地运行、脱机可用
内网政务大模型✅ OpenAI 兼容接口,部署在客户内网
BGE-M3 Embedding✅ 本地运行,脱机可用

当前交付版内嵌 Ollama + Qwen 本地大模型与 BGE-M3 本地 Embedding 模型,也可对接机关内网的政务大模型,完全脱机运行,适合涉密内网环境。交付版不配置公网模型地址,档案数据不出内网;公网仅用于功能演示,不接收真实档案。

扫码加入官方售后服务群,享专属顾问1对1解答技术问题。

还有问题想问?

扫码加入元泰售前服务群,顾问 1 对 1 解答档案整理规范、软件功能与部署方案。

企业微信扫码入群,长期有效;群内提供整理模板与操作答疑。

元泰售前服务群活码(企业微信扫码入群咨询)微信扫码入群