启典知识库技术架构说明

启典知识库技术架构说明

元泰档案知识库(启典)是元泰公司面向档案管理领域推出的知识库产品,基于大语言模型和向量检索技术,具备自主判定保管期限和年度的功能,能回答档案专业问题,服务档案整理公司、档案软件公司和档案整理人员。启典的技术架构结合的人工智能、向量检索、档案管理等多项技术。i

一、技术栈总览

层面技术说明
后端FastAPI + UvicornPython Web框架,端口8000
前端StreamlitPython数据应用框架,端口8501
向量检索FAISS索引2084块档案文档块
大语言模型腾讯混元(hunyuan-turbo)通过TokenHub API调用
PDF处理PyMuPDF双层PDF文字层提取,版式位置分析
中文分词jieba + TF-IDF职权匹配L2层
反向代理NginxHTTPS反向代理,通过小皮面板管理
运行环境Python 3.13.12
部署环境Windows Server 2012腾讯云服务器 212.64.66.164

二、核心技术亮点

三级匹配体系(职权匹配)

  • L1:JSON职权库精确匹配
  • L2:jieba + TF-IDF 语义匹配
  • L3:混元LLM兜底

保管期限判定

八步法流程,规则表104条+条款号,准确率97%。

PDF元数据提取

版式位置提取(PyMuPDF text dict)→ 文字层全文正则提取,支持5种文号模式。

三、数据存储方式

知识库没有使用 .db / .sqlite 等数据库文件格式,而是使用以下文件:

文件格式位置用途
meta.pklPickle(Python序列化)index/meta.pkl存储所有文档分块和元数据(2084块)
docs_hash.txt纯文本index/docs_hash.txt文档变更检测哈希值
faiss.indexFAISS二进制index/faiss.index向量索引(用于语义相似度搜索)

数据分层

  1. 文档内容 → meta.pkl(Pickle格式),包含 chunks(文本块列表)和 chunk_meta(来源信息)
  2. 向量检索 → FAISS索引(faiss.index),用于语义相似度搜索

当前运行的是关键词检索模式,检索逻辑是先用关键词匹配,如果FAISS可用再补充向量搜索。

四、安装部署能力

当前状态(一期)

一期是服务器部署模式,通过 https://www.ytshuju.cn/knowledge/ 互联网访问,没有打包成安装包。用户只能通过浏览器访问,不能安装到自己电脑上。

二期规划:生成安装包(全量打包,脱机即用)

安装包包含所有必需组件,用户下载安装后即可在完全脱机环境下使用,无需联网。

打包内容(全部内嵌):

  • 知识库后端(FastAPI)
  • 知识库前端(Streamlit)
  • 知识库索引文件(meta.pkl + faiss.index)
  • 依赖运行环境(Python及全部依赖库)
  • 本地大模型(Ollama + Qwen等国产模型)
  • 本地Embedding模型(BGE-M3)

安装包特性:

  • 安装包自动检测系统环境(Python版本、依赖库、端口占用等),缺失组件自动安装
  • 安装完成后自动注册为Windows系统服务,支持开机自启动
  • 提供可视化的安装向导界面,用户无需技术背景即可完成部署
  • 完全脱机运行:安装后无需联网,所有功能(保管期限判定、智能问答、扫描件提取、数码照片归档等)均在本地运行,适合涉密内网环境
  • 安装包大小目标:≤ 10GB(含模型文件,确保脱机可用)
  • 支持静默安装模式,便于企业IT批量部署
  • 安装后默认使用本地大模型,用户也可在设置中切换为云端模型(联网环境下可选)

本地化可行性

组件本地化可行性
FastAPI✅ 纯Python,跨平台
Streamlit✅ 纯Python,本地浏览器访问
FAISS✅ 离线索引,不依赖云服务
PyMuPDF✅ 本地库
混元LLM(当前)⚠️ 需联网调用TokenHub API
Ollama + Qwen(二期安装包)✅ 本地运行,脱机可用
BGE-M3 Embedding(二期安装包)✅ 本地运行,脱机可用

当前一期通过TokenHub API调用混元大模型,需联网。二期安装包将内嵌Ollama + Qwen本地大模型和BGE-M3本地Embedding模型,实现完全脱机运行,适合涉密内网环境。用户也可在设置中切换为云端模型(联网环境下可选)。

扫码加入官方售后服务群,享专属顾问1对1解答技术问题。