knowledgeflow-obsidian
Source-first, auditable knowledge inflow pipeline and Obsidian dashboard
KnowledgeFlow Obsidian
一个可以直接用 Obsidian 打开的、来源优先且可审计的知识流入系统。
它把“订阅很多信息”变成一条真正闭环的流水线:
固定来源 → 抓取与去重 → 详情页补抓 → 质量评分 → 自动过滤 → 主题路由
→ 编号 + 日期标题 → Obsidian 知识目录 → 仪表盘与健康检查
为什么做这个项目
普通 RSS 阅读器停在“读过”,剪藏工具停在“收集过”,而知识库真正需要的是:来源可信、内容可追溯、文章进到正确目录、重复运行不会制造垃圾,并且低质量内容删除后不再回流。
KnowledgeFlow 的默认策略是:
- 只连接你明确配置的固定来源;
- 用确定性规则做抓取、去重、评分、过滤和路由;
- 自动生成带日期与连续编号的来源知识页;
- 明确标记“自动入库、尚未复核、仅代表来源陈述”;
- 将候选与决策记入账本,人工删除后不会自动重建;
- 对摘要为空的 HTML 来源做非致命详情页补抓,并以
requeued审计事件记录重试; - 不要求数据库、云服务或 API 密钥。
3 分钟开始
要求:macOS / Linux、Python 3.11+、Obsidian 桌面版。
还没有安装 Obsidian?请从官方页面下载对应平台版本:Obsidian 官方下载。
git clone https://github.com/jwzdata/knowledgeflow-obsidian.git
cd knowledgeflow-obsidian
./kb.sh run --retry-rejected
然后在 Obsidian 中选择“打开文件夹作为仓库”,打开克隆后的目录。进入“设置 → 第三方插件”,关闭安全模式并启用 KnowledgeFlow Review。左侧丝带会出现流水线按钮。
Windows 可运行:
$env:PYTHONPATH="$PWD/src"
python -m knowledgeflow --vault . run
首次试用网络来源前,也可执行完全离线的结构验证:
./kb.sh run --offline
./kb.sh health
自动生成的文章长什么样
文件示例:
10-知识库/02-经济与政策/
└── 001-2026-07-22-Federal-Reserve-issues-FOMC-statement.md
每一页都包含:原始来源、发布主体、候选 ID、质量分、主题路由、证据边界、自动入库标记和人工复核状态。它是可追溯的来源卡,不伪装成已经独立验证的事实。
常用命令
| 命令 | 作用 |
|---|---|
./kb.sh run | 执行完整流水线 |
./kb.sh sync | 只抓取并写入候选账本 |
./kb.sh promote --dry-run | 预览自动过滤与入库结果 |
./kb.sh promote --retry-rejected | 对被摘要门槛过滤的候选执行详情页补抓后重试 |
./kb.sh promote | 路由、编号并生成文章 |
./kb.sh render | 重建 Obsidian 收件箱 |
./kb.sh health | 检查生成文章的元数据契约 |
配置来源与主题
编辑 .knowledgeflow/config.json:
sources定义 RSS/Atom 地址、发布主体、可信等级和允许进入的主题;topics定义关键词、知识目录和显示名称;policy控制最低分、摘要长度、单来源容量和单次入库上限。
摘要不足时,可在来源上设置 "kind": "html" / "html_detail" 或 "detail_fallback": true,并通过 policy.detail_fallback_* 控制详情页超时、摘要长度和最大抓取字符数。详情页抓取失败不会阻断其他来源。HTML 列表页的条目发现仍应由站点专用适配器负责。
默认附带美联储、BIS 与 arXiv AI 三个演示来源。它们是配置示例,不代表项目方为第三方内容背书。生产使用前请按你的领域维护来源白名单,详见 来源治理。
项目结构
.knowledgeflow/ 配置与运行账本(运行数据不提交)
.obsidian/plugins/ 无需构建的桌面端操作台
00-导航/ 首页与使用入口
10-知识库/ 自动路由后的知识文章
20-知识流入/ 可视化收件箱
docs/ 架构、治理与二次发行文档
examples/ 可复制的生产来源包
src/knowledgeflow/ 零第三方依赖的 Python 引擎
tests/ 离线回归测试
隐私与安全
项目不会读取仓库外文件,也不会上传笔记。抓取时只访问配置中的订阅地址。请勿把 API 密钥、私有订阅地址或个人笔记提交到公开仓库;本地私密配置可放在被忽略的 .knowledgeflow/private.json。
适合二次开发与商业发行
核心引擎、Obsidian 操作台、内容模板和配置均相互解耦。可以替换品牌、预置垂直领域来源与主题,并在不修改流水线代码的情况下形成行业版。见 发行与白标指南。
贡献
欢迎提交 Issue 和 Pull Request。开发与测试流程见 CONTRIBUTING.md,安全问题请按 SECURITY.md 私下报告。
MIT License。
生产运行补充
生产环境的调度、日志位置、重试语义和从本地知识库提炼出的可复用经验,见 运行与调度指南 和 2026-08 更新汇总。
How to Install
- Download the dashboard markdown file from GitHub
- Drop it into your vault (anywhere)
- Install the Homepage plugin and point it at the file
- Enable any listed CSS snippets for the intended look
Stats
Stars
0
Forks
0
License
MIT
Last updated 10d ago
Categories
Tags