信号评分流水线:确定性知识分诊

大多数知识管理靠的是感觉。保存一条笔记,是因为它”感觉很重要”。六个月后,笔记积累到7,000条,却不知道哪些真正重要。我构建了一个确定性评分流水线来回答这个问题。本文属于品味基础设施这一领域:把主观判断编码进确定性系统。

信号评分流水线用一个横跨相关性、可操作性、深度和权威性的加权综合评分,取代了凭主观判断的笔记分诊。 每条传入笔记都会得到一个0.0-1.0的评级,并自动路由到领域文件夹、人工审核队列或直接丢弃。14个月内处理了7,700多条笔记,全程无需手动打标签。

这个系统是733行 Python 代码。它从四个加权维度对每条传入信号进行评分,计算综合得分,然后将信号路由到12个领域文件夹之一、待人工审核的收件箱,或者直接丢弃。无需手动打标签。也没有永远不会发生的”稍后审核”。算法说了算。

摘要

加权综合评分(相关性35%、可操作性30%、深度20%、权威性15%)为每条信号生成0.0-1.0的评级。路由使用三个阈值:>= 0.55自动写入领域文件夹,>= 0.30排队等待人工审核,< 0.30静默跳过。14个月内处理了7,700多条笔记,其中开发(2,837)和设计(1,709)占据了分布的主体。最有意思的缺陷是:深度维度衡量的是元数据丰富度,而非内容质量,因此一条关于花朵照片、标签完善的推文也能得到0.85分。


凭感觉的问题

我把 Obsidian 用作知识库(完整配置见 Obsidian 指南)。信号来自 RSS 订阅、Twitter 书签、GitHub 星标、新闻通讯和手动采集。在有这条流水线之前,所有信号都进入同一个收件箱文件夹。不到两个月,就积压了400多条未处理的笔记。

常见的建议(”每周审核,随手打标签,使用文件夹体系”)都假定审核会真的发生。可它并不会。收件箱变成了只写不读的地方:条目只进不出。采集下来的知识,在功能上与从未采集的知识毫无区别。Clay Shirky 对这个问题的概括十分精准:”这不是信息过载,而是过滤失败。”8

我需要一个系统,能以比我阅读更快的速度评估7,700多条笔记,并且一次定义标准、统一执行。不是推荐引擎,而是评分算法。


综合评分

评分公式是四个维度的加权线性组合,这是多准则决策分析(MCDA)中的标准方法:9

composite = (
    relevance     * 0.35 +
    actionability * 0.30 +
    depth         * 0.20 +
    authority     * 0.15
)

每个维度输出一个0.0到1.0之间的浮点数。公式将综合得分四舍五入到小数点后三位。权重体现了一个刻意设定的优先顺序:对我重要的东西(相关性)高于我能用上的东西(可操作性),后者高于元数据有多丰富(深度),再后者高于来源有多可信(权威性)。1

我还考虑过另外两个维度,最终都放弃了。时效性(越新的信号得分越高)被放弃,是因为知识管理不是新闻推送:一篇2019年关于 API 设计的文章,价值并不比2026年的低。社会认同(点赞、转发、星标)被放弃,是因为热度反映的是吸引力,而不是对我这套具体工作流的实用性。四个维度足以准确路由信号。再增加维度只会提高调参的复杂度,对路由质量却没有实质改善。


四个维度

相关性(35%):兴趣匹配

相关性只回答一个问题:这条信号是否与我关心的事情有关?一份手工整理、包含43个条目的关键词词典,把每个兴趣映射到一个分数,从0.15(nft:几乎不相关,但我想了解动态)到1.0(claude code、swiftui:我日常工作的核心)。评分将最佳匹配与所有匹配的平均值进行混合:

# 60% best match, 40% average of all matches
return min(1.0, best_score * 0.6 + avg_score * 0.4)

零匹配的条目获得0.25的基线,而不是0.0。系统对未知主题的惩罚比对不相关主题更轻。这个基线是调整最频繁的参数:太高,不相关的内容就会涌入收件箱;太低,真正的新兴趣还没被我看到就被过滤掉了。2

可操作性(30%):学习潜力

可操作性回答的问题是:我能用它做点什么吗?一篇讨论 SwiftUI 架构的理论文章有相关性,但不可操作。一篇手把手构建 SwiftUI 组件的教程则两者兼备。这个维度匹配22个行动导向的关键词:tutorial、guide、how-to、build、github.com。URL 会得到特殊处理:

if "github.com" in url:
    hits += 2  # Repositories are inherently actionable
if "/docs" in url or "/tutorial" in url:
    hits += 1

评分基于阶梯函数,而非线性函数:0次命中 → 0.10,1次命中 → 0.40,2次命中 → 0.60,3次及以上命中 → min(1.0, 0.70 + hits * 0.05)。阶梯函数奖励的是可操作性信号的存在,而非其数量。一个教程链接的价值,超过三个关键词与四个关键词之间的差别。3

深度(20%):元数据丰富度

深度纯粹是结构性的。它衡量字段的有无与长度,而非内容质量:

信号 分数
有标题 +0.20
有描述 +0.20
描述 > 50字符 +0.15
描述 > 150字符 +0.15
有标签 +0.15
标签 >= 3个 +0.10
有 URL +0.05
最大值 1.00

深度是我最不信任的维度。一条关于花朵照片的推文,只要描述完整、带有四个标签,深度就能得到0.85分。元数据丰富,内容却毫不相关。深度是”来源提供了结构化数据”的代理指标,它与质量相关,却不能保证质量。4

权威性(15%):来源可信度

权威性从0.40的基线开始,并根据来源类型进行调整:

if source in ("twitter", "x"):        score = 0.50
elif source in ("blog", "newsletter"): score = 0.60
elif source in ("github", "docs"):     score = 0.70

域名白名单只向上覆盖(从不向下):github.com、anthropic.com、apple.com、arxiv.org、docs.python.org 等会把权威性设为至少0.75。白名单编码的判断是:这些来源默认就值得更高的信任。


阈值路由

三个路由区间决定了每条已评分信号的去向:

THRESHOLD_AUTO_WRITE = 0.55   # → domain folder
THRESHOLD_INBOX      = 0.30   # → 00-Inbox (manual review)
# Below 0.30 → silently skipped

流水线将评分 >= 0.55的信号直接写入12个领域文件夹之一,领域通过标签和标题匹配推断。中等范围的信号(0.30-0.55)进入收件箱等待人工审核。低于0.30的信号永远不会进入知识库。0.55这个阈值来自经验调优:设为0.50时,太多只是勉强相关的信号被自动路由到领域文件夹,稀释了这些文件夹的价值。设为0.60时,处于边缘但仍有用的信号错过了自动路由,收件箱变得过于庞大。0.30的下限则确保,任何来自已知来源类型、结构良好的信号,至少都能进入收件箱接受人工审核。

0.30-0.55的范围是”模糊区”,系统在此区间的置信度最低。可选的 --llm-triage 标志会将这些信号发送给 Claude 进行评估,Claude 可以将综合分最多调整±0.20,从而可能把信号推过自动写入阈值。Claude 只看到模糊信号,从不处理高分或低分信号。把 API 开销花在确定性评分器已经处理好的信号上是浪费。5

领域推断使用投票机制。每个标签映射到一个领域,标题中的每个关键词增加一票。得票最多的领域胜出。平票按 dict 中键的顺序决定(实际上是任意的)。默认兜底:”灵感”。


结果

14个月内处理了7,700多条笔记后:

领域 笔记数 占比
开发 2,837 36.8%
设计 1,709 22.2%
灵感 565 7.3%
Claude-Code 414 5.4%
AI 工具 414 5.4%
生产力 346 4.5%
想法 296 3.8%
科学 231 3.0%
健康-生活 191 2.5%
架构 142 1.8%
创业 26 0.3%
工具 22 0.3%
收件箱 420 5.5%
静默跳过(< 0.30) ~87 ~1.1%

表中各行合计为7,613条已路由的信号。其余约87条(低于收件箱阈值0.30)被静默跳过,因此处理总数为7,700多条。分布反映了现实:我消费的开发和设计内容远多于其他类别。收件箱条目(420条)代表模糊区,也就是算法无法有把握地自动路由的信号。6


算法犯的错

深度陷阱

一条粉蝶花照片的推文得分为 composite 0.36, relevance 0.25, actionability 0.10, depth 0.85, authority 0.50。它被路由到收件箱,因为深度(0.85)和权威性(0.50)弥补了几乎为零的相关性和可操作性。元数据丰富,内容却不相关:只是一张漂亮的花朵照片。

这个例子揭示了基于元数据代理评分的根本局限。深度衡量的是”来源提供了结构化数据”,而不是”内容有价值”。Twitter 为每条推文都提供完整的描述和标签。一条标签完善、关于早餐的推文,深度同样能得到0.85分。信息检索研究把这种内在张力称为精确率/召回率权衡:为召回率(捕获所有相关内容)而优化,必然会放进误报。10

我考虑过但放弃的修复方案: 把深度权重从0.20降到0.10,可以减少标签完善但不相关内容造成的误报,但也会惩罚那些来自元数据稀少的来源、真正有深度的内容。当前的权重是一种折中。更精细的做法是用轻量级的文本质量启发式替代结构性的深度检查,例如统计不重复名词的数量,用类符/形符比衡量词汇多样性,或者借助知识拓扑嵌入的方法,衡量与已知高质量范例之间的语义距离。我没有实现这些,是因为当前系统已经能正确路由93%的信号,而进入收件箱等待人工审核的7%是可以承受的工作量。深度维度对自身的局限是诚实的:它衡量的是结构,而不是实质。

相关性基线问题

零匹配相关性的0.25基线意味着,任何来自合理来源、结构良好的信号都至少能得到0.30分,从而进入收件箱。这个基线制造了一个误报下限:收件箱里不断积累标签完善、来源合理,却与我的兴趣毫不相干的信号。

实际的解决方案: 定期审核收件箱仍然必不可少。流水线把需要审核的范围从7,700条缩减到420条(减少约95%),但无法消除对模糊区的人工审核。


实现说明

流水线以 CLI 工具的形式运行。输入是信号的 JSON 数组(来自 RSS、Twitter API 或手动录入)。输出是写入领域文件夹、兼容 Obsidian 的 Markdown 文件。

python triage.py --input signals.json --vault ~/obsidian-signals/
python triage.py --input signals.json --vault ~/obsidian-signals/ --llm-triage
python triage.py --input signals.json --min-score 0.60  # Stricter routing

预过滤在评分之前运行:针对知识库现有笔记的 URL 去重、空内容过滤,以及噪声来源黑名单。重复笔记和垃圾来源永远不会进入评分阶段。

评分函数是纯函数:没有副作用,没有 API 调用,没有文件系统访问。每个函数接收一个信号字典,返回一个分数字典。纯函数的做法使它们可以独立测试,并能与只在模糊子集上运行的 LLM 分诊阶段方便地组合。7

最小评分函数

核心评分逻辑可以放进一个函数里。下面是一个简化版本,涵盖了最本质的模式:

def score_signal(signal: dict, keywords: dict[str, float]) -> dict:
    """Score a signal across four weighted dimensions. Returns composite 0.0-1.0."""
    title = signal.get("title", "").lower()
    desc = signal.get("description", "").lower()
    text = f"{title} {desc}"

    # Relevance: best keyword match blended with average
    matches = [v for k, v in keywords.items() if k in text]
    relevance = (max(matches) * 0.6 + sum(matches) / len(matches) * 0.4
                 if matches else 0.25)

    # Actionability: step function based on action keyword hits
    action_words = {"tutorial", "guide", "how-to", "build", "example", "github.com"}
    hits = sum(1 for w in action_words if w in text)
    actionability = {0: 0.10, 1: 0.40, 2: 0.60}.get(hits, min(1.0, 0.70 + hits * 0.05))

    # Depth: metadata richness (structure, not quality)
    depth = sum([
        0.20 if signal.get("title") else 0,
        0.20 if signal.get("description") else 0,
        0.15 if len(desc) > 50 else 0,
        0.15 if len(desc) > 150 else 0,
        0.15 if signal.get("tags") else 0,
        0.10 if len(signal.get("tags", [])) >= 3 else 0,
        0.05 if signal.get("url") else 0,
    ])

    # Authority: source-based baseline
    source = signal.get("source", "").lower()
    authority = {"twitter": 0.50, "blog": 0.60, "github": 0.70, "docs": 0.70}.get(source, 0.40)

    composite = round(relevance * 0.35 + actionability * 0.30 + depth * 0.20 + authority * 0.15, 3)
    return {"relevance": relevance, "actionability": actionability,
            "depth": depth, "authority": authority, "composite": composite}

生产版本还加入了域名白名单、针对 URL 的加分和预过滤。但上面的评分逻辑已经展示了完整的模式:四个纯函数,一次加权求和,确定性的输出。

示例数据集:五条信号,五个分数

用上面的 score_signal 函数对下面五条信号运行一遍,即可验证评分行为。使用的关键词词典为:{"claude code": 1.0, "swiftui": 1.0, "fastapi": 0.85, "design": 0.60, "python": 0.75}。

# 信号 综合分 路由
1 {"title": "Building a SwiftUI Component Library", "description": "A step-by-step tutorial showing how to build reusable SwiftUI views with previews and documentation. Includes working example code and a GitHub repository at github.com/example.", "tags": ["swiftui", "ios", "tutorial", "components"], "source": "blog", "url": "https://example.com/swiftui-lib"} 0.910 自动写入
2 {"title": "Python 3.13 Release Notes", "description": "Official release notes documenting new features, deprecations, and breaking changes in Python 3.13 including improved error messages and typing enhancements.", "tags": ["python", "release"], "source": "docs", "url": "https://docs.python.org/3.13/whatsnew"} 0.578 自动写入
3 {"title": "Beautiful nemophila photos from Hitachi Seaside Park", "description": "Spring bloom season produces stunning blue flower fields stretching to the horizon. Best visited in late April through early May for peak color.", "tags": ["photography", "japan", "flowers", "travel"], "source": "twitter"} 0.353 收件箱
4 {"title": "Thread about tech hiring", "description": "", "tags": [], "source": "twitter"} 0.232 跳过
5 {"title": "FastAPI Guide: Build Production APIs", "description": "A comprehensive tutorial showing how to build, test, and deploy a production FastAPI application. Covers authentication, rate limiting, background tasks, and CI/CD. Full example code on github.com.", "tags": ["fastapi", "python", "tutorial", "guide", "api"], "source": "blog", "url": "https://example.com/fastapi-prod"} 0.872 自动写入

信号1的计算(逐步): 相关性:”swiftui”命中(1.0)。只有一个匹配,因此 1.0 * 0.6 + 1.0 * 0.4 = 1.0。可操作性:”tutorial” + “build” + “example” + “github.com” = 4次命中 → min(1.0, 0.70 + 4 * 0.05) = 0.90。深度:标题(0.20) + 描述(0.20) + 超过50字符(0.15) + 超过150字符(0.15) + 标签(0.15) + 标签>=3个(0.10) + URL(0.05) = 1.00。权威性:”blog” → 0.60。综合分:1.0*0.35 + 0.90*0.30 + 1.00*0.20 + 0.60*0.15 = 0.35 + 0.27 + 0.20 + 0.09 = 0.910。

信号1在所有维度上都得分很高:关键词精确匹配(SwiftUI = 1.0),四个行动关键词(”tutorial”、”build”、”example”、”github.com”),元数据完整,来源可信。信号2刚好越过自动写入阈值:相关性强(Python = 0.75),权威性高(docs = 0.70),但可操作性为零(发布说明是信息性的,不是教程)。信号3就是”深度陷阱”一节中的粉蝶花推文去掉URL后的版本,所以深度是0.80而不是0.85;权威性中等(0.50),但几乎为零的相关性和可操作性使综合分落入收件箱,而不是被自动路由。信号4没有描述、没有标签,也没有关键词匹配,低于0.30的下限,被静默跳过。信号5展示了多个关键词匹配如何拉高相关性:”fastapi”(0.85)和”python”(0.75)同时命中,五个行动关键词把可操作性推到0.95。

读者可以把 score_signal 函数和这五条信号粘贴到 Python REPL 中,逐一验证表中的每个数字。


核心要点

给构建分诊系统的工程师:

  • 在规模面前,确定性评分胜过人工整理。 14个月,7,700条笔记。按每条信号约25秒(读标题、扫一眼描述、决定文件夹)计算,人工分诊需要53小时以上的审核时间。流水线在几分钟内完成处理,自动路由率约93%(5.5%进入收件箱等待人工审核,约1.1%因低于0.30阈值被静默跳过)。约95%的信号完全无需人工干预(自动路由 + 跳过)。

  • 元数据代理有已知的失效模式。 深度衡量的是结构,而非质量。权威性衡量的是来源,而非准确性。这两个代理在聚合层面有效,但在单条信号层面会产生可预测的误报。承认失效模式,比声称算法”有效”更诚实。

给知识管理实践者:

  • 加权综合评分会暴露您真实的优先级。 35/30/20/15的权重并非随意设定。它们编码了一个具体的判断:相关性比可操作性重要,可操作性比元数据丰富度重要,元数据丰富度又比来源可信度重要。让权重显式且可调,正是系统与习惯之间的区别。

  • 模糊区无法消除。 0.30到0.55之间的信号本质上就是模糊的:确定性评分器无法给出定论。LLM 分诊有所帮助,但不能消除模糊区。对模糊子集的人工审核仍然必不可少。

练习:调出您自己的权重。 从均等权重(25/25/25/25)开始,处理50条信号。复查其中最出人意料的10个路由决策,也就是被送错地方的信号。针对每一条,找出调整哪个维度的权重能够纠正这次路由。每次只调整一个权重,重新处理同样的50条信号,然后进行比较。重新调参不宜超过每周一次。


常见问题

为什么在知识分诊中使用加权综合评分,而不是机器学习?

综合评分是确定性的:相同的输入总是产生相同的分数,而且您可以准确解释原因。机器学习分类器的准确率也许更高,但会带来不透明性:您很难解释一条信号为什么得了0.62而不是0.54。在个人知识管理中,对系统的信任比边际上的准确率提升更重要,而确定性评分正能赢得这份信任。权重是显式的、可调的、可审计的。此外,机器学习分类器还需要带标注的训练数据,这意味着在系统能够工作之前,就得先人工审核数百条信号,而这恰恰是这条流水线要消除的人工审核负担。

可以随着时间推移动态调整权重吗?

可以,而且应该这样做。权重最初是25/25/25/25(均等),在六个月里根据观察到的失效模式逐步演变为35/30/20/15。重新调参的关键信号是:收件箱里持续出现某一类误报(例如标签完善但不相关的内容)。这时就提高本可以过滤掉它的那个维度的权重(在这个例子里是相关性)。每次最多只调整一个维度,并且在正式采用之前,先用一周的信号分别跑一遍新旧两套权重。

LLM 分诊阶段是如何工作的?

可选的 --llm-triage 标志只把模糊信号(综合分0.30-0.55)发送给 Claude 评估。LLM 接收信号的标题、描述、标签和 URL,然后返回一个分数调整值(-0.20到+0.20)和一个领域分类。这个调整可以把信号推到0.55的自动写入阈值之上,也可以压到0.30的跳过阈值之下。成本约为每条信号$0.02-0.04。只对模糊子集(7,700条中的420条)运行 LLM 分诊,花费为$8-17,而对全部信号运行则需要$150-300。

加权综合评分能用于工单处理、内容审核或潜在客户评级吗?

这套架构是通用的。基于加权维度的综合评分适用于任何需要确定性路由的领域:工单分诊(紧急程度、客户等级、主题复杂度、SLA 状态)、内容审核(严重程度、置信度、语境敏感度、举报者可信度)、潜在客户评级(匹配度、参与程度、意向信号、公司规模),以及异常检测(偏离幅度、历史频率、业务影响、来源可靠性)。具体的权重和阈值因领域而异,但四维加权综合的模式可以直接迁移。这里适用复合工程的原则:评分架构一旦建成,要适配新领域,只需重新定义关键词词典并重新调整权重。


综合评分适用于任何需要确定性路由的领域。我的具体权重和阈值编码的是个人优先级,但架构本身是通用的。关于积累的知识如何创造非线性价值,请参阅心智复利。流水线的每个组件(评分、路由、分诊)都独立有用,并与其他组件叠加增效,遵循复合工程模式。在规模化之后,流水线会接入让已评分知识可被检索的混合检索器,而整体模式可以在一万七千条信号中看到。



  1. 我没有通过数学方法推导权重分布,而是在六个月的使用中不断调优。初始权重是均等的(25/25/25/25)。在观察到高深度、低相关性的信号(标签完善但不相关的内容)涌入收件箱后,相关性提升至35%。在观察到相关性高但没有实际应用价值的理论性内容被闲置堆积后,可操作性提升至30%。 ↩

  2. 零匹配相关性的0.25基线是一个刻意的设计选择。若将其设为0.0,任何不在整理好的关键词列表中的信号最高只能得到0.65分(0 + 可操作性 + 深度 + 权威性,没有相关性贡献),这会使真正的新主题几乎不可能达到自动写入阈值。 ↩

  3. 我为可操作性选择阶梯函数评分而非线性评分,是因为可操作性更接近布尔值,而不是连续变量。一篇教程是可操作的。一篇关于教程的新闻报道则不是。阶梯函数比渐变更好地捕捉了这种二元性质。 ↩

  4. 我最初将深度维度命名为”quality(质量)”,意图衡量内容的丰富程度。在观察到它实际衡量的是元数据丰富度之后,我将其重命名为”depth(深度)”,以反映它的真实行为。这次更名是对该指标实际衡量内容的刻意诚实。 ↩

  5. LLM 分诊使用 Claude Code CLI(claude --print --model opus),配合一个结构化提示词,请求给出分数调整值(-0.20到+0.20)和领域分类。作者估算的成本:每条信号约$0.02-0.04。对全部7,700条信号运行 LLM 分诊将花费$150-300。只对420条模糊信号运行则花费$8-17。 ↩

  6. 作者的领域分布数据,截至2026年2月。计数反映自2024年12月以来的累计路由结果。分布自第三个月起趋于稳定,开发和设计始终占已路由信号的55-60%。 ↩

  7. 选择纯评分函数是一个刻意的架构决策。替代方案(检查文件系统是否重复、或调用 API 补充信息的评分函数)会更准确,但在没有 mock 的情况下无法测试。纯函数的做法牺牲了一些准确性,换取了可测试性和可组合性。 ↩

  8. Clay Shirky,”It’s Not Information Overload. It’s Filter Failure”,Web 2.0 Expo 主题演讲,2008年。youtube.com/watch?v=LabqeJEOQyI。Shirky 的框架可以直接套用:一个积压了400多条未处理笔记的收件箱,不是信息过载,而是过滤的缺失。另见 Alvin Toffler,Future Shock,Random House,1970年,该书提出了”information overload(信息过载)”一词,指暴露于过多信息时做出决策的困难。 ↩

  9. 加权线性组合是多准则决策分析(MCDA)中的标准技术。此处的方法是简化的加权求和模型(WSM),这是最古老的 MCDA 方法之一。Saaty, T.L.,The Analytic Hierarchy Process,McGraw-Hill,1980,提供了一套通过两两比较推导权重的严谨方法论,比这里使用的经验调优更为形式化。本流水线所用的更简单的加法模型遵循 Fishburn, P.C.,”Additive Utilities with Incomplete Product Set”,Journal of Mathematical Psychology,4(1),pp. 104-110,1967。 ↩

  10. 精确率/召回率权衡是信息检索中的基本概念。提高召回率(捕获更多相关条目)必然会放进更多不相关条目,从而降低精确率。深度维度通过奖励任何结构良好的信号来优化召回率,这就是不相关但标签完善的内容也能通过阈值的原因。参见 Manning, C.D., Raghavan, P., & Schütze, H.,Introduction to Information Retrieval,Cambridge University Press,2008,第8章。nlp.stanford.edu/IR-book/ ↩

相关文章

无构建宣言:不用打包工具直接发布

FastAPI + HTMX + 纯CSS,零构建工具,Lighthouse满分。真实的生产数据、诚实的取舍分析,以及清晰的决策框架。

14 分钟阅读

LLM如何处理文本:我的i18n系统教会我的Token经济学

将网站翻译成6种语言后发现:韩语对相同内容消耗的token是英语的2.8倍。交互式可视化工具展示原因。

7 分钟阅读

汉明码:计算机如何自己发现并纠正错误

从 RAM 到二维码和深空通信,交互式理解汉明码如何检测并修复位错误。

4 分钟阅读