信號評分管線:確定性知識分類法
大多數知識管理靠的是直覺。您儲存一則筆記,因為它「感覺很重要」。六個月後,您擁有7,000則筆記,卻不知道哪些真正重要。我建造了一個確定性評分管線來告訴我答案。這篇文章屬於品味基礎設施的範疇,也就是將主觀判斷編碼為確定性系統的領域。
信號評分管線以相關性、可行性、深度與權威性四個維度的加權複合分數,取代主觀的筆記分類。每則傳入的筆記都會得到0.0到1.0的評分,並自動路由到領域資料夾、手動審閱佇列,或直接丟棄。14個月內處理了超過7,700則筆記,完全不需要手動標籤。
這個系統是733行Python程式碼。它對每個傳入的信號從四個加權維度進行評分,計算複合分數,然後將信號路由到12個領域資料夾之一、供手動審閱的收件匣,或直接丟棄。不需要手動標籤。不會有「之後再看」卻永遠沒有下文的情況。由演算法來決定。
摘要
加權複合分數(相關性35%、可行性30%、深度20%、權威性15%)為每個信號產生0.0到1.0的評分。路由使用三個閾值:>= 0.55自動寫入領域資料夾,>= 0.30排入手動審閱佇列,< 0.30靜默略過。14個月內處理了超過7,700則筆記,其中Development(2,837)和Design(1,709)在分布中佔主導地位。最有趣的缺陷:深度維度衡量的是中繼資料的豐富度,而非內容品質,因此一則標籤完善、關於花卉照片的推文可以得到0.85分。
直覺篩選的問題
我使用Obsidian作為知識庫(完整設定請見Obsidian指南)。信號來自RSS訂閱、Twitter書籤、GitHub星標、電子報和手動擷取。在建造管線之前,每個信號都進入同一個收件匣資料夾。兩個月內就累積了400多則未處理的筆記。
標準建議(「每週檢閱、隨手標籤、使用資料夾系統」)的前提是檢閱真的會發生。但它不會。收件匣變成唯寫模式:項目進得去,卻永遠出不來。您擷取過的知識,在功能上與從未擷取的知識毫無二致。Clay Shirky精準地描述了這個問題:「這不是資訊過載,而是過濾失敗。」8
我需要一個系統,能以比我閱讀更快的速度評估7,700多則筆記,並使用我只需定義一次、統一套用的標準。不是推薦引擎,而是評分演算法。
複合分數
評分公式是四個維度的加權線性組合,這是多準則決策分析(MCDA)中的標準方法:9
composite = (
relevance * 0.35 +
actionability * 0.30 +
depth * 0.20 +
authority * 0.15
)
每個維度產生一個介於0.0到1.0之間的浮點數。公式將複合分數四捨五入到小數點後三位。權重反映了刻意的優先順序:對我而言重要的事物(相關性)優先於我能使用的事物(可行性),可行性優先於中繼資料的豐富程度(深度),深度優先於來源的可信度(權威性)。1
我曾考慮另外兩個維度,最後都捨棄了。時效性(越新的信號分數越高)之所以捨棄,是因為知識管理不是新聞動態:一篇2019年關於API設計的文章,價值不亞於2026年的同類文章。社群認同(按讚、轉推、星標)之所以捨棄,是因為熱門程度反映的是吸引力,而非對我特定工作流程的實用性。四個維度已足以準確路由信號。再增加維度只會提高調校的複雜度,卻無法實質改善路由品質。
四個維度
相關性(35%):興趣匹配
相關性只回答一個問題:這個信號是否與我關心的事物有關?一個手動維護、包含43個條目的關鍵字字典,將每項興趣對應到0.15(nft,幾乎無關,但我想知道動態)到1.0(claude code、swiftui,我日常工作的核心)之間的分數。評分結合了最佳匹配與所有匹配的平均值:
# 60% best match, 40% average of all matches
return min(1.0, best_score * 0.6 + avg_score * 0.4)
零匹配的項目獲得0.25的基準值,而非0.0。系統對未知主題的懲罰比對不相關主題更輕。基準值是最常調整的參數:過高,不相關的內容會淹沒收件匣;過低,真正的新興趣在我看到之前就被過濾掉了。2
可行性(30%):學習潛力
可行性回答的是:我能用這個做些什麼嗎?一篇探討SwiftUI架構的理論文章具有相關性,但不具可行性。一篇逐步示範如何建構SwiftUI元件的教學則兩者兼具。這個維度比對22個行動導向的關鍵字:tutorial、guide、how-to、build、github.com。URL會獲得特殊處理:
if "github.com" in url:
hits += 2 # Repositories are inherently actionable
if "/docs" in url or "/tutorial" in url:
hits += 1
評分採用階梯函數,而非線性:0次命中→0.10,1次命中→0.40,2次命中→0.60,3次以上→min(1.0, 0.70 + hits * 0.05)。階梯函數獎勵可行性信號的存在,多於其數量。一個教學連結的價值,遠大於三個與四個關鍵字之間的差異。3
深度(20%):中繼資料豐富度
深度純粹是結構性的。它衡量欄位的存在與長度,而非內容品質:
| 信號 | 分數 |
|---|---|
| 有標題 | +0.20 |
| 有描述 | +0.20 |
| 描述超過50字元 | +0.15 |
| 描述超過150字元 | +0.15 |
| 有任何標籤 | +0.15 |
| 有3個以上標籤 | +0.10 |
| 有URL | +0.05 |
| 最大值 | 1.00 |
深度是我最不信任的維度。一則關於花卉照片的推文,附帶完整描述和四個標籤,深度得分為0.85。中繼資料豐富,內容卻不相關。深度代表的是「來源提供了結構化資料」,這與品質相關,但不保證品質。4
權威性(15%):來源可信度
權威性從0.40的基準值開始,依來源類型調整:
if source in ("twitter", "x"): score = 0.50
elif source in ("blog", "newsletter"): score = 0.60
elif source in ("github", "docs"): score = 0.70
網域允許清單只會向上覆寫(絕不向下):github.com、anthropic.com、apple.com、arxiv.org、docs.python.org等網域會將權威性設為至少0.75。允許清單編碼了一項判斷:這些來源預設應享有更高的信任度。
閾值路由
三個路由區間決定每個已評分信號的去向:
THRESHOLD_AUTO_WRITE = 0.55 # → domain folder
THRESHOLD_INBOX = 0.30 # → 00-Inbox (manual review)
# Below 0.30 → silently skipped
管線將評分>= 0.55的信號直接寫入12個領域資料夾之一,領域由標籤與標題匹配推斷。中間範圍的信號(0.30-0.55)進入收件匣等待手動審閱。低於0.30的信號永遠不會進入知識庫。0.55的閾值來自實證調校:設為0.50時,太多僅略微相關的信號被自動路由到領域資料夾,稀釋了資料夾的實用性。設為0.60時,處於邊緣但有用的信號錯失自動路由,使收件匣過度膨脹。0.30的下限則確保任何來自已知來源類型、結構完善的信號,至少能進入收件匣接受人工審閱。
0.30到0.55的範圍是「模糊區間」,系統在此區間的信心最低。可選的--llm-triage旗標會將這些信號送交Claude評估,Claude可將複合分數調整至多±0.20,可能讓信號越過自動寫入閾值。Claude只看得到模糊信號,從不處理高分或低分的信號。把API額度花在確定性評分器已經處理好的信號上,純屬浪費。5
領域推斷採用投票制。每個標籤對應一個領域,標題中的每個關鍵字增加一票。得票最多的領域勝出。平票時依字典(dict)中鍵的排列順序決定(實際上是任意的)。預設回退值:「Inspiration」。
結果
14個月內處理超過7,700則筆記後:
| 領域 | 筆記數 | 佔總數百分比 |
|---|---|---|
| Development | 2,837 | 36.8% |
| Design | 1,709 | 22.2% |
| Inspiration | 565 | 7.3% |
| Claude-Code | 414 | 5.4% |
| AI-Tools | 414 | 5.4% |
| Productivity | 346 | 4.5% |
| Ideas | 296 | 3.8% |
| Science | 231 | 3.0% |
| Health-Life | 191 | 2.5% |
| Architecture | 142 | 1.8% |
| Startups | 26 | 0.3% |
| Tools | 22 | 0.3% |
| 收件匣 | 420 | 5.5% |
| 靜默略過(< 0.30) | ~87 | ~1.1% |
表中各列合計為7,613個已路由的信號。其餘約87個項目(分數低於0.30的收件匣閾值)被靜默略過,使處理總數達到7,700多個。這個分布反映了現實:我閱讀的開發與設計內容遠多於其他任何領域。收件匣項目(420則)代表模糊區間,也就是演算法無法有把握地自動路由的信號。6
演算法判斷錯誤之處
深度陷阱
一則粉蝶花照片的推文得分為composite 0.36, relevance 0.25, actionability 0.10, depth 0.85, authority 0.50。它被路由到收件匣,因為深度(0.85)和權威性(0.50)彌補了幾乎為零的相關性與可行性。中繼資料豐富,內容卻不相關:只是一張漂亮的花卉照片。
這個例子說明了以中繼資料作為代理指標的評分方式的根本限制。深度衡量的是「來源提供了結構化資料」,而非「內容有價值」。Twitter為每則推文提供完整的描述和標籤。一則標籤完善、關於早餐的推文,深度同樣得到0.85分。資訊檢索研究將其背後的張力稱為精確率與召回率的權衡:針對召回率最佳化(捕捉所有相關項目),必然會引入偽陽性。10
我考慮過但捨棄的修正方案:將深度權重從0.20降至0.10,可以減少標籤完善但不相關內容造成的偽陽性,卻也會懲罰那些來自中繼資料稀疏來源、但真正具有深度的內容。目前的權重是一種折衷。更精緻的做法是以輕量的文字品質啟發式方法取代結構性的深度檢查,例如計算不重複名詞的數量、以型符比(type-token ratio)衡量詞彙多樣性,或採用知識拓撲嵌入的方法,衡量與已知高品質範例之間的語意距離。我尚未實作這些方案,因為目前的系統能正確路由93%的信號,而進入收件匣等待手動審閱的7%是可以負擔的工作量。深度維度對自身的限制是誠實的:它衡量的是結構,而非實質。
相關性基準值問題
零匹配相關性的0.25基準值意味著,任何來自合理來源、結構完善的信號至少得到0.30分,進而落入收件匣。這個基準值形成了一道偽陽性的底線:收件匣會累積那些標籤完善、來源合理,卻與我的興趣毫無關係的信號。
實際的解決方案:定期審閱收件匣仍然有其必要。管線將審閱範圍從7,700個項目縮減至420個(約縮減95%),但無法消除模糊區間的手動審閱。
實作備註
管線以CLI工具的形式執行。輸入是信號的JSON陣列(來自RSS、Twitter API或手動輸入)。輸出是與Obsidian相容的markdown檔案,寫入各領域資料夾。
python triage.py --input signals.json --vault ~/obsidian-signals/
python triage.py --input signals.json --vault ~/obsidian-signals/ --llm-triage
python triage.py --input signals.json --min-score 0.60 # Stricter routing
預過濾在評分之前執行:比對既有知識庫筆記進行URL去重、過濾空內容,以及套用雜訊來源封鎖清單。重複的筆記與垃圾來源永遠不會進入評分階段。
評分函數都是純函數:沒有副作用、沒有API呼叫、不存取檔案系統。每個函數接收一個信號字典,回傳一個分數字典。純函數的做法讓它們可以獨立測試,也能與只針對模糊子集執行的LLM分類階段組合使用。7
最精簡的評分函數
核心評分邏輯可以放進單一函數。以下是捕捉其基本模式的簡化版本:
def score_signal(signal: dict, keywords: dict[str, float]) -> dict:
"""Score a signal across four weighted dimensions. Returns composite 0.0-1.0."""
title = signal.get("title", "").lower()
desc = signal.get("description", "").lower()
text = f"{title} {desc}"
# Relevance: best keyword match blended with average
matches = [v for k, v in keywords.items() if k in text]
relevance = (max(matches) * 0.6 + sum(matches) / len(matches) * 0.4
if matches else 0.25)
# Actionability: step function based on action keyword hits
action_words = {"tutorial", "guide", "how-to", "build", "example", "github.com"}
hits = sum(1 for w in action_words if w in text)
actionability = {0: 0.10, 1: 0.40, 2: 0.60}.get(hits, min(1.0, 0.70 + hits * 0.05))
# Depth: metadata richness (structure, not quality)
depth = sum([
0.20 if signal.get("title") else 0,
0.20 if signal.get("description") else 0,
0.15 if len(desc) > 50 else 0,
0.15 if len(desc) > 150 else 0,
0.15 if signal.get("tags") else 0,
0.10 if len(signal.get("tags", [])) >= 3 else 0,
0.05 if signal.get("url") else 0,
])
# Authority: source-based baseline
source = signal.get("source", "").lower()
authority = {"twitter": 0.50, "blog": 0.60, "github": 0.70, "docs": 0.70}.get(source, 0.40)
composite = round(relevance * 0.35 + actionability * 0.30 + depth * 0.20 + authority * 0.15, 3)
return {"relevance": relevance, "actionability": actionability,
"depth": depth, "authority": authority, "composite": composite}
正式版本另外加入了網域允許清單、針對URL的加分,以及預過濾。但上面的評分邏輯已呈現完整的模式:四個純函數、一次加權總和、確定性的輸出。
範例資料集:五個信號,五個分數
將上面的score_signal函數套用在以下五個信號上,即可驗證評分行為。使用的關鍵字字典為:{"claude code": 1.0, "swiftui": 1.0, "fastapi": 0.85, "design": 0.60, "python": 0.75}。
| # | 信號 | 複合分數 | 路由 |
|---|---|---|---|
| 1 | {"title": "Building a SwiftUI Component Library", "description": "A step-by-step tutorial showing how to build reusable SwiftUI views with previews and documentation. Includes working example code and a GitHub repository at github.com/example.", "tags": ["swiftui", "ios", "tutorial", "components"], "source": "blog", "url": "https://example.com/swiftui-lib"} |
0.910 | 自動寫入 |
| 2 | {"title": "Python 3.13 Release Notes", "description": "Official release notes documenting new features, deprecations, and breaking changes in Python 3.13 including improved error messages and typing enhancements.", "tags": ["python", "release"], "source": "docs", "url": "https://docs.python.org/3.13/whatsnew"} |
0.578 | 自動寫入 |
| 3 | {"title": "Beautiful nemophila photos from Hitachi Seaside Park", "description": "Spring bloom season produces stunning blue flower fields stretching to the horizon. Best visited in late April through early May for peak color.", "tags": ["photography", "japan", "flowers", "travel"], "source": "twitter"} |
0.353 | 收件匣 |
| 4 | {"title": "Thread about tech hiring", "description": "", "tags": [], "source": "twitter"} |
0.232 | 略過 |
| 5 | {"title": "FastAPI Guide: Build Production APIs", "description": "A comprehensive tutorial showing how to build, test, and deploy a production FastAPI application. Covers authentication, rate limiting, background tasks, and CI/CD. Full example code on github.com.", "tags": ["fastapi", "python", "tutorial", "guide", "api"], "source": "blog", "url": "https://example.com/fastapi-prod"} |
0.872 | 自動寫入 |
信號1的計算過程(逐步):相關性:「swiftui」命中(1.0)。只有一個匹配,因此1.0 * 0.6 + 1.0 * 0.4 = 1.0。可行性:「tutorial」+「build」+「example」+「github.com」= 4次命中→min(1.0, 0.70 + 4 * 0.05) = 0.90。深度:標題(0.20)+ 描述(0.20)+ 超過50字元(0.15)+ 超過150字元(0.15)+ 標籤(0.15)+ 3個以上標籤(0.10)+ URL(0.05)= 1.00。權威性:「blog」→0.60。複合分數:1.0*0.35 + 0.90*0.30 + 1.00*0.20 + 0.60*0.15 = 0.35 + 0.27 + 0.20 + 0.09 = 0.910。
信號1在所有維度都得到高分:關鍵字完全匹配(SwiftUI = 1.0)、四個行動關鍵字(「tutorial」、「build」、「example」、「github.com」)、完整的中繼資料,以及可信的來源。信號2剛好越過自動寫入閾值:相關性強(Python = 0.75)、權威性高(docs = 0.70),但可行性為零(版本說明屬於資訊性內容,而非教學)。信號3就是深度陷阱一節中的粉蝶花推文去掉URL後的版本,所以深度是0.80而不是0.85;權威性中等(0.50),但幾乎為零的相關性與可行性,使複合分數落入收件匣,而非自動路由。信號4沒有描述、沒有標籤,也沒有任何關鍵字匹配,因此低於0.30的下限而被靜默略過。信號5展示了多個關鍵字匹配如何提升相關性:「fastapi」(0.85)和「python」(0.75)同時命中,五個行動關鍵字則將可行性推升至0.95。
讀者可以將score_signal函數和這五個信號貼進Python REPL,逐一驗證表中的每個數字。
核心要點
給建構分類系統的工程師:
-
在規模化場景中,確定性評分勝過手動策展。14個月處理7,700則筆記。若以每個信號約25秒(閱讀標題、瀏覽描述、決定資料夾)進行手動分類,需要53小時以上的審閱時間。管線在數分鐘內就處理完畢,自動路由率約93%(5.5%送往收件匣手動審閱,約1.1%因低於0.30閾值而被靜默略過)。整體而言,約95%的信號完全不需要人工介入(自動路由加上略過)。
-
中繼資料代理指標有已知的失效模式。深度衡量的是結構,而非品質。權威性衡量的是來源,而非準確性。兩種代理指標在整體規模上有效,但在單一信號層級會產生可預測的偽陽性。坦承這些失效模式,比宣稱演算法「有效」更為誠實。
給知識管理實踐者:
-
加權複合分數會揭露您真正的優先順序。35/30/20/15的權重並非隨意設定。它們編碼了一項具體判斷:相關性比可行性重要,可行性比中繼資料豐富度重要,中繼資料豐富度又比來源可信度重要。讓權重明確且可調整,正是系統與習慣之間的差別。
-
模糊區間無法消除。介於0.30和0.55之間的信號確實模稜兩可:確定性評分器無法判定它們。LLM分類有所幫助,但無法消除這個區間。對模糊子集進行手動審閱仍有其必要。
練習:調校您自己的權重。從均等權重(25/25/25/25)開始。處理50個信號。檢視其中10個最出乎意料的路由結果,也就是被送錯地方的信號。針對每一個,找出調整哪個維度的權重就能修正路由。一次只調整一個權重,重新處理同樣的50個信號並加以比較。每週最多重新調校一次。
常見問題
知識分類為什麼採用加權複合評分,而不是機器學習?
複合評分是確定性的:相同的輸入永遠產生相同的分數,而且您能確切解釋原因。機器學習分類器或許能達到更高的準確率,卻帶來不透明性:您很難解釋為什麼某個信號得到0.62分而不是0.54分。在個人知識管理中,對系統的信任比邊際的準確率提升更重要,而確定性評分正能贏得這份信任。權重明確、可調整,也可稽核。機器學習分類器還需要標註過的訓練資料,這表示在系統能運作之前,就得先手動審閱數百個信號,而這正是管線所要消除的手動審閱負擔。
權重可以隨時間動態調整嗎?
可以,而且應該這麼做。權重起初是25/25/25/25(均等),在六個月內根據觀察到的失效模式演變為35/30/20/15。重新調校的關鍵訊號是:當收件匣持續出現某一類偽陽性(例如標籤完善但不相關的內容)時,就提高能過濾掉它的那個維度的權重(以此例而言是相關性)。一次只重新調校一個維度,並在正式採用之前,讓一週份的信號同時以新舊權重跑過一遍。
LLM分類階段如何運作?
可選的--llm-triage旗標只會將模糊信號(複合分數0.30-0.55)送交Claude評估。LLM會收到信號的標題、描述、標籤和URL,然後回傳一個分數調整值(-0.20到+0.20)以及領域分類。這個調整可以將信號推過0.55的自動寫入閾值,或壓到0.30的略過閾值以下。成本約為每個信號$0.02-0.04。只對模糊子集(7,700個中的420個)執行LLM分類,花費為$8-17,而對全部信號執行則需$150-300。
加權複合評分能用於客服工單、內容審核或潛在客戶評級嗎?
這套架構是通用的。具加權維度的複合評分,適用於任何需要確定性路由的領域:客服工單分類(緊急程度、客戶等級、主題複雜度、SLA狀態)、內容審核(嚴重程度、信心度、情境敏感度、檢舉者可信度)、潛在客戶評級(契合度、參與程度、意圖訊號、公司規模),以及異常偵測(偏差幅度、歷史頻率、業務影響、來源可靠度)。具體的權重與閾值因領域而異,但四維度加權複合的模式可以直接移植。複合工程的原則在此同樣適用:評分架構一旦存在,要套用到新領域,只需重新定義關鍵字字典並重新調校權重。
複合評分適用於任何需要確定性路由的領域。我的具體權重和閾值編碼了個人的優先順序,但架構是通用的。關於累積的知識如何創造非線性價值,請參閱心智複利。管線的每個元件(評分、路由、分類)都可以獨立使用,並與其他元件相互複合,遵循複合工程的模式。在規模化之後,管線會將資料送入混合檢索器,讓已評分的知識可供搜尋,而整體模式則可在一萬七千個信號中看見。
-
我並非以數學方法推導出權重分布,而是在六個月的使用中逐步調校。初始權重是均等的(25/25/25/25)。在觀察到高深度、低相關性的信號(標籤完善但不相關的內容)淹沒收件匣後,相關性提高至35%。在觀察到高相關性卻缺乏實際應用的理論內容不斷累積而無人使用後,可行性提高至30%。 ↩
-
零匹配相關性的0.25基準值是刻意的設計選擇。若將其設為0.0,任何不在維護關鍵字清單中的信號最高只能得到0.65分(相關性為0,只有可行性、深度與權威性的貢獻),使真正的新主題幾乎不可能達到自動寫入閾值。 ↩
-
我選擇以階梯函數而非線性方式為可行性評分,因為可行性更接近布林值,而非連續變數。一篇教學是可行的;一篇報導某篇教學的新聞則不是。階梯函數比漸變更能捕捉這種二元特性。 ↩
-
我最初將深度維度命名為「品質」,意圖衡量內容的豐富度。在觀察到它實際衡量的是中繼資料豐富度之後,我將其重新命名為「深度」,以反映其實際行為。這次更名是對該指標實際捕捉內容的刻意誠實。 ↩
-
LLM分類使用Claude Code CLI(
claude --print --model opus),搭配結構化提示詞,要求提供分數調整值(-0.20到+0.20)和領域分類。作者的成本估計:每個信號約$0.02-0.04。對全部7,700個信號執行LLM分類需花費$150-300;僅對420個模糊信號執行則花費$8-17。 ↩ -
作者的領域分布資料,截至2026年2月。計數反映自2024年12月以來的累積路由。分布自第三個月起趨於穩定,Development和Design持續佔已路由信號的55-60%。 ↩
-
採用純評分函數是刻意的架構決策。替代方案(評分函數檢查檔案系統是否有重複,或呼叫API進行資料擴充)會更準確,但不使用模擬(mock)就無法測試。純函數的做法犧牲了部分準確性,換取可測試性與可組合性。 ↩
-
Clay Shirky,”It’s Not Information Overload. It’s Filter Failure”,Web 2.0 Expo主題演講,2008年。youtube.com/watch?v=LabqeJEOQyI。Shirky的觀點可直接套用:一個堆積400多則未處理筆記的收件匣,並非資訊過載,而是缺少過濾。另見Alvin Toffler,Future Shock,Random House,1970年,該書創造了「資訊過載」一詞,指接觸過多資訊時難以做出決策的困境。 ↩
-
加權線性組合是多準則決策分析(MCDA)中的標準技術。此處的方法是簡化的加權總和模型(WSM),也是最古老的MCDA方法之一。Saaty, T.L.,The Analytic Hierarchy Process,McGraw-Hill,1980年,提出了一套從成對比較推導權重的嚴謹方法,比此處使用的實證調校更為正式。本管線使用的較簡單加法模型則依循Fishburn, P.C.,”Additive Utilities with Incomplete Product Set”,Journal of Mathematical Psychology,4(1),pp. 104-110,1967年。 ↩
-
精確率與召回率的權衡是資訊檢索中的基本概念。提高召回率(捕捉更多相關項目)必然會引入更多不相關的項目,進而降低精確率。深度維度藉由獎勵任何結構良好的信號來針對召回率最佳化,這正是不相關但標籤完善的內容能通過閾值的原因。見Manning, C.D., Raghavan, P., & Schütze, H.,Introduction to Information Retrieval,Cambridge University Press,2008年,第8章。nlp.stanford.edu/IR-book/ ↩