シグナルスコアリングパイプライン:決定論的ナレッジトリアージ
ナレッジマネジメントの大半は「感覚」で成り立っています。「重要そうだから」という理由でノートを保存し、6ヶ月後には7,000件のノートが溜まって、どれが本当に重要なのか分からなくなります。私はそれを教えてくれる決定論的スコアリングパイプラインを構築しました。この記事は、主観的な判断を決定論的なシステムへとエンコードするテイストインフラストラクチャという領域の一部です。
シグナルスコアリングパイプラインは、主観に頼ったノートのトリアージを、関連性・実用性・深度・信頼性にわたる重み付き複合スコアに置き換えます。 入ってくる各ノートには0.0〜1.0の評価が付き、ドメインフォルダ、手動レビューのキュー、またはスキップのいずれかへ自動的にルーティングされます。14ヶ月で7,700件以上のノートを処理し、手動のタグ付けは一切必要ありませんでした。
このシステムは733行のPythonで書かれています。入ってくるすべてのシグナルを4つの重み付き次元でスコアリングし、複合スコアを算出し、12のドメインフォルダ、手動レビュー用のインボックス、またはスキップのいずれかにルーティングします。手動でのタグ付けは不要です。「後でレビューする」と言って結局やらない、ということもありません。判断するのはアルゴリズムです。
TL;DR
重み付き複合スコア(関連性35%、実用性30%、深度20%、信頼性15%)が、各シグナルに0.0〜1.0の評価を付けます。ルーティングには3つの閾値を使います。0.55以上はドメインフォルダへ自動書き込み、0.30以上は手動レビューのキューへ、0.30未満は何も通知せずにスキップされます。14ヶ月間で7,700件以上のノートを処理し、分布の大半をDevelopment(2,837件)とDesign(1,709件)が占めています。最も興味深い欠陥は、深度の次元がコンテンツの品質ではなくメタデータの豊富さを測っている点です。そのため、花の写真についてのタグが充実したツイートが0.85を獲得してしまいます。
「感覚」の問題点
私はObsidianをナレッジベースとして使っています(構成の全体はObsidianガイドにまとめています)。シグナルはRSSフィード、Twitterのブックマーク、GitHubのスター、ニュースレター、手動キャプチャから流れ込みます。パイプライン導入前は、すべてのシグナルが1つのインボックスフォルダに入っていました。2ヶ月もしないうちに、未処理のノートが400件以上溜まりました。
よくあるアドバイス(「毎週レビューし、その都度タグを付け、フォルダシステムを使いましょう」)は、レビューが実行されることを前提にしています。しかし実行されません。インボックスは書き込み専用になります。アイテムは入るのに、出ていきません。キャプチャしたナレッジは、キャプチャしなかったナレッジと機能的に変わらないのです。Clay Shirkyはこの問題を的確に言い表しました。「情報過多ではない。フィルターの失敗だ。」8
必要だったのは、7,700件以上のノートを私が読むよりも速く評価でき、一度定義した基準を均一に適用できるシステムです。レコメンドエンジンではなく、スコアリングアルゴリズムです。
複合スコア
スコアリングの計算式は4つの次元の重み付き線形結合で、多基準意思決定分析(MCDA)では標準的な手法です。9
composite = (
relevance * 0.35 +
actionability * 0.30 +
depth * 0.20 +
authority * 0.15
)
各次元は0.0から1.0の浮動小数点数を返します。計算式は複合スコアを小数第3位で丸めます。重みは意図的な優先順位を反映しています。自分にとって重要なもの(関連性)は使えるもの(実用性)より重く、それはメタデータの豊富さ(深度)より重く、さらにそれはソースの信頼度(信頼性)より重い、という順序です。1
追加の次元を2つ検討し、どちらも採用しませんでした。新しさ(新しいシグナルほど高スコア)は外しました。ナレッジマネジメントはニュースフィードではないからです。2019年のAPI設計に関するエッセイは、2026年のものと比べて価値が劣るわけではありません。ソーシャルプルーフ(いいね、リツイート、スター)も外しました。人気は訴求力とは相関しても、私自身のワークフローにとっての有用性とは相関しないからです。シグナルを正確にルーティングするには4つの次元で十分です。これ以上増やしても、ルーティングの質はほとんど改善せず、チューニングの複雑さが増すだけでしょう。
4つの次元
関連性(35%):興味とのマッチング
関連性が答える問いは1つだけです。このシグナルは、私が関心を持っている何かに関係しているか。手動でキュレーションした43エントリのキーワード辞書が、それぞれの関心事を0.15(nft:ほとんど関係ないものの、動向は見ておきたい)から1.0(claude code、swiftui:日々の仕事の中核)までのスコアに対応付けています。スコアリングでは、最も高いマッチと全マッチの平均をブレンドします。
# 60% best match, 40% average of all matches
return min(1.0, best_score * 0.6 + avg_score * 0.4)
1つもマッチしないアイテムには、0.0ではなく0.25のベースラインが付きます。未知のトピックは、無関係なトピックほど厳しくは減点されません。このベースラインは最も頻繁にチューニングしているパラメータです。高すぎると無関係なコンテンツがインボックスに溢れ、低すぎると本当に新しい関心事が目に触れる前に除外されてしまいます。2
実用性(30%):学習ポテンシャル
実用性が答える問いは、これを使って何かをできるか、です。SwiftUIのアーキテクチャについての理論的なエッセイは、関連性はあっても実用的ではありません。SwiftUIコンポーネントの構築を順に解説するチュートリアルは、その両方を満たします。この次元は22のアクション指向キーワード(tutorial、guide、how-to、build、github.com)とマッチングします。URLには特別な処理が入ります。
if "github.com" in url:
hits += 2 # Repositories are inherently actionable
if "/docs" in url or "/tutorial" in url:
hits += 1
スコアリングは線形ではなくステップ関数です。0ヒット → 0.10、1ヒット → 0.40、2ヒット → 0.60、3ヒット以上 → min(1.0, 0.70 + hits * 0.05)。ステップ関数は、実用性シグナルの量よりも存在を高く評価します。チュートリアルへのリンクが1つあることは、キーワードが3つか4つかの差よりも大きな価値を持ちます。3
深度(20%):メタデータの豊富さ
深度は純粋に構造的な指標です。コンテンツの品質ではなく、フィールドの有無と長さを測ります。
| シグナル | スコア |
|---|---|
| タイトルあり | +0.20 |
| 説明文あり | +0.20 |
| 説明文 > 50文字 | +0.15 |
| 説明文 > 150文字 | +0.15 |
| タグあり | +0.15 |
| タグ3つ以上 | +0.10 |
| URLあり | +0.05 |
| 最大値 | 1.00 |
深度は、私が最も信頼していない次元です。花の写真についてのツイートでも、説明文が揃い、タグが4つ付いていれば深度0.85になります。メタデータは豊富でも、コンテンツは無関係です。深度は「ソースが構造化データを提供した」ことの代理指標であり、品質とは相関しますが、品質を保証するものではありません。4
信頼性(15%):ソースの信用度
信頼性はベースライン0.40から始まり、ソースの種類に応じて調整されます。
if source in ("twitter", "x"): score = 0.50
elif source in ("blog", "newsletter"): score = 0.60
elif source in ("github", "docs"): score = 0.70
ドメイン許可リストは、値を上方向にだけ上書きします(下方向には上書きしません)。github.com、anthropic.com、apple.com、arxiv.org、docs.python.orgなどは、信頼性を最低0.75に設定します。この許可リストには、これらのソースはデフォルトでより高い信頼に値する、という判断がエンコードされています。
閾値ルーティング
スコアリングされた各シグナルの行き先は、3つのルーティング区分で決まります。
THRESHOLD_AUTO_WRITE = 0.55 # → domain folder
THRESHOLD_INBOX = 0.30 # → 00-Inbox (manual review)
# Below 0.30 → silently skipped
パイプラインは、0.55以上のシグナルを12のドメインフォルダのいずれかへ直接書き込みます。フォルダはタグとタイトルのマッチングから推定します。中間のシグナル(0.30〜0.55)は手動レビュー用のインボックスに入ります。0.30未満のものはVaultに届きません。0.55という閾値は経験的なチューニングから生まれました。0.50では、関連性がわずかなシグナルが多くドメインフォルダへ自動ルーティングされ、フォルダの有用性が薄まりました。0.60では、そこそこ有用なシグナルが自動ルーティングから漏れ、インボックスが膨らみすぎました。0.30という下限は、既知の種類のソースから来た構造の整ったシグナルであれば、少なくともインボックスまでは届いて人間のレビューを受けられるようにするためのものです。
0.30〜0.55の範囲は、システムの確信度が最も低い「曖昧ゾーン」です。オプションの--llm-triageフラグを付けると、これらのシグナルをClaudeに送って評価させることができます。Claudeは複合スコアを最大±0.20調整でき、それによってシグナルが自動書き込みの閾値をまたぐこともあります。Claudeが見るのは曖昧なシグナルだけで、高スコアや低スコアのシグナルは見ません。決定論的スコアラーがすでに処理したシグナルにAPIトークンを使うのは無駄だからです。5
ドメインの推定には投票方式を使います。各タグが1つのドメインに対応し、タイトル内の各キーワードが1票を加えます。最多得票のドメインが選ばれます。同点の場合はdictの順序で決まります(実質的には任意です)。デフォルトのフォールバック先は「Inspiration」です。
結果
14ヶ月で7,700件以上のノートを処理した結果は次のとおりです。
| ドメイン | ノート数 | 全体に占める割合 |
|---|---|---|
| Development | 2,837 | 36.8% |
| Design | 1,709 | 22.2% |
| Inspiration | 565 | 7.3% |
| Claude-Code | 414 | 5.4% |
| AI-Tools | 414 | 5.4% |
| Productivity | 346 | 4.5% |
| Ideas | 296 | 3.8% |
| Science | 231 | 3.0% |
| Health-Life | 191 | 2.5% |
| Architecture | 142 | 1.8% |
| Startups | 26 | 0.3% |
| Tools | 22 | 0.3% |
| Inbox | 420 | 5.5% |
| 通知なしでスキップ(< 0.30) | ~87 | ~1.1% |
表の行を合計すると、ルーティングされたシグナルは7,613件です。残りの約87件(インボックスの閾値0.30を下回ったもの)は通知なしでスキップされ、処理総数は7,700件以上になります。この分布は現実を反映しています。私はDevelopmentとDesignのコンテンツを、他の何よりも多く消費しているのです。インボックスのアイテム(420件)は曖昧ゾーン、つまりアルゴリズムが確信を持って自動ルーティングできなかったシグナルです。6
アルゴリズムが間違えたこと
深度の罠
ネモフィラの写真のツイートのスコアはcomposite 0.36, relevance 0.25, actionability 0.10, depth 0.85, authority 0.50でした。深度(0.85)と信頼性(0.50)が、ほぼゼロの関連性と実用性を埋め合わせたため、インボックスにルーティングされました。メタデータは豊富でも、コンテンツは無関係です。きれいな花の写真にすぎません。
この例は、メタデータを代理指標とするスコアリングの根本的な限界を示しています。深度が測っているのは「ソースが構造化データを提供した」ことであって、「コンテンツに価値がある」ことではありません。Twitterはすべてのツイートに完全な説明文とタグを付けます。朝食についてのタグが充実したツイートでも深度0.85になります。情報検索の研究では、この根底にある緊張関係を適合率と再現率のトレードオフと呼びます。再現率(関連するものをすべて拾うこと)を最適化すれば、偽陽性を受け入れることは避けられません。10
検討したが採用しなかった修正案: 深度の重みを0.20から0.10に下げれば、タグが充実した無関係なコンテンツによる偽陽性は減ります。しかし、メタデータの乏しいソースから来る本当に深いコンテンツまで減点されてしまいます。現在の重みは妥協点です。より洗練されたアプローチとしては、構造的な深度チェックを軽量なテキスト品質ヒューリスティックに置き換える方法があります。たとえば、重複を除いた名詞の数を数える、タイプ・トークン比で語彙の多様性を測る、あるいはナレッジトポロジーの埋め込みのアプローチを使って、既知の高品質な見本との意味的な距離を測る、といった方法です。これを実装していないのは、現在のシステムがシグナルの93%を正しくルーティングしており、手動レビューのためにインボックスに届く7%は十分に扱える量だからです。深度の次元は自らの限界に正直です。測っているのは構造であって、中身ではありません。
関連性ベースラインの問題
マッチなしの関連性ベースラインが0.25であるため、妥当なソースから来た構造の整ったシグナルは、どれも最低0.30を獲得してインボックスに入ります。このベースラインは偽陽性の下限を生みます。インボックスには、タグが充実していて妥当なソースから来たものの、私の関心とはまったく関係のないシグナルが溜まっていきます。
実際の修正策: 定期的なインボックスのレビューは、依然として必要です。パイプラインはレビュー対象を7,700件から420件へ減らしました(約95%の削減)が、曖昧ゾーンの手動レビューをなくすことはできません。
実装メモ
パイプラインはCLIツールとして動きます。入力はシグナルのJSON配列(RSS、Twitter API、または手動入力から)です。出力はObsidian互換のマークダウンファイルで、ドメインフォルダに書き込まれます。
python triage.py --input signals.json --vault ~/obsidian-signals/
python triage.py --input signals.json --vault ~/obsidian-signals/ --llm-triage
python triage.py --input signals.json --min-score 0.60 # Stricter routing
スコアリングの前にプレフィルタリングが走ります。既存のVaultのノートに対するURLの重複排除、空のコンテンツの除外、ノイズソースのブロックリストです。重複したノートやスパムのソースは、スコアリングの段階に届きません。
スコアリング関数はピュアです。副作用もAPIコールもファイルシステムへのアクセスもありません。各関数はシグナルのdictを受け取り、スコアのdictを返します。ピュアなので単独でテストでき、曖昧なサブセットにだけ実行されるLLMトリアージのステージとも組み合わせやすくなっています。7
最小限のスコアリング関数
スコアリングの中核ロジックは1つの関数に収まります。以下は、本質的なパターンを押さえた簡略版です。
def score_signal(signal: dict, keywords: dict[str, float]) -> dict:
"""Score a signal across four weighted dimensions. Returns composite 0.0-1.0."""
title = signal.get("title", "").lower()
desc = signal.get("description", "").lower()
text = f"{title} {desc}"
# Relevance: best keyword match blended with average
matches = [v for k, v in keywords.items() if k in text]
relevance = (max(matches) * 0.6 + sum(matches) / len(matches) * 0.4
if matches else 0.25)
# Actionability: step function based on action keyword hits
action_words = {"tutorial", "guide", "how-to", "build", "example", "github.com"}
hits = sum(1 for w in action_words if w in text)
actionability = {0: 0.10, 1: 0.40, 2: 0.60}.get(hits, min(1.0, 0.70 + hits * 0.05))
# Depth: metadata richness (structure, not quality)
depth = sum([
0.20 if signal.get("title") else 0,
0.20 if signal.get("description") else 0,
0.15 if len(desc) > 50 else 0,
0.15 if len(desc) > 150 else 0,
0.15 if signal.get("tags") else 0,
0.10 if len(signal.get("tags", [])) >= 3 else 0,
0.05 if signal.get("url") else 0,
])
# Authority: source-based baseline
source = signal.get("source", "").lower()
authority = {"twitter": 0.50, "blog": 0.60, "github": 0.70, "docs": 0.70}.get(source, 0.40)
composite = round(relevance * 0.35 + actionability * 0.30 + depth * 0.20 + authority * 0.15, 3)
return {"relevance": relevance, "actionability": actionability,
"depth": depth, "authority": authority, "composite": composite}
本番版では、ドメイン許可リスト、URL固有のボーナス、プレフィルタリングが加わります。それでも上のスコアリングロジックで、パターンの全体像は示せています。4つのピュアな関数、1つの重み付き和、そして決定論的な出力です。
サンプルデータセット:5つのシグナルと5つのスコア
上のscore_signal関数を次の5つのシグナルに対して実行すれば、スコアリングの挙動を検証できます。使用したキーワード辞書は{"claude code": 1.0, "swiftui": 1.0, "fastapi": 0.85, "design": 0.60, "python": 0.75}です。
| # | シグナル | 複合スコア | ルート |
|---|---|---|---|
| 1 | {"title": "Building a SwiftUI Component Library", "description": "A step-by-step tutorial showing how to build reusable SwiftUI views with previews and documentation. Includes working example code and a GitHub repository at github.com/example.", "tags": ["swiftui", "ios", "tutorial", "components"], "source": "blog", "url": "https://example.com/swiftui-lib"} |
0.910 | 自動書き込み |
| 2 | {"title": "Python 3.13 Release Notes", "description": "Official release notes documenting new features, deprecations, and breaking changes in Python 3.13 including improved error messages and typing enhancements.", "tags": ["python", "release"], "source": "docs", "url": "https://docs.python.org/3.13/whatsnew"} |
0.578 | 自動書き込み |
| 3 | {"title": "Beautiful nemophila photos from Hitachi Seaside Park", "description": "Spring bloom season produces stunning blue flower fields stretching to the horizon. Best visited in late April through early May for peak color.", "tags": ["photography", "japan", "flowers", "travel"], "source": "twitter"} |
0.353 | インボックス |
| 4 | {"title": "Thread about tech hiring", "description": "", "tags": [], "source": "twitter"} |
0.232 | スキップ |
| 5 | {"title": "FastAPI Guide: Build Production APIs", "description": "A comprehensive tutorial showing how to build, test, and deploy a production FastAPI application. Covers authentication, rate limiting, background tasks, and CI/CD. Full example code on github.com.", "tags": ["fastapi", "python", "tutorial", "guide", "api"], "source": "blog", "url": "https://example.com/fastapi-prod"} |
0.872 | 自動書き込み |
シグナル1の計算(ステップごと): 関連性:「swiftui」がマッチします(1.0)。マッチは1つなので1.0 * 0.6 + 1.0 * 0.4 = 1.0です。実用性:「tutorial」+「build」+「example」+「github.com」で4ヒット → min(1.0, 0.70 + 4 * 0.05) = 0.90。深度:タイトル(0.20) + 説明文(0.20) + 50文字超(0.15) + 150文字超(0.15) + タグ(0.15) + タグ3つ以上(0.10) + URL(0.05) = 1.00。信頼性:「blog」→ 0.60。複合スコア:1.0*0.35 + 0.90*0.30 + 1.00*0.20 + 0.60*0.15 = 0.35 + 0.27 + 0.20 + 0.09 = 0.910。
シグナル1はすべての次元で高スコアです。キーワードが完全一致し(SwiftUI = 1.0)、アクションキーワードが4つ(「tutorial」「build」「example」「github.com」)あり、メタデータが揃い、信頼できるソースから来ています。シグナル2は自動書き込みの閾値をわずかに上回ります。関連性(Python = 0.75)と信頼性(docs = 0.70)は高いものの、実用性はゼロです(リリースノートは情報提供であり、チュートリアルではありません)。シグナル3は「深度の罠」のセクションで取り上げたネモフィラのツイートからURLを除いたものです。そのため深度は0.85ではなく0.80になります。信頼性は中程度(0.50)ですが、関連性と実用性がほぼゼロのため、複合スコアは自動ルーティングではなくインボックス行きになります。シグナル4は説明文もタグもなく、キーワードもマッチしません。0.30の下限を下回り、通知なしでスキップされます。シグナル5は、複数のキーワードマッチが関連性をどう押し上げるかを示しています。「fastapi」(0.85)と「python」(0.75)の両方がヒットし、5つのアクションキーワードが実用性を0.95まで押し上げます。
score_signal関数とこの5つのシグナルをPythonのREPLに貼り付ければ、表のすべての数値を検証できます。
重要なポイント
トリアージシステムを構築するエンジニアへ:
-
規模が大きくなると、決定論的スコアリングは手動キュレーションに勝ります。 14ヶ月で7,700件のノート。1シグナルあたり約25秒(タイトルを読み、説明文に目を通し、フォルダを決める)の手動トリアージなら、53時間以上のレビュー時間が必要だったでしょう。パイプラインはそれを数分で処理し、自動ルーティング率は約93%でした(5.5%は手動レビューのためインボックスへ、約1.1%は閾値0.30を下回って通知なしでスキップ)。全シグナルのおよそ95%は、手動の介入をまったく必要としませんでした(自動ルーティング+スキップ)。
-
メタデータの代理指標には、既知の失敗パターンがあります。 深度が測るのは構造であって品質ではありません。信頼性が測るのはソースであって正確性ではありません。どちらの代理指標も集計レベルでは機能しますが、個々のシグナルのレベルでは予測可能な偽陽性を生みます。アルゴリズムが「機能する」と言い切るよりも、失敗パターンを認めるほうが誠実です。
ナレッジマネジメントの実践者へ:
-
重み付き複合スコアは、実際の優先順位を浮き彫りにします。 35/30/20/15という重みは恣意的なものではありません。関連性は実用性より重要で、実用性はメタデータの豊富さより重要で、メタデータの豊富さはソースの信用度より重要だ、という具体的な判断をエンコードしています。重みを明示的かつ調整可能にすることが、「システム」と「習慣」の違いです。
-
曖昧ゾーンはなくせません。 0.30から0.55の間のシグナルは本質的に曖昧で、決定論的スコアラーでは決着がつきません。LLMトリアージは助けになりますが、ゾーンそのものをなくすわけではありません。曖昧なサブセットの手動レビューは、依然として必要です。
演習:自分の重みをチューニングしてみましょう。 均等な重み(25/25/25/25)から始めて、50件のシグナルを処理します。最も意外だったルーティング判断、つまり間違った場所に行ったシグナルを10件見直します。それぞれについて、どの次元の重みを変えればルーティングが正しくなったかを特定します。重みは一度に1つだけ調整し、同じ50件を再処理して比較します。再チューニングは週に1回までにしましょう。
よくある質問
ナレッジのトリアージに、機械学習ではなく重み付き複合スコアを使うのはなぜですか?
複合スコアリングは決定論的です。同じ入力からは常に同じスコアが出て、その理由を正確に説明できます。MLの分類器のほうが精度は高くなるかもしれませんが、不透明さが入り込みます。あるシグナルが0.54ではなく0.62になった理由を、簡単には説明できません。わずかな精度の向上よりもシステムへの信頼が重要な個人のナレッジマネジメントでは、決定論的スコアリングこそがその信頼を得られます。重みは明示的で、調整でき、監査できます。さらにMLの分類器にはラベル付きの学習データが必要です。つまり、システムが動き始める前に数百件のシグナルを手動でレビューしなければなりません。それこそ、このパイプラインがなくすために存在している手動レビューの負担です。
重みは時間とともに動的にチューニングできますか?
できますし、そうすべきです。重みは25/25/25/25(均等)から始まり、観察した失敗パターンをもとに6ヶ月かけて35/30/20/15へと変わりました。再チューニングの重要な合図は、インボックスに特定の種類の偽陽性(たとえば、タグが充実した無関係なコンテンツ)が繰り返し入ってくることです。その場合は、それを除外できたはずの次元(この例では関連性)の重みを上げます。再チューニングは一度に1つの次元までにとどめ、確定する前に1週間分のシグナルを新旧両方の重みで処理してみてください。
LLMトリアージのステージはどのように動きますか?
オプションの--llm-triageフラグは、曖昧なシグナル(複合スコア0.30〜0.55)だけをClaudeに送って評価させます。LLMはシグナルのタイトル、説明文、タグ、URLを受け取り、スコアの調整値(-0.20〜+0.20)とドメインの分類を返します。この調整によって、シグナルが自動書き込みの閾値0.55を上回ることも、スキップの閾値0.30を下回ることもあります。コストはシグナルあたり約$0.02〜0.04です。LLMトリアージを曖昧なサブセット(7,700件中420件)だけに実行すれば、全件の$150〜300ではなく$8〜17で済みます。
重み付き複合スコアは、サポートチケット、コンテンツモデレーション、リード評価にも使えますか?
アーキテクチャは汎用的です。重み付き次元による複合スコアリングは、アイテムを決定論的にルーティングする必要があるあらゆるドメインに当てはまります。サポートチケットのトリアージ(緊急度、顧客ティア、トピックの複雑さ、SLAの状況)、コンテンツモデレーション(深刻度、確信度、文脈への感度、報告者の信用度)、リード評価(適合スコア、エンゲージメントの度合い、意図のシグナル、企業規模)、異常検知(逸脱の大きさ、過去の頻度、ビジネスへの影響、ソースの信頼性)などです。具体的な重みと閾値はドメインごとに変わりますが、4次元の重み付き複合というパターンはそのまま移植できます。ここでは複利的エンジニアリングの原則が当てはまります。スコアリングのアーキテクチャが一度できてしまえば、新しいドメインへの適応に必要なのは、キーワード辞書の定義し直しと重みの再チューニングだけです。
複合スコアリングは、アイテムを決定論的にルーティングする必要があるあらゆるドメインに適用できます。私の具体的な重みと閾値は個人的な優先順位をエンコードしたものですが、アーキテクチャは汎用的です。蓄積されたナレッジが非線形の価値を生む仕組みについては、知識の複利効果をご覧ください。パイプラインの各コンポーネント(スコアリング、ルーティング、トリアージ)はそれぞれ単独で有用であり、複利的エンジニアリングのパターンに従って互いに価値を積み上げていきます。規模が大きくなると、パイプラインはスコアリング済みのナレッジを検索可能にするハイブリッドリトリーバーへとつながり、全体のパターンは1万7,000件のシグナルで見ることができます。
-
重みの配分は数学的に導出したものではありません。6ヶ月間の使用を通じてチューニングしました。当初の重みは均等(25/25/25/25)でした。高深度・低関連性のシグナル(タグが充実した無関係なコンテンツ)がインボックスに溢れるのを観察して、関連性を35%に引き上げました。関連性は高いものの実用的な用途のない理論的なコンテンツが、使われないまま溜まっていくのを観察して、実用性を30%に引き上げました。 ↩
-
マッチなしの関連性ベースライン0.25は、意図的な設計上の選択です。これを0.0にすると、キュレーションしたキーワードリストの外にあるシグナルは最大でも0.65(0 + action + depth + authority、関連性の寄与なし)にしかならず、本当に新しいトピックが自動書き込みの閾値に届くことはほぼ不可能になります。 ↩
-
実用性のスコアリングに線形ではなくステップ関数を選んだのは、実用性が連続変数よりもブール値に近いからです。チュートリアルは実用的です。チュートリアルについてのニュース記事は実用的ではありません。ステップ関数は、この二値的な性質をグラデーションよりもうまく捉えます。 ↩
-
当初、深度の次元は「quality(品質)」という名前で、コンテンツの豊かさを測るつもりでした。実際にはメタデータの豊かさを測っていると分かったため、実際の挙動を反映して「depth(深度)」に改名しました。この改名は、指標が何を捉えているかについての意図的な誠実さです。 ↩
-
LLMトリアージはClaude Code CLI(
claude --print --model opus)を使い、スコアの調整値(-0.20〜+0.20)とドメインの分類を求める構造化プロンプトを送ります。著者によるコスト見積もりは、シグナルあたり約$0.02〜0.04です。7,700件すべてのシグナルにLLMトリアージを実行すると$150〜300かかります。曖昧な420件のシグナルだけに実行すれば$8〜17です。 ↩ -
著者によるドメイン分布のデータで、2026年2月時点のものです。件数は2024年12月以降の累積ルーティングを反映しています。分布は3ヶ月目以降安定しており、ルーティングされたシグナルの55〜60%を一貫してDevelopmentとDesignが占めています。 ↩
-
ピュアなスコアリング関数を選んだのは、意図的なアーキテクチャ上の判断です。代替案(重複を確認するためにファイルシステムを参照したり、情報を補うためにAPIを呼び出したりするスコアリング関数)のほうが正確だったでしょうが、モックなしではテストできません。ピュアなアプローチは、テスト可能性と組み合わせやすさのために、精度をいくらか犠牲にしています。 ↩
-
Clay Shirky, “It’s Not Information Overload. It’s Filter Failure,” Web 2.0 Expo基調講演、2008年。youtube.com/watch?v=LabqeJEOQyI。Shirkyの捉え方はそのまま当てはまります。400件以上の未処理ノートがあるインボックスは、情報の過多ではなく、フィルタリングの不在です。Alvin Toffler著 Future Shock(Random House、1970年)も参照してください。同書は、多すぎる情報にさらされたときに意思決定が難しくなることを指して「information overload(情報過多)」という言葉を生み出しました。 ↩
-
重み付き線形結合は、多基準意思決定分析(MCDA)の標準的な手法です。ここでのアプローチは、最も古いMCDA手法の1つである重み付き和モデル(WSM)を簡略化したものです。Saaty, T.L., The Analytic Hierarchy Process, McGraw-Hill, 1980は、一対比較から重みを導出する厳密な方法論を示しています。ここで用いた経験的なチューニングよりも形式的なアプローチです。このパイプラインで使っているより単純な加法モデルは、Fishburn, P.C., “Additive Utilities with Incomplete Product Set,” Journal of Mathematical Psychology, 4(1), pp. 104-110, 1967に従っています。 ↩
-
適合率と再現率のトレードオフは、情報検索における基本的な概念です。再現率を高める(関連するアイテムをより多く拾う)と、必然的に無関係なアイテムもより多く受け入れることになり、適合率が下がります。深度の次元は構造の整ったシグナルなら何でも評価することで再現率を最適化しており、そのため無関係でもタグが充実したコンテンツが閾値を通過します。Manning, C.D., Raghavan, P., & Schütze, H., Introduction to Information Retrieval, Cambridge University Press, 2008, Chapter 8を参照してください。nlp.stanford.edu/IR-book/ ↩