신호 점수화 파이프라인: 결정론적 지식 분류
대부분의 지식 관리는 감에 의존합니다. “중요한 것 같아서” 노트를 저장합니다. 6개월 후에는 7,000개의 노트가 쌓이고, 어떤 것이 중요한지 알 수 없게 됩니다. 저는 그 답을 알려주는 결정론적 점수화 파이프라인을 구축했습니다. 이 글은 주관적인 판단을 결정론적 시스템으로 인코딩하는 취향 인프라 영역에 속합니다.
신호 점수화 파이프라인은 감에 의존하던 노트 분류를 관련성, 실행 가능성, 깊이, 권위성에 걸친 가중 복합 점수로 대체합니다. 들어오는 각 노트는 0.0-1.0 등급을 받고, 도메인 폴더, 수동 검토 대기열, 또는 폐기 중 하나로 자동 라우팅됩니다. 14개월 동안 7,700개 이상의 노트를 처리했으며, 수동 태깅은 전혀 필요하지 않았습니다.
이 시스템은 733줄의 Python 코드입니다. 들어오는 모든 신호를 4개의 가중 차원에 걸쳐 점수화하고, 복합 점수를 계산하여, 12개 도메인 폴더 중 하나, 수동 검토를 위한 인박스, 또는 폐기로 라우팅합니다. 수동 태깅은 없습니다. 결코 실행되지 않는 “나중에 검토”도 없습니다. 알고리즘이 결정합니다.
요약
가중 복합 점수(관련성 35%, 실행 가능성 30%, 깊이 20%, 권위성 15%)가 각 신호에 대해 0.0-1.0 등급을 산출합니다. 라우팅은 세 가지 임계값을 사용합니다. 0.55 이상은 도메인 폴더에 자동 기록되고, 0.30 이상은 수동 검토 대기열에 들어가며, 0.30 미만은 조용히 건너뜁니다. 14개월에 걸쳐 7,700개 이상의 노트가 처리되었으며, Development(2,837개)와 Design(1,709개)이 분포의 대부분을 차지합니다. 가장 흥미로운 결함은 깊이 차원이 콘텐츠 품질이 아니라 메타데이터 풍부도를 측정한다는 점입니다. 그래서 꽃 사진에 관한, 태그가 잘 달린 트윗이 0.85점을 받습니다.
감에 의존하는 방식의 문제
저는 Obsidian을 지식 베이스로 사용합니다(전체 구성은 Obsidian 가이드에 정리되어 있습니다). 신호는 RSS 피드, Twitter 북마크, GitHub 스타, 뉴스레터, 수동 캡처를 통해 들어옵니다. 파이프라인 이전에는 모든 신호가 하나의 인박스 폴더로 향했습니다. 두 달 만에 400개 이상의 미처리 노트가 쌓였습니다.
표준적인 조언(“매주 검토하고, 그때그때 태그를 달고, 폴더 시스템을 사용하세요”)은 검토가 실제로 이루어진다고 가정합니다. 하지만 이루어지지 않습니다. 인박스는 쓰기 전용이 됩니다. 항목은 들어오지만 나가지 않습니다. 캡처한 지식은 캡처하지 않은 지식과 기능적으로 다르지 않습니다. Clay Shirky는 이 문제를 정확하게 표현했습니다. “정보 과부하가 아닙니다. 필터 실패입니다.”8
제게 필요했던 것은 한 번 정의한 기준을 균일하게 적용하여, 제가 읽는 것보다 빠르게 7,700개 이상의 노트를 평가할 수 있는 시스템이었습니다. 추천 엔진이 아니라 점수화 알고리즘입니다.
복합 점수
점수화 공식은 4개 차원의 가중 선형 결합으로, 다기준 의사결정 분석(MCDA)의 표준 접근법입니다.9
composite = (
relevance * 0.35 +
actionability * 0.30 +
depth * 0.20 +
authority * 0.15
)
각 차원은 0.0에서 1.0 사이의 부동소수점 값을 생성합니다. 공식은 복합 점수를 소수점 셋째 자리까지 반올림합니다. 가중치는 의도적인 우선순위를 반영합니다. 나에게 중요한 것(관련성)이 내가 활용할 수 있는 것(실행 가능성)보다 앞서고, 이는 메타데이터가 얼마나 풍부한지(깊이)보다 앞서며, 이는 다시 출처가 얼마나 신뢰할 만한지(권위성)보다 앞섭니다.1
추가 차원 두 가지를 검토했지만 채택하지 않았습니다. 최신성(새로운 신호일수록 높은 점수)은 제외했습니다. 지식 관리는 뉴스 피드가 아니기 때문입니다. API 설계에 관한 2019년 에세이가 2026년 에세이보다 가치가 떨어지는 것은 아닙니다. 사회적 증거(좋아요, 리트윗, 스타)도 제외했습니다. 인기는 호소력과 상관관계가 있을 뿐, 제 고유한 워크플로에 대한 유용성과는 상관관계가 없기 때문입니다. 신호를 정확하게 라우팅하는 데는 4개 차원으로 충분합니다. 차원을 더 추가하면 라우팅 품질은 크게 나아지지 않고 조정의 복잡도만 커질 것입니다.
4개 차원
관련성 (35%): 관심사 매칭
관련성은 단 하나의 질문에 답합니다. 이 신호가 제가 관심을 두는 무언가와 관련이 있는가? 직접 큐레이션한 43개 항목의 키워드 사전이 각 관심사를 0.15(nft: 관련성은 거의 없지만 동향은 보고 싶은 주제)에서 1.0(claude code, swiftui: 일상 업무의 핵심)까지의 점수에 대응시킵니다. 점수화는 최고 매치와 전체 매치의 평균을 혼합합니다.
# 60% best match, 40% average of all matches
return min(1.0, best_score * 0.6 + avg_score * 0.4)
매치가 하나도 없는 항목은 0.0이 아닌 0.25의 기준선을 받습니다. 시스템은 알 수 없는 주제를 관련 없는 주제보다 덜 가혹하게 감점합니다. 이 기준선은 가장 자주 조정하는 매개변수입니다. 너무 높으면 관련 없는 콘텐츠가 인박스에 넘쳐나고, 너무 낮으면 진정으로 새로운 관심사가 제 눈에 띄기도 전에 걸러집니다.2
실행 가능성 (30%): 학습 잠재력
실행 가능성은 이 질문에 답합니다. 이것으로 무언가를 할 수 있는가? SwiftUI 아키텍처에 관한 이론적인 에세이는 관련성은 있지만 실행 가능하지는 않습니다. SwiftUI 컴포넌트를 만드는 과정을 단계별로 안내하는 튜토리얼은 둘 다 해당합니다. 이 차원은 22개의 행동 지향 키워드(tutorial, guide, how-to, build, github.com)와 매칭합니다. URL은 특별 처리를 받습니다.
if "github.com" in url:
hits += 2 # Repositories are inherently actionable
if "/docs" in url or "/tutorial" in url:
hits += 1
점수화는 선형이 아니라 계단 함수 기반입니다. 0 히트 → 0.10, 1 히트 → 0.40, 2 히트 → 0.60, 3+ 히트 → min(1.0, 0.70 + hits * 0.05). 계단 함수는 실행 가능성 신호의 양보다 존재 자체에 더 큰 보상을 줍니다. 튜토리얼 링크 하나가 키워드 3개와 4개의 차이보다 더 가치 있습니다.3
깊이 (20%): 메타데이터 풍부도
깊이는 순수하게 구조적인 지표입니다. 콘텐츠 품질이 아니라 필드의 존재 여부와 길이를 측정합니다.
| 신호 | 점수 |
|---|---|
| 제목 있음 | +0.20 |
| 설명 있음 | +0.20 |
| 설명 > 50자 | +0.15 |
| 설명 > 150자 | +0.15 |
| 태그 있음 | +0.15 |
| 태그 3개 이상 | +0.10 |
| URL 있음 | +0.05 |
| 최대 | 1.00 |
깊이는 제가 가장 신뢰하지 않는 차원입니다. 설명이 온전히 달리고 태그가 4개 붙은 꽃 사진 트윗은 깊이 0.85점을 받습니다. 메타데이터는 풍부하지만 콘텐츠는 관련이 없습니다. 깊이는 “출처가 구조화된 데이터를 제공했다”는 사실을 대리 측정하며, 이는 품질과 상관관계가 있지만 품질을 보장하지는 않습니다.4
권위성 (15%): 출처 신뢰도
권위성은 0.40의 기준선에서 시작하여 출처 유형에 따라 조정됩니다.
if source in ("twitter", "x"): score = 0.50
elif source in ("blog", "newsletter"): score = 0.60
elif source in ("github", "docs"): score = 0.70
도메인 허용 목록은 값을 상향으로만 덮어씁니다(하향으로는 덮어쓰지 않습니다). github.com, anthropic.com, apple.com, arxiv.org, docs.python.org 등은 권위성을 최소 0.75로 설정합니다. 허용 목록은 이러한 출처가 기본적으로 더 높은 신뢰를 받을 자격이 있다는 판단을 인코딩합니다.
임계값 라우팅
세 가지 라우팅 구간이 점수화된 각 신호의 처리 방식을 결정합니다.
THRESHOLD_AUTO_WRITE = 0.55 # → domain folder
THRESHOLD_INBOX = 0.30 # → 00-Inbox (manual review)
# Below 0.30 → silently skipped
파이프라인은 0.55 이상의 점수를 받은 신호를 태그와 제목 매칭으로 추론한 12개 도메인 폴더 중 하나에 직접 기록합니다. 중간 범위의 신호(0.30-0.55)는 수동 검토를 위해 인박스로 갑니다. 0.30 미만은 볼트에 도달하지 않습니다. 0.55 임계값은 경험적 조정을 통해 나왔습니다. 0.50에서는 관련성이 미미한 신호가 너무 많이 도메인 폴더로 자동 라우팅되어 폴더의 유용성이 희석되었습니다. 0.60에서는 그럭저럭 유용한 신호들이 자동 라우팅에서 빠지면서 인박스가 지나치게 커졌습니다. 0.30 하한선은 알려진 출처 유형에서 온 잘 구조화된 신호라면 최소한 인박스에는 도달하여 사람의 검토를 받도록 보장합니다.
0.30-0.55 범위는 시스템의 확신이 가장 낮은 “모호한 영역”입니다. 선택적 --llm-triage 플래그는 이러한 신호를 Claude에게 보내 평가하게 하며, Claude는 복합 점수를 최대 ±0.20까지 조정할 수 있어 신호가 자동 기록 임계값을 넘나들 수도 있습니다. Claude는 모호한 신호만 보며, 고점수나 저점수 신호는 결코 보지 않습니다. 결정론적 점수화기가 이미 처리한 신호에 API 토큰을 쓰는 것은 낭비이기 때문입니다.5
도메인 추론은 투표 시스템을 사용합니다. 각 태그는 하나의 도메인에 매핑되고, 제목의 각 키워드는 한 표를 더합니다. 가장 많은 표를 받은 도메인이 선택됩니다. 동점은 딕셔너리 순서로 결정됩니다(사실상 임의적입니다). 기본 폴백은 “Inspiration”입니다.
결과
14개월에 걸쳐 7,700개 이상의 노트를 처리한 결과는 다음과 같습니다.
| 도메인 | 노트 수 | 전체 비율 |
|---|---|---|
| Development | 2,837 | 36.8% |
| Design | 1,709 | 22.2% |
| Inspiration | 565 | 7.3% |
| Claude-Code | 414 | 5.4% |
| AI-Tools | 414 | 5.4% |
| Productivity | 346 | 4.5% |
| Ideas | 296 | 3.8% |
| Science | 231 | 3.0% |
| Health-Life | 191 | 2.5% |
| Architecture | 142 | 1.8% |
| Startups | 26 | 0.3% |
| Tools | 22 | 0.3% |
| Inbox | 420 | 5.5% |
| 조용히 건너뜀 (< 0.30) | ~87 | ~1.1% |
표의 행을 합하면 라우팅된 신호는 7,613개입니다. 나머지 약 87개 항목(인박스 임계값 0.30 미만)은 조용히 건너뛰어졌으며, 이를 더하면 처리된 총수는 7,700개 이상이 됩니다. 분포는 현실을 반영합니다. 저는 다른 무엇보다 개발과 디자인 콘텐츠를 많이 소비합니다. 인박스 항목(420개)은 모호한 영역, 즉 알고리즘이 확신을 가지고 자동 라우팅할 수 없었던 신호를 나타냅니다.6
알고리즘이 틀린 부분
깊이 함정
네모필라 사진 트윗이 composite 0.36, relevance 0.25, actionability 0.10, depth 0.85, authority 0.50을 기록했습니다. 깊이(0.85)와 권위성(0.50)이 0에 가까운 관련성과 실행 가능성을 메웠기 때문에 인박스로 라우팅되었습니다. 메타데이터는 풍부하지만 콘텐츠는 관련이 없었습니다. 예쁜 꽃 사진이었을 뿐입니다.
이 사례는 메타데이터 프록시 점수화의 근본적인 한계를 보여줍니다. 깊이가 측정하는 것은 “출처가 구조화된 데이터를 제공했다”는 사실이지, “콘텐츠가 가치 있다”는 사실이 아닙니다. Twitter는 모든 트윗에 온전한 설명과 태그를 제공합니다. 아침 식사에 관한, 태그가 잘 달린 트윗도 깊이 0.85점을 받습니다. 정보 검색 연구에서는 이 근본적인 긴장을 정밀도/재현율 트레이드오프라고 부릅니다. 재현율(관련 있는 모든 것을 포착하는 것)을 최적화하면 거짓 양성이 유입되는 것은 피할 수 없습니다.10
검토했지만 기각한 수정안: 깊이 가중치를 0.20에서 0.10으로 줄이면 태그가 잘 달린 관련 없는 콘텐츠로 인한 거짓 양성은 줄어들지만, 메타데이터가 부족한 출처에서 오는 진정으로 깊이 있는 콘텐츠까지 불이익을 받게 됩니다. 현재 가중치는 타협점입니다. 더 정교한 접근법은 구조적인 깊이 검사를 가벼운 텍스트 품질 휴리스틱으로 대체하는 것입니다. 예를 들어 서로 다른 명사의 수를 세거나, 타입-토큰 비율로 어휘 다양성을 측정하거나, 지식 토폴로지 임베딩 접근법을 사용하여 알려진 고품질 예시와의 의미적 거리를 측정하는 방식입니다. 이를 구현하지 않은 이유는 현재 시스템이 신호의 93%를 올바르게 라우팅하고 있고, 수동 검토를 위해 인박스에 도달하는 7%는 감당할 수 있는 양이기 때문입니다. 깊이 차원은 자신의 한계에 대해 정직합니다. 측정하는 것은 구조이지 실체가 아닙니다.
관련성 기준선 문제
매치가 없는 관련성의 기준선이 0.25라는 것은, 합리적인 출처에서 온 잘 구조화된 신호라면 무엇이든 최소 0.30점을 받아 인박스에 도착한다는 뜻입니다. 이 기준선은 거짓 양성의 하한선을 만듭니다. 인박스에는 태그가 잘 달려 있고 합리적인 출처에서 왔지만 제 관심사와는 전혀 관계없는 신호가 쌓입니다.
실제 수정안: 주기적인 인박스 검토는 여전히 필요합니다. 파이프라인은 검토 대상을 7,700개 항목에서 420개로 줄여 주지만(약 95% 감소), 모호한 영역에 대한 수동 검토를 없앨 수는 없습니다.
구현 노트
파이프라인은 CLI 도구로 실행됩니다. 입력은 신호의 JSON 배열(RSS, Twitter API, 또는 수동 입력)이며, 출력은 도메인 폴더에 기록되는 Obsidian 호환 마크다운 파일입니다.
python triage.py --input signals.json --vault ~/obsidian-signals/
python triage.py --input signals.json --vault ~/obsidian-signals/ --llm-triage
python triage.py --input signals.json --min-score 0.60 # Stricter routing
사전 필터링은 점수화 전에 실행됩니다. 기존 볼트 노트에 대한 URL 중복 제거, 빈 콘텐츠 필터링, 노이즈 출처 차단 목록입니다. 중복 노트와 스팸 출처는 점수화 단계에 도달하지 않습니다.
점수화 함수는 순수합니다. 부수 효과도, API 호출도, 파일 시스템 접근도 없습니다. 각 함수는 신호 딕셔너리를 받아 점수 딕셔너리를 반환합니다. 순수한 접근 방식 덕분에 각 함수를 독립적으로 테스트할 수 있고, 모호한 부분 집합에서만 실행되는 LLM 분류 단계와도 쉽게 조합할 수 있습니다.7
최소한의 점수화 함수
핵심 점수화 로직은 함수 하나에 들어갑니다. 다음은 본질적인 패턴을 담은 단순화 버전입니다.
def score_signal(signal: dict, keywords: dict[str, float]) -> dict:
"""Score a signal across four weighted dimensions. Returns composite 0.0-1.0."""
title = signal.get("title", "").lower()
desc = signal.get("description", "").lower()
text = f"{title} {desc}"
# Relevance: best keyword match blended with average
matches = [v for k, v in keywords.items() if k in text]
relevance = (max(matches) * 0.6 + sum(matches) / len(matches) * 0.4
if matches else 0.25)
# Actionability: step function based on action keyword hits
action_words = {"tutorial", "guide", "how-to", "build", "example", "github.com"}
hits = sum(1 for w in action_words if w in text)
actionability = {0: 0.10, 1: 0.40, 2: 0.60}.get(hits, min(1.0, 0.70 + hits * 0.05))
# Depth: metadata richness (structure, not quality)
depth = sum([
0.20 if signal.get("title") else 0,
0.20 if signal.get("description") else 0,
0.15 if len(desc) > 50 else 0,
0.15 if len(desc) > 150 else 0,
0.15 if signal.get("tags") else 0,
0.10 if len(signal.get("tags", [])) >= 3 else 0,
0.05 if signal.get("url") else 0,
])
# Authority: source-based baseline
source = signal.get("source", "").lower()
authority = {"twitter": 0.50, "blog": 0.60, "github": 0.70, "docs": 0.70}.get(source, 0.40)
composite = round(relevance * 0.35 + actionability * 0.30 + depth * 0.20 + authority * 0.15, 3)
return {"relevance": relevance, "actionability": actionability,
"depth": depth, "authority": authority, "composite": composite}
프로덕션 버전에는 도메인 허용 목록, URL별 보너스, 사전 필터링이 추가됩니다. 하지만 위의 점수화 로직만으로도 전체 패턴을 보여줍니다. 4개의 순수 함수, 하나의 가중 합, 결정론적 출력입니다.
샘플 데이터셋: 5개 신호, 5개 점수
위의 score_signal 함수를 다음 5개 신호에 실행하여 점수화 동작을 검증해 보세요. 사용한 키워드 사전은 {"claude code": 1.0, "swiftui": 1.0, "fastapi": 0.85, "design": 0.60, "python": 0.75}입니다.
| # | 신호 | 복합 점수 | 라우팅 |
|---|---|---|---|
| 1 | {"title": "Building a SwiftUI Component Library", "description": "A step-by-step tutorial showing how to build reusable SwiftUI views with previews and documentation. Includes working example code and a GitHub repository at github.com/example.", "tags": ["swiftui", "ios", "tutorial", "components"], "source": "blog", "url": "https://example.com/swiftui-lib"} |
0.910 | 자동 기록 |
| 2 | {"title": "Python 3.13 Release Notes", "description": "Official release notes documenting new features, deprecations, and breaking changes in Python 3.13 including improved error messages and typing enhancements.", "tags": ["python", "release"], "source": "docs", "url": "https://docs.python.org/3.13/whatsnew"} |
0.578 | 자동 기록 |
| 3 | {"title": "Beautiful nemophila photos from Hitachi Seaside Park", "description": "Spring bloom season produces stunning blue flower fields stretching to the horizon. Best visited in late April through early May for peak color.", "tags": ["photography", "japan", "flowers", "travel"], "source": "twitter"} |
0.353 | 인박스 |
| 4 | {"title": "Thread about tech hiring", "description": "", "tags": [], "source": "twitter"} |
0.232 | 건너뜀 |
| 5 | {"title": "FastAPI Guide: Build Production APIs", "description": "A comprehensive tutorial showing how to build, test, and deploy a production FastAPI application. Covers authentication, rate limiting, background tasks, and CI/CD. Full example code on github.com.", "tags": ["fastapi", "python", "tutorial", "guide", "api"], "source": "blog", "url": "https://example.com/fastapi-prod"} |
0.872 | 자동 기록 |
신호 1 계산(단계별): 관련성: “swiftui”가 매치됩니다(1.0). 매치가 하나이므로 1.0 * 0.6 + 1.0 * 0.4 = 1.0입니다. 실행 가능성: “tutorial” + “build” + “example” + “github.com” = 4 히트 → min(1.0, 0.70 + 4 * 0.05) = 0.90. 깊이: 제목(0.20) + 설명(0.20) + 50자 초과(0.15) + 150자 초과(0.15) + 태그(0.15) + 태그 3개 이상(0.10) + URL(0.05) = 1.00. 권위성: “blog” → 0.60. 복합 점수: 1.0*0.35 + 0.90*0.30 + 1.00*0.20 + 0.60*0.15 = 0.35 + 0.27 + 0.20 + 0.09 = 0.910.
신호 1은 모든 차원에서 높은 점수를 받습니다. 키워드가 정확히 일치하고(SwiftUI = 1.0), 행동 키워드가 4개(“tutorial”, “build”, “example”, “github.com”) 있으며, 메타데이터가 온전하고, 신뢰할 만한 출처입니다. 신호 2는 자동 기록 임계값을 간신히 넘습니다. 관련성(Python = 0.75)과 권위성(docs = 0.70)은 높지만 실행 가능성은 0입니다(릴리스 노트는 정보 제공용이지 튜토리얼이 아닙니다). 신호 3은 깊이 함정 섹션의 네모필라 트윗에서 URL을 뺀 것입니다. 그래서 깊이는 0.85가 아닌 0.80이 됩니다. 권위성은 중간(0.50)이지만, 0에 가까운 관련성과 실행 가능성 때문에 복합 점수가 자동 라우팅이 아닌 인박스로 향합니다. 신호 4는 설명도, 태그도, 키워드 매치도 없습니다. 0.30 하한선 아래로 떨어져 조용히 건너뛰어집니다. 신호 5는 여러 키워드 매치가 관련성을 어떻게 끌어올리는지 보여줍니다. “fastapi”(0.85)와 “python”(0.75)이 모두 히트하고, 5개의 행동 키워드가 실행 가능성을 0.95까지 끌어올립니다.
score_signal 함수와 이 5개 신호를 Python REPL에 붙여 넣으면 표의 모든 숫자를 검증할 수 있습니다.
핵심 시사점
분류 시스템을 구축하는 엔지니어를 위해:
-
결정론적 점수화는 대규모에서 수동 큐레이션을 이깁니다. 14개월 동안 7,700개의 노트. 신호당 약 25초(제목 읽기, 설명 훑어보기, 폴더 결정)의 수동 분류라면 53시간 이상의 검토 시간이 필요했을 것입니다. 파이프라인은 이를 몇 분 만에 처리했고, 자동 라우팅률은 약 93%였습니다(5.5%는 수동 검토를 위해 인박스로, 약 1.1%는 0.30 임계값 미만으로 조용히 건너뜀). 전체 신호의 약 95%는 수동 개입이 전혀 필요하지 않았습니다(자동 라우팅 + 건너뜀).
-
메타데이터 프록시에는 알려진 실패 모드가 있습니다. 깊이는 품질이 아니라 구조를 측정합니다. 권위성은 정확성이 아니라 출처를 측정합니다. 두 프록시 모두 집계 규모에서는 작동하지만, 개별 신호 수준에서는 예측 가능한 거짓 양성을 만들어냅니다. 실패 모드를 인정하는 것이 알고리즘이 “잘 작동한다”고 주장하는 것보다 정직합니다.
지식 관리 실무자를 위해:
-
가중 복합 점수는 실제 우선순위를 드러냅니다. 35/30/20/15의 가중치는 임의적이지 않습니다. 관련성이 실행 가능성보다 중요하고, 실행 가능성이 메타데이터 풍부도보다 중요하며, 메타데이터 풍부도가 출처 신뢰도보다 중요하다는 구체적인 판단을 인코딩합니다. 가중치를 명시적이고 조정 가능하게 만드는 것이 시스템과 습관의 차이입니다.
-
모호한 영역은 없앨 수 없습니다. 0.30에서 0.55 사이의 신호는 본질적으로 모호하며, 결정론적 점수화기로는 해결할 수 없습니다. LLM 분류가 도움이 되지만 영역 자체를 없애지는 못합니다. 모호한 부분 집합에 대한 수동 검토는 여전히 필요합니다.
연습: 자신만의 가중치를 조정해 보세요. 균등한 가중치(25/25/25/25)로 시작하여 50개의 신호를 처리합니다. 가장 의외였던 라우팅 결정 10개, 즉 잘못된 곳으로 간 신호들을 검토합니다. 각각에 대해 어느 차원의 가중치가 라우팅을 바로잡았을지 찾아냅니다. 가중치는 한 번에 하나씩만 조정하고, 같은 50개 신호를 다시 처리하여 비교합니다. 재조정은 일주일에 한 번을 넘기지 마세요.
자주 묻는 질문
지식 분류에 머신러닝 대신 가중 복합 점수를 사용하는 이유는 무엇입니까?
복합 점수화는 결정론적입니다. 같은 입력은 항상 같은 점수를 내고, 그 이유를 정확히 설명할 수 있습니다. ML 분류기는 더 높은 정확도를 낼 수도 있지만 불투명성을 끌어들입니다. 어떤 신호가 왜 0.54가 아니라 0.62를 받았는지 쉽게 설명할 수 없습니다. 미미한 정확도 향상보다 시스템에 대한 신뢰가 더 중요한 개인 지식 관리에서는 결정론적 점수화가 그 신뢰를 얻습니다. 가중치는 명시적이고, 조정 가능하며, 감사할 수 있습니다. 또한 ML 분류기에는 레이블이 붙은 학습 데이터가 필요합니다. 즉, 시스템이 작동하기도 전에 수백 개의 신호를 수동으로 검토해야 한다는 뜻이며, 이는 바로 이 파이프라인이 없애기 위해 존재하는 수동 검토 부담입니다.
시간이 지나면서 가중치를 동적으로 조정할 수 있습니까?
할 수 있고, 그렇게 해야 합니다. 가중치는 25/25/25/25(균등)로 시작하여 관찰된 실패 모드를 바탕으로 6개월에 걸쳐 35/30/20/15로 진화했습니다. 재조정의 핵심 신호는 인박스에 특정 유형의 거짓 양성(예: 태그가 잘 달린 관련 없는 콘텐츠)이 꾸준히 들어올 때입니다. 그럴 때는 그것을 걸러낼 수 있었을 차원(이 경우 관련성)의 가중치를 높입니다. 재조정은 한 번에 한 차원까지만 하고, 확정하기 전에 일주일 분량의 신호를 이전 가중치와 새 가중치 양쪽으로 처리해 보세요.
LLM 분류 단계는 어떻게 작동합니까?
선택적 --llm-triage 플래그는 모호한 신호(복합 점수 0.30-0.55)만 Claude에게 보내 평가하게 합니다. LLM은 신호의 제목, 설명, 태그, URL을 받아 점수 조정값(-0.20에서 +0.20)과 도메인 분류를 반환합니다. 이 조정으로 신호가 자동 기록 임계값 0.55를 넘거나, 건너뛰기 임계값 0.30 아래로 내려갈 수 있습니다. 비용은 신호당 약 $0.02-0.04입니다. 모호한 부분 집합(7,700개 중 420개)에만 LLM 분류를 실행하면 전체 집합의 $150-300 대신 $8-17이 듭니다.
가중 복합 점수를 지원 티켓, 콘텐츠 검토, 리드 자격 평가에도 사용할 수 있습니까?
아키텍처는 범용적입니다. 가중 차원을 사용한 복합 점수화는 항목을 결정론적으로 라우팅해야 하는 모든 도메인에 적용됩니다. 지원 티켓 분류(긴급도, 고객 등급, 주제 복잡도, SLA 상태), 콘텐츠 검토(심각도, 확신도, 맥락 민감도, 신고자 신뢰도), 리드 자격 평가(적합도 점수, 참여 수준, 의도 신호, 회사 규모), 이상 감지(편차 크기, 과거 빈도, 비즈니스 영향, 출처 신뢰성) 등입니다. 구체적인 가중치와 임계값은 도메인마다 달라지지만, 4차원 가중 복합 패턴은 그대로 옮겨갈 수 있습니다. 복리 엔지니어링 원칙이 여기에 적용됩니다. 점수화 아키텍처가 한 번 갖춰지면, 새 도메인에 맞추는 데 필요한 것은 키워드 사전을 다시 정의하고 가중치를 재조정하는 일뿐입니다.
복합 점수화는 항목을 결정론적으로 라우팅해야 하는 모든 도메인에 적용됩니다. 제 구체적인 가중치와 임계값은 개인적인 우선순위를 인코딩하지만, 아키텍처는 범용적입니다. 축적된 지식이 어떻게 비선형적 가치를 창출하는지에 대해서는 정신적 복리를 참조하세요. 파이프라인의 각 구성 요소(점수화, 라우팅, 분류)는 독립적으로 유용하며, 복리 엔지니어링 패턴에 따라 다른 구성 요소와 함께 복리 효과를 냅니다. 규모가 커지면 파이프라인은 점수화된 지식을 검색 가능하게 만드는 하이브리드 검색기로 이어지며, 전체적인 패턴은 1만 7천 개의 신호에서 확인할 수 있습니다.
-
가중치 분포는 수학적으로 도출하지 않았습니다. 6개월간 사용하면서 조정했습니다. 초기 가중치는 균등(25/25/25/25)이었습니다. 깊이는 높고 관련성은 낮은 신호(태그가 잘 달린 관련 없는 콘텐츠)가 인박스에 넘쳐나는 것을 관찰한 후 관련성을 35%로 높였습니다. 관련성은 높지만 실용적인 적용이 없는 이론적 콘텐츠가 사용되지 않은 채 쌓이는 것을 관찰한 후 실행 가능성을 30%로 높였습니다. ↩
-
매치가 없는 관련성의 0.25 기준선은 의도적인 설계 선택입니다. 이를 0.0으로 설정하면 큐레이션된 키워드 목록 밖의 모든 신호가 최대 0.65(0 + 실행 가능성 + 깊이 + 권위성, 관련성 기여 없음)밖에 받지 못하므로, 진정으로 새로운 주제가 자동 기록 임계값에 도달하는 것이 거의 불가능해집니다. ↩
-
실행 가능성에 선형 점수화 대신 계단 함수 점수화를 선택한 이유는 실행 가능성이 연속 변수보다 불리언에 더 가깝기 때문입니다. 튜토리얼은 실행 가능합니다. 튜토리얼에 관한 뉴스 기사는 그렇지 않습니다. 계단 함수는 이 이진적 특성을 기울기보다 잘 포착합니다. ↩
-
원래 깊이 차원의 이름은 “quality(품질)”였고, 콘텐츠의 풍부함을 측정하려는 의도였습니다. 실제로는 메타데이터의 풍부함을 측정한다는 것을 관찰한 후, 실제 동작을 반영하도록 “depth(깊이)”로 이름을 바꿨습니다. 이 이름 변경은 지표가 무엇을 포착하는지에 대한 의도적인 정직함입니다. ↩
-
LLM 분류는 Claude Code CLI(
claude --print --model opus)를 사용하며, 점수 조정값(-0.20에서 +0.20)과 도메인 분류를 요청하는 구조화된 프롬프트를 보냅니다. 저자의 비용 추정치는 신호당 약 $0.02-0.04입니다. 7,700개 신호 전체에 LLM 분류를 실행하면 $150-300이 듭니다. 모호한 신호 420개에만 실행하면 $8-17이 듭니다. ↩ -
2026년 2월 기준 저자의 도메인 분포 데이터입니다. 수치는 2024년 12월 이후의 누적 라우팅을 반영합니다. 분포는 3개월 차부터 안정적이었으며, Development와 Design이 라우팅된 신호의 55-60%를 꾸준히 차지합니다. ↩
-
순수 점수화 함수는 의도적인 아키텍처 결정으로 선택했습니다. 대안(중복을 확인하기 위해 파일 시스템을 검사하거나 데이터 보강을 위해 API를 호출하는 점수화 함수)은 더 정확했겠지만 모킹 없이는 테스트할 수 없었을 것입니다. 순수한 접근 방식은 테스트 가능성과 조합 가능성을 위해 정확성을 일부 희생합니다. ↩
-
Clay Shirky, “It’s Not Information Overload. It’s Filter Failure,” Web 2.0 Expo 기조연설, 2008. youtube.com/watch?v=LabqeJEOQyI. Shirky의 관점은 그대로 적용됩니다. 400개 이상의 미처리 노트가 쌓인 인박스는 정보의 과부하가 아니라 필터링의 부재입니다. Alvin Toffler, Future Shock, Random House, 1970도 참조하세요. 이 책은 너무 많은 정보에 노출되었을 때 의사결정이 어려워지는 현상을 가리켜 “information overload(정보 과부하)”라는 용어를 만들었습니다. ↩
-
가중 선형 결합은 다기준 의사결정 분석(MCDA)의 표준 기법입니다. 여기서의 접근 방식은 가장 오래된 MCDA 방법 중 하나인 가중 합산 모델(WSM)을 단순화한 것입니다. Saaty, T.L., The Analytic Hierarchy Process, McGraw-Hill, 1980은 쌍대 비교로부터 가중치를 도출하는 엄밀한 방법론을 제시하며, 이는 여기서 사용한 경험적 조정보다 형식적인 접근법입니다. 이 파이프라인에서 사용한 더 단순한 가산 모델은 Fishburn, P.C., “Additive Utilities with Incomplete Product Set,” Journal of Mathematical Psychology, 4(1), pp. 104-110, 1967을 따릅니다. ↩
-
정밀도/재현율 트레이드오프는 정보 검색의 근본적인 개념입니다. 재현율을 높이면(관련 항목을 더 많이 포착하면) 필연적으로 관련 없는 항목도 더 많이 유입되어 정밀도가 떨어집니다. 깊이 차원은 잘 구조화된 모든 신호에 보상을 줌으로써 재현율을 최적화하며, 이것이 관련 없지만 태그가 잘 달린 콘텐츠가 임계값을 통과하는 이유입니다. Manning, C.D., Raghavan, P., & Schütze, H., Introduction to Information Retrieval, Cambridge University Press, 2008, Chapter 8을 참조하세요. nlp.stanford.edu/IR-book/ ↩