Signal-Scoring-Pipeline: Deterministische Wissens-Triage

Die meisten Wissensmanagement-Ansätze basieren auf Bauchgefühl. Sie speichern eine Notiz, weil sie sich „wichtig anfühlt“. Sechs Monate später haben Sie 7.000 Notizen und keine Ahnung, welche davon zählen. Ich habe eine deterministische Scoring-Pipeline gebaut, die es mir sagt. Dieser Beitrag gehört zum Themenfeld Taste Infrastructure, in dem subjektives Urteil in deterministische Systeme übersetzt wird.

Eine Signal-Scoring-Pipeline ersetzt die subjektive Triage von Notizen durch einen gewichteten zusammengesetzten Score aus Relevanz, Umsetzbarkeit, Tiefe und Autorität. Jede eingehende Notiz erhält eine Bewertung zwischen 0,0 und 1,0 und wird automatisch in einen Domänenordner, eine Warteschlange zur manuellen Überprüfung oder ins Leere geleitet. Über 7.700 Notizen wurden in 14 Monaten verarbeitet, ohne dass ein einziges manuelles Tag nötig war.

Das System umfasst 733 Zeilen Python. Es bewertet jedes eingehende Signal über vier gewichtete Dimensionen, berechnet einen zusammengesetzten Score und leitet das Signal an einen von 12 Domänenordnern, einen Eingang zur manuellen Überprüfung oder ins Leere weiter. Kein Taggen von Hand. Kein „später ansehen“, das nie passiert. Der Algorithmus entscheidet.

TL;DR

Ein gewichteter zusammengesetzter Score (Relevanz 35 %, Umsetzbarkeit 30 %, Tiefe 20 %, Autorität 15 %) erzeugt für jedes Signal eine Bewertung zwischen 0,0 und 1,0. Das Routing verwendet drei Schwellenwerte: Bei >= 0,55 wird automatisch in einen Domänenordner geschrieben, bei >= 0,30 landet das Signal in der Warteschlange zur manuellen Überprüfung, bei < 0,30 wird es stillschweigend übersprungen. Über 7.700 Notizen wurden in 14 Monaten verarbeitet, wobei Development (2.837) und Design (1.709) die Verteilung dominieren. Der interessanteste Fehler: Die Tiefendimension misst die Reichhaltigkeit der Metadaten, nicht die Qualität des Inhalts, weshalb ein gut getaggter Tweet über ein Blumenfoto auf 0,85 kommt.


Das Problem mit dem Bauchgefühl

Ich nutze Obsidian als Wissensbasis (das vollständige Setup steht im Obsidian-Guide). Signale kommen aus RSS-Feeds, Twitter-Lesezeichen, GitHub-Stars, Newslettern und manueller Erfassung. Vor der Pipeline landete jedes Signal in einem einzigen Eingangsordner. Innerhalb von zwei Monaten hatten sich dort über 400 unverarbeitete Notizen angesammelt.

Die üblichen Ratschläge („wöchentlich durchsehen, beim Ablegen taggen, ein Ordnersystem verwenden“) setzen voraus, dass die Durchsicht tatsächlich stattfindet. Das tut sie nicht. Eingänge werden zu reinen Schreibspeichern: Elemente gehen hinein, kommen aber nie wieder heraus. Wissen, das Sie erfasst haben, ist funktional identisch mit Wissen, das Sie nie erfasst haben. Clay Shirky hat das Problem präzise auf den Punkt gebracht: „It’s not information overload. It’s filter failure.“8

Ich brauchte ein System, das 7.700+ Notizen schneller auswerten kann, als ich sie lesen kann, und zwar nach Kriterien, die ich einmal festlege und einheitlich anwende. Keine Empfehlungsmaschine. Einen Scoring-Algorithmus.


Der zusammengesetzte Score

Die Scoring-Formel ist eine gewichtete Linearkombination aus vier Dimensionen, ein Standardansatz in der multikriteriellen Entscheidungsanalyse (MCDA):9

composite = (
    relevance     * 0.35 +
    actionability * 0.30 +
    depth         * 0.20 +
    authority     * 0.15
)

Jede Dimension liefert einen Float zwischen 0,0 und 1,0. Die Formel rundet den zusammengesetzten Score auf drei Dezimalstellen. Die Gewichtungen spiegeln eine bewusste Rangfolge wider: Was mir wichtig ist (Relevanz) wiegt schwerer als was ich nutzen kann (Umsetzbarkeit), das wiederum schwerer wiegt als wie reichhaltig die Metadaten sind (Tiefe), und das wiederum schwerer als wie vertrauenswürdig die Quelle ist (Autorität).1

Zwei weitere Dimensionen habe ich erwogen und verworfen. Aktualität (neuere Signale erhalten höhere Werte) fiel weg, weil Wissensmanagement kein Newsfeed ist: Ein Essay über API-Design aus dem Jahr 2019 ist nicht weniger wertvoll als einer aus dem Jahr 2026. Social Proof (Likes, Retweets, Stars) fiel weg, weil Popularität mit Attraktivität korreliert, nicht mit dem Nutzen für meinen konkreten Workflow. Vier Dimensionen genügen, um Signale treffsicher zuzuordnen. Weitere Dimensionen würden den Abstimmungsaufwand erhöhen, ohne die Qualität des Routings spürbar zu verbessern.


Die vier Dimensionen

Relevanz (35 %): Abgleich mit Interessen

Relevanz beantwortet eine einzige Frage: Hat dieses Signal mit etwas zu tun, das mir wichtig ist? Ein von Hand kuratiertes Schlüsselwort-Wörterbuch mit 43 Einträgen ordnet jedem Interesse einen Wert zu, von 0,15 (nft: kaum relevant, aber ich möchte sehen, was dort passiert) bis 1,0 (claude code, swiftui: zentral für meine tägliche Arbeit). Die Bewertung kombiniert den besten Treffer mit dem Durchschnitt aller Treffer:

# 60% best match, 40% average of all matches
return min(1.0, best_score * 0.6 + avg_score * 0.4)

Elemente ohne Treffer erhalten eine Grundlinie von 0,25, nicht 0,0. Das System bestraft ein unbekanntes Thema weniger hart als ein irrelevantes. Die Grundlinie ist der am häufigsten nachjustierte Parameter: Ist sie zu hoch, flutet irrelevanter Inhalt den Eingang; ist sie zu niedrig, werden wirklich neue Interessen herausgefiltert, bevor ich sie überhaupt zu Gesicht bekomme.2

Umsetzbarkeit (30 %): Lernpotenzial

Umsetzbarkeit beantwortet die Frage: Kann ich damit etwas tun? Ein theoretischer Essay über die Architektur von SwiftUI ist relevant, aber nicht umsetzbar. Ein Tutorial, das Schritt für Schritt den Bau einer SwiftUI-Komponente zeigt, ist beides. Die Dimension gleicht gegen 22 handlungsorientierte Schlüsselwörter ab: tutorial, guide, how-to, build, github.com. URLs werden gesondert behandelt:

if "github.com" in url:
    hits += 2  # Repositories are inherently actionable
if "/docs" in url or "/tutorial" in url:
    hits += 1

Die Bewertung folgt einer Stufenfunktion, nicht einer linearen: 0 Treffer → 0,10, 1 Treffer → 0,40, 2 Treffer → 0,60, 3+ Treffer → min(1.0, 0.70 + hits * 0.05). Die Stufenfunktion belohnt das Vorhandensein von Umsetzbarkeitssignalen stärker als deren Menge. Ein einziger Tutorial-Link ist mehr wert als der Unterschied zwischen drei und vier Schlüsselwörtern.3

Tiefe (20 %): Reichhaltigkeit der Metadaten

Tiefe ist rein strukturell. Sie misst das Vorhandensein und die Länge von Feldern, nicht die Qualität des Inhalts:

Signal Score
Hat Titel +0,20
Hat Beschreibung +0,20
Beschreibung > 50 Zeichen +0,15
Beschreibung > 150 Zeichen +0,15
Hat Tags +0,15
Hat 3+ Tags +0,10
Hat URL +0,05
Maximum 1,00

Tiefe ist die Dimension, der ich am wenigsten vertraue. Ein Tweet über ein Blumenfoto mit vollständiger Beschreibung und vier Tags erreicht einen Tiefenwert von 0,85. Reichhaltige Metadaten, irrelevanter Inhalt. Tiefe ist ein Stellvertreter für „die Quelle hat strukturierte Daten geliefert“, was zwar mit Qualität korreliert, sie aber nicht garantiert.4

Autorität (15 %): Glaubwürdigkeit der Quelle

Autorität beginnt bei einer Grundlinie von 0,40 und wird je nach Quellentyp angepasst:

if source in ("twitter", "x"):        score = 0.50
elif source in ("blog", "newsletter"): score = 0.60
elif source in ("github", "docs"):     score = 0.70

Eine Domänen-Positivliste überschreibt den Wert nach oben (nie nach unten): github.com, anthropic.com, apple.com, arxiv.org, docs.python.org und weitere setzen die Autorität auf mindestens 0,75. Die Positivliste kodiert die Einschätzung, dass diese Quellen von vornherein ein höheres Vertrauen verdienen.


Routing nach Schwellenwerten

Drei Routing-Bereiche bestimmen, was mit jedem bewerteten Signal geschieht:

THRESHOLD_AUTO_WRITE = 0.55   # → domain folder
THRESHOLD_INBOX      = 0.30   # → 00-Inbox (manual review)
# Below 0.30 → silently skipped

Signale mit einem Score >= 0,55 schreibt die Pipeline direkt in einen von 12 Domänenordnern, abgeleitet aus dem Abgleich von Tags und Titel. Signale im mittleren Bereich (0,30 bis 0,55) gehen in einen Eingang zur manuellen Überprüfung. Alles unter 0,30 erreicht den Vault nie. Der Schwellenwert von 0,55 ergab sich aus empirischer Abstimmung: Bei 0,50 wurden zu viele nur am Rand relevante Signale automatisch in Domänenordner geleitet und verwässerten deren Nutzen. Bei 0,60 wuchs der Eingang zu stark, weil grenzwertig nützliche Signale das automatische Routing verfehlten. Die Untergrenze von 0,30 stellt sicher, dass jedes gut strukturierte Signal aus einem bekannten Quellentyp zumindest im Eingang landet und von einem Menschen geprüft wird.

Der Bereich von 0,30 bis 0,55 ist die „Ambiguitätszone“, in der sich das System am wenigsten sicher ist. Ein optionales --llm-triage-Flag schickt diese Signale zur Bewertung an Claude, das den zusammengesetzten Score um bis zu ±0,20 anpassen und ein Signal damit über den Schwellenwert für das automatische Schreiben heben kann. Claude sieht ausschließlich ambige Signale, niemals hoch oder niedrig bewertete. API-Tokens für Signale auszugeben, die der deterministische Scorer bereits erledigt hat, wäre Verschwendung.5

Die Zuordnung zur Domäne erfolgt über ein Abstimmungssystem. Jedes Tag ist einer Domäne zugeordnet, jedes Schlüsselwort im Titel zählt als Stimme. Die Domäne mit den meisten Stimmen gewinnt. Bei Gleichstand entscheidet die Reihenfolge im Dict (faktisch willkürlich). Standard-Fallback: „Inspiration“.


Die Ergebnisse

Nach über 7.700 verarbeiteten Notizen in 14 Monaten:

Domäne Notizen Anteil am Gesamtbestand
Development 2.837 36,8 %
Design 1.709 22,2 %
Inspiration 565 7,3 %
Claude-Code 414 5,4 %
AI-Tools 414 5,4 %
Productivity 346 4,5 %
Ideas 296 3,8 %
Science 231 3,0 %
Health-Life 191 2,5 %
Architecture 142 1,8 %
Startups 26 0,3 %
Tools 22 0,3 %
Eingang 420 5,5 %
Stillschweigend übersprungen (< 0,30) ~87 ~1,1 %

Die Tabellenzeilen ergeben zusammen 7.613 zugeordnete Signale. Die übrigen ~87 Elemente (mit einem Score unter dem Eingangsschwellenwert von 0,30) wurden stillschweigend übersprungen, womit die Gesamtzahl der verarbeiteten Elemente bei über 7.700 liegt. Die Verteilung spiegelt die Realität wider. Ich konsumiere mehr Inhalte zu Development und Design als zu allem anderen. Die Elemente im Eingang (420) bilden die Ambiguitätszone: Signale, die der Algorithmus nicht mit ausreichender Sicherheit automatisch zuordnen konnte.6


Was der Algorithmus falsch gemacht hat

Die Tiefenfalle

Ein Tweet mit Fotos von Hainblumen (Nemophila) erzielte composite 0.36, relevance 0.25, actionability 0.10, depth 0.85, authority 0.50. Er landete im Eingang, weil Tiefe (0,85) und Autorität (0,50) die nahezu fehlende Relevanz und Umsetzbarkeit ausglichen. Reichhaltige Metadaten, irrelevanter Inhalt: ein hübsches Foto von Blumen.

Das Beispiel zeigt die grundsätzliche Grenze einer Bewertung, die Metadaten als Stellvertreter nutzt. Tiefe misst „die Quelle hat strukturierte Daten geliefert“, nicht „der Inhalt ist wertvoll“. Twitter liefert zu jedem Tweet vollständige Beschreibungen und Tags. Ein gut getaggter Tweet über ein Frühstück erreicht einen Tiefenwert von 0,85. Die Forschung zum Information Retrieval nennt die zugrunde liegende Spannung den Precision/Recall-Kompromiss: Wer auf Recall optimiert (alles Relevante erfassen), lässt zwangsläufig falsch-positive Ergebnisse zu.10

Die Korrektur, die ich erwogen und verworfen habe: Eine Senkung der Tiefengewichtung von 0,20 auf 0,10 würde falsch-positive Ergebnisse durch gut getaggte, irrelevante Inhalte verringern, würde aber auch wirklich tiefgründige Inhalte aus Quellen mit spärlichen Metadaten benachteiligen. Die aktuelle Gewichtung ist ein Kompromiss. Ein ausgefeilterer Ansatz würde die strukturelle Tiefenprüfung durch eine leichtgewichtige Heuristik für Textqualität ersetzen, etwa indem er verschiedene Substantive zählt, die Wortschatzvielfalt über ein Type-Token-Verhältnis misst oder mit dem Ansatz der Knowledge-Topology-Embeddings die semantische Distanz zu bekannten hochwertigen Beispielen bestimmt. Umgesetzt habe ich das nicht, weil das aktuelle System 93 % der Signale korrekt zuordnet und die 7 %, die zur manuellen Überprüfung im Eingang landen, eine überschaubare Last sind. Die Tiefendimension ist ehrlich, was ihre Grenze betrifft: Sie misst Struktur, nicht Substanz.

Das Problem der Relevanz-Grundlinie

Eine Grundlinie von 0,25 für Relevanz ohne Treffer bedeutet, dass jedes gut strukturierte Signal aus einer brauchbaren Quelle mindestens 0,30 erreicht und im Eingang landet. Die Grundlinie erzeugt einen Sockel an falsch-positiven Ergebnissen: Im Eingang sammeln sich Signale, die gut getaggt sind und aus brauchbaren Quellen stammen, aber nichts mit meinen Interessen zu tun haben.

Die tatsächliche Korrektur: Eine regelmäßige Durchsicht des Eingangs bleibt notwendig. Die Pipeline verkleinert die zu prüfende Menge von 7.700 Elementen auf 420 (eine Reduktion um ~95 %), kann die manuelle Überprüfung der Ambiguitätszone aber nicht abschaffen.


Hinweise zur Implementierung

Die Pipeline läuft als CLI-Tool. Die Eingabe ist ein JSON-Array von Signalen (aus RSS, der Twitter API oder manueller Eingabe). Die Ausgabe sind Obsidian-kompatible Markdown-Dateien, die in Domänenordner geschrieben werden.

python triage.py --input signals.json --vault ~/obsidian-signals/
python triage.py --input signals.json --vault ~/obsidian-signals/ --llm-triage
python triage.py --input signals.json --min-score 0.60  # Stricter routing

Vor der Bewertung läuft eine Vorfilterung: URL-Deduplizierung gegen bestehende Notizen im Vault, Filterung leerer Inhalte und eine Sperrliste für Rauschquellen. Doppelte Notizen und Spam-Quellen erreichen die Bewertungsphase nie.

Die Scoring-Funktionen sind pur: keine Seiteneffekte, keine API-Aufrufe, kein Dateisystemzugriff. Jede Funktion nimmt ein Signal-Dict entgegen und gibt ein Scores-Dict zurück. Dieser pure Ansatz macht sie isoliert testbar und mit der LLM-Triage-Stufe kombinierbar, die nur auf der ambigen Teilmenge läuft.7

Minimale Scoring-Funktion

Die zentrale Scoring-Logik passt in eine einzige Funktion. Hier ist eine vereinfachte Version, die das wesentliche Muster abbildet:

def score_signal(signal: dict, keywords: dict[str, float]) -> dict:
    """Score a signal across four weighted dimensions. Returns composite 0.0-1.0."""
    title = signal.get("title", "").lower()
    desc = signal.get("description", "").lower()
    text = f"{title} {desc}"

    # Relevance: best keyword match blended with average
    matches = [v for k, v in keywords.items() if k in text]
    relevance = (max(matches) * 0.6 + sum(matches) / len(matches) * 0.4
                 if matches else 0.25)

    # Actionability: step function based on action keyword hits
    action_words = {"tutorial", "guide", "how-to", "build", "example", "github.com"}
    hits = sum(1 for w in action_words if w in text)
    actionability = {0: 0.10, 1: 0.40, 2: 0.60}.get(hits, min(1.0, 0.70 + hits * 0.05))

    # Depth: metadata richness (structure, not quality)
    depth = sum([
        0.20 if signal.get("title") else 0,
        0.20 if signal.get("description") else 0,
        0.15 if len(desc) > 50 else 0,
        0.15 if len(desc) > 150 else 0,
        0.15 if signal.get("tags") else 0,
        0.10 if len(signal.get("tags", [])) >= 3 else 0,
        0.05 if signal.get("url") else 0,
    ])

    # Authority: source-based baseline
    source = signal.get("source", "").lower()
    authority = {"twitter": 0.50, "blog": 0.60, "github": 0.70, "docs": 0.70}.get(source, 0.40)

    composite = round(relevance * 0.35 + actionability * 0.30 + depth * 0.20 + authority * 0.15, 3)
    return {"relevance": relevance, "actionability": actionability,
            "depth": depth, "authority": authority, "composite": composite}

Die Produktionsversion ergänzt die Domänen-Positivliste, URL-spezifische Boni und die Vorfilterung. Die obige Scoring-Logik zeigt jedoch das vollständige Muster: vier pure Funktionen, eine gewichtete Summe, deterministische Ausgabe.

Beispieldatensatz: fünf Signale, fünf Scores

Wenden Sie die obige Funktion score_signal auf diese fünf Signale an, um das Bewertungsverhalten nachzuprüfen. Das verwendete Schlüsselwort-Wörterbuch: {"claude code": 1.0, "swiftui": 1.0, "fastapi": 0.85, "design": 0.60, "python": 0.75}.

# Signal Composite Route
1 {"title": "Building a SwiftUI Component Library", "description": "A step-by-step tutorial showing how to build reusable SwiftUI views with previews and documentation. Includes working example code and a GitHub repository at github.com/example.", "tags": ["swiftui", "ios", "tutorial", "components"], "source": "blog", "url": "https://example.com/swiftui-lib"} 0.910 Automatisch geschrieben
2 {"title": "Python 3.13 Release Notes", "description": "Official release notes documenting new features, deprecations, and breaking changes in Python 3.13 including improved error messages and typing enhancements.", "tags": ["python", "release"], "source": "docs", "url": "https://docs.python.org/3.13/whatsnew"} 0.578 Automatisch geschrieben
3 {"title": "Beautiful nemophila photos from Hitachi Seaside Park", "description": "Spring bloom season produces stunning blue flower fields stretching to the horizon. Best visited in late April through early May for peak color.", "tags": ["photography", "japan", "flowers", "travel"], "source": "twitter"} 0.353 Eingang
4 {"title": "Thread about tech hiring", "description": "", "tags": [], "source": "twitter"} 0.232 Übersprungen
5 {"title": "FastAPI Guide: Build Production APIs", "description": "A comprehensive tutorial showing how to build, test, and deploy a production FastAPI application. Covers authentication, rate limiting, background tasks, and CI/CD. Full example code on github.com.", "tags": ["fastapi", "python", "tutorial", "guide", "api"], "source": "blog", "url": "https://example.com/fastapi-prod"} 0.872 Automatisch geschrieben

Rechnung für Signal 1 (Schritt für Schritt): Relevanz: „swiftui“ trifft (1,0). Ein Treffer, also 1.0 * 0.6 + 1.0 * 0.4 = 1.0. Umsetzbarkeit: „tutorial“ + „build“ + „example“ + „github.com“ = 4 Treffer → min(1.0, 0.70 + 4 * 0.05) = 0.90. Tiefe: Titel (0,20) + Beschreibung (0,20) + >50 Zeichen (0,15) + >150 Zeichen (0,15) + Tags (0,15) + >=3 Tags (0,10) + URL (0,05) = 1.00. Autorität: „blog“ → 0.60. Composite: 1.0*0.35 + 0.90*0.30 + 1.00*0.20 + 0.60*0.15 = 0.35 + 0.27 + 0.20 + 0.09 = 0.910.

Signal 1 erzielt in allen Dimensionen hohe Werte: exakter Schlüsselworttreffer (SwiftUI = 1,0), vier Handlungsschlüsselwörter („tutorial“, „build“, „example“, „github.com“), vollständige Metadaten und eine vertrauenswürdige Quelle. Signal 2 landet knapp über dem Schwellenwert für das automatische Schreiben: hohe Relevanz (Python = 0,75) und hohe Autorität (docs = 0,70), aber keine Umsetzbarkeit (Release Notes sind informativ, kein Tutorial). Signal 3 ist der Nemophila-Tweet aus dem Abschnitt zur Tiefenfalle ohne seine URL, daher liegt die Tiefe bei 0,80 statt 0,85; mittlere Autorität (0,50) und die nahezu fehlende Relevanz und Umsetzbarkeit ergeben einen Composite-Score, der im Eingang landet, statt automatisch zugeordnet zu werden. Signal 4 hat keine Beschreibung, keine Tags und keinen Schlüsselworttreffer: Es fällt unter die Untergrenze von 0,30 und wird stillschweigend übersprungen. Signal 5 zeigt, wie mehrere Schlüsselworttreffer die Relevanz steigern: Sowohl „fastapi“ (0,85) als auch „python“ (0,75) treffen, und fünf Handlungsschlüsselwörter heben die Umsetzbarkeit auf 0,95.

Sie können die Funktion score_signal und diese fünf Signale in eine Python-REPL einfügen und jede Zahl in der Tabelle nachprüfen.


Kernerkenntnisse

Für Ingenieure, die Triage-Systeme bauen:

  • Deterministisches Scoring schlägt manuelle Kuratierung im großen Maßstab. 7.700 Notizen in 14 Monaten. Manuelle Triage mit ungefähr 25 Sekunden pro Signal (Titel lesen, Beschreibung überfliegen, Ordner wählen) hätte über 53 Stunden Prüfzeit erfordert. Die Pipeline verarbeitete sie in Minuten mit einer automatischen Routing-Quote von ~93 % (5,5 % gingen zur manuellen Überprüfung in den Eingang, ~1,1 % wurden unterhalb des Schwellenwerts von 0,30 stillschweigend übersprungen). Ungefähr 95 % aller Signale kamen ganz ohne manuellen Eingriff aus (automatisch zugeordnet plus übersprungen).

  • Metadaten als Stellvertreter haben bekannte Fehlermodi. Tiefe misst Struktur, nicht Qualität. Autorität misst die Quelle, nicht die Genauigkeit. Beide Stellvertreter funktionieren auf aggregierter Ebene, erzeugen aber vorhersehbare falsch-positive Ergebnisse auf der Ebene einzelner Signale. Die Fehlermodi offen zu benennen ist ehrlicher als die Behauptung, der Algorithmus „funktioniere“.

Für Praktiker des Wissensmanagements:

  • Gewichtete Composite-Scores legen Ihre tatsächlichen Prioritäten offen. Gewichtungen von 35/30/20/15 sind nicht willkürlich. Sie kodieren ein bestimmtes Urteil: Relevanz zählt mehr als Umsetzbarkeit, die mehr zählt als die Reichhaltigkeit der Metadaten, die wiederum mehr zählt als die Glaubwürdigkeit der Quelle. Gewichtungen explizit und anpassbar zu machen, ist der Unterschied zwischen einem System und einer Gewohnheit.

  • Die Ambiguitätszone lässt sich nicht beseitigen. Signale zwischen 0,30 und 0,55 sind tatsächlich mehrdeutig: Der deterministische Scorer kann sie nicht auflösen. LLM-Triage hilft, beseitigt die Zone aber nicht. Die manuelle Überprüfung der ambigen Teilmenge bleibt notwendig.

Übung: Stimmen Sie Ihre eigenen Gewichtungen ab. Beginnen Sie mit gleichen Gewichtungen (25/25/25/25). Verarbeiten Sie 50 Signale. Sehen Sie sich die 10 überraschendsten Routing-Entscheidungen an, also Signale, die am falschen Ort gelandet sind. Bestimmen Sie für jedes, welche Gewichtung einer Dimension das Routing korrigiert hätte. Passen Sie jeweils nur eine Gewichtung an, verarbeiten Sie dieselben 50 Signale erneut und vergleichen Sie. Stimmen Sie höchstens einmal pro Woche neu ab.


Häufige Fragen

Warum gewichtetes Composite-Scoring statt Machine Learning für die Wissens-Triage?

Composite-Scoring ist deterministisch: Dieselbe Eingabe ergibt immer denselben Score, und Sie können genau erklären, warum. Ein ML-Klassifikator mag eine höhere Genauigkeit erreichen, bringt aber Undurchsichtigkeit mit sich: Sie können nicht ohne Weiteres erklären, warum ein Signal 0,62 statt 0,54 erhielt. Im persönlichen Wissensmanagement, wo das Vertrauen in das System mehr zählt als marginale Genauigkeitsgewinne, verdient sich deterministisches Scoring dieses Vertrauen. Die Gewichtungen sind explizit, anpassbar und überprüfbar. ML-Klassifikatoren benötigen zudem gelabelte Trainingsdaten, sodass Sie Hunderte von Signalen von Hand prüfen müssten, bevor das System überhaupt funktioniert. Genau diese manuelle Prüflast soll die Pipeline beseitigen.

Kann ich die Gewichtungen im Lauf der Zeit dynamisch anpassen?

Ja, und das sollten Sie auch. Die Gewichtungen begannen bei 25/25/25/25 (gleich verteilt) und entwickelten sich über sechs Monate anhand beobachteter Fehlermodi zu 35/30/20/15. Das entscheidende Signal für eine Neuabstimmung: Wenn Ihr Eingang beständig eine bestimmte Art falsch-positiver Ergebnisse enthält (z. B. gut getaggte, irrelevante Inhalte), erhöhen Sie die Gewichtung der Dimension, die sie herausgefiltert hätte (in diesem Fall Relevanz). Passen Sie jeweils höchstens eine Dimension an und lassen Sie eine Woche an Signalen sowohl durch die alten als auch durch die neuen Gewichtungen laufen, bevor Sie sich festlegen.

Wie funktioniert die LLM-Triage-Stufe?

Das optionale Flag --llm-triage schickt nur ambige Signale (Composite-Score 0,30 bis 0,55) zur Bewertung an Claude. Das LLM erhält Titel, Beschreibung, Tags und URL des Signals und liefert eine Score-Anpassung (-0,20 bis +0,20) sowie eine Domänenklassifizierung zurück. Die Anpassung kann ein Signal über den Schwellenwert von 0,55 für das automatische Schreiben heben oder unter den Schwellenwert von 0,30 zum Überspringen drücken. Die Kosten liegen bei ungefähr 0,02 bis 0,04 $ pro Signal. LLM-Triage nur auf die ambige Teilmenge (420 von 7.700) anzuwenden, kostet 8 bis 17 $ statt 150 bis 300 $ für den gesamten Bestand.

Funktioniert gewichtetes Composite-Scoring auch für Support-Tickets, Content-Moderation oder Lead-Qualifizierung?

Die Architektur ist allgemeingültig. Composite-Scoring mit gewichteten Dimensionen lässt sich auf jede Domäne anwenden, in der Elemente deterministisch zugeordnet werden müssen: Triage von Support-Tickets (Dringlichkeit, Kundenstufe, Komplexität des Themas, SLA-Status), Content-Moderation (Schweregrad, Konfidenz, Kontextsensitivität, Glaubwürdigkeit der meldenden Person), Lead-Qualifizierung (Fit-Score, Engagement, Kaufabsichtssignale, Unternehmensgröße) und Anomalieerkennung (Ausmaß der Abweichung, historische Häufigkeit, geschäftliche Auswirkung, Zuverlässigkeit der Quelle). Die konkreten Gewichtungen und Schwellenwerte ändern sich je nach Domäne, aber das Muster des gewichteten Composite-Scores aus vier Dimensionen lässt sich direkt übertragen. Hier greift das Prinzip des Compounding Engineering: Sobald die Scoring-Architektur existiert, erfordert die Anpassung an eine neue Domäne nur, die Schlüsselwort-Wörterbücher neu zu definieren und die Gewichtungen neu abzustimmen.


Composite-Scoring lässt sich auf jede Domäne anwenden, in der Elemente deterministisch zugeordnet werden müssen. Meine konkreten Gewichtungen und Schwellenwerte kodieren persönliche Prioritäten, die Architektur aber ist allgemeingültig. Mehr darüber, wie angesammeltes Wissen nichtlinearen Wert schafft, finden Sie unter Mental Compound Interest. Jede Komponente der Pipeline (Scoring, Routing, Triage) ist für sich nützlich und verstärkt sich mit den anderen, dem Muster des Compounding Engineering folgend. Im großen Maßstab speist die Pipeline den hybriden Retriever, der das bewertete Wissen durchsuchbar macht, und die übergreifenden Muster werden in siebzehntausend Signalen sichtbar.



  1. Die Gewichtsverteilung habe ich nicht mathematisch hergeleitet. Ich habe sie über sechs Monate Nutzung abgestimmt. Die anfänglichen Gewichtungen waren gleich (25/25/25/25). Relevanz stieg auf 35 %, nachdem ich beobachtet hatte, dass Signale mit hoher Tiefe, aber niedriger Relevanz (gut getaggte, irrelevante Inhalte) den Eingang fluteten. Umsetzbarkeit stieg auf 30 %, nachdem ich beobachtet hatte, dass sich theoretische Inhalte mit hoher Relevanz, aber ohne praktische Anwendung ungenutzt ansammelten. ↩

  2. Die Grundlinie von 0,25 für Relevanz ohne Treffer ist eine bewusste Designentscheidung. Läge sie bei 0,0, käme jedes Signal außerhalb der kuratierten Schlüsselwortliste auf höchstens 0,65 (0 + Umsetzbarkeit + Tiefe + Autorität ohne Beitrag der Relevanz), womit es für wirklich neue Themen nahezu unmöglich würde, den Schwellenwert für das automatische Schreiben zu erreichen. ↩

  3. Für die Umsetzbarkeit habe ich eine Stufenfunktion statt einer linearen Bewertung gewählt, weil Umsetzbarkeit eher einer booleschen als einer kontinuierlichen Variable gleicht. Ein Tutorial ist umsetzbar. Ein Nachrichtenartikel über ein Tutorial ist es nicht. Die Stufenfunktion bildet diese binäre Natur besser ab als ein Gradient. ↩

  4. Ursprünglich hieß die Tiefendimension „Qualität“ und sollte die Reichhaltigkeit des Inhalts messen. Nachdem ich beobachtet hatte, dass sie stattdessen die Reichhaltigkeit der Metadaten maß, habe ich sie in „Tiefe“ umbenannt, um ihr tatsächliches Verhalten widerzuspiegeln. Die Umbenennung ist bewusste Ehrlichkeit darüber, was die Metrik erfasst. ↩

  5. Die LLM-Triage verwendet die Claude Code CLI (claude --print --model opus) mit einem strukturierten Prompt, der eine Score-Anpassung (-0,20 bis +0,20) und eine Domänenklassifizierung anfordert. Kostenschätzung des Autors: ungefähr 0,02 bis 0,04 $ pro Signal. LLM-Triage auf alle 7.700 Signale anzuwenden, würde 150 bis 300 $ kosten. Sie nur auf die 420 ambigen Signale anzuwenden, kostet 8 bis 17 $. ↩

  6. Daten des Autors zur Domänenverteilung, Stand Februar 2026. Die Zahlen spiegeln die kumulative Zuordnung seit Dezember 2024 wider. Die Verteilung ist seit dem dritten Monat stabil, wobei Development und Design durchgehend 55 bis 60 % der zugeordneten Signale ausmachen. ↩

  7. Pure Scoring-Funktionen habe ich als bewusste Architekturentscheidung gewählt. Die Alternative (Scoring-Funktionen, die das Dateisystem auf Duplikate prüfen oder zur Anreicherung APIs aufrufen) wäre genauer gewesen, ohne Mocking aber nicht testbar. Der pure Ansatz opfert etwas Genauigkeit zugunsten von Testbarkeit und Kombinierbarkeit. ↩

  8. Clay Shirky, „It’s Not Information Overload. It’s Filter Failure“, Keynote auf der Web 2.0 Expo, 2008. youtube.com/watch?v=LabqeJEOQyI. Shirkys Rahmung trifft unmittelbar zu: Ein Eingang mit über 400 unverarbeiteten Notizen ist kein Übermaß an Information, sondern ein Fehlen von Filterung. Siehe auch Alvin Toffler, Future Shock, Random House, 1970, der den Begriff „information overload“ prägte, als die Schwierigkeit, Entscheidungen zu treffen, wenn man zu viel Information ausgesetzt ist. ↩

  9. Gewichtete Linearkombinationen sind eine Standardtechnik der multikriteriellen Entscheidungsanalyse (MCDA). Der hier verwendete Ansatz ist ein vereinfachtes Weighted Sum Model (WSM), eine der ältesten MCDA-Methoden. Saaty, T.L., The Analytic Hierarchy Process, McGraw-Hill, 1980, liefert eine rigorose Methodik, um Gewichtungen aus paarweisen Vergleichen abzuleiten, ein formalerer Ansatz als die hier verwendete empirische Abstimmung. Das einfachere additive Modell dieser Pipeline folgt Fishburn, P.C., „Additive Utilities with Incomplete Product Set“, Journal of Mathematical Psychology, 4(1), S. 104-110, 1967. ↩

  10. Der Precision/Recall-Kompromiss ist ein grundlegendes Konzept des Information Retrieval. Wer den Recall erhöht (mehr relevante Elemente erfasst), lässt zwangsläufig mehr irrelevante Elemente zu und senkt damit die Precision. Die Tiefendimension optimiert auf Recall, indem sie jedes gut strukturierte Signal belohnt, weshalb irrelevante, aber gut getaggte Inhalte den Schwellenwert passieren. Siehe Manning, C.D., Raghavan, P., & Schütze, H., Introduction to Information Retrieval, Cambridge University Press, 2008, Kapitel 8. nlp.stanford.edu/IR-book/ ↩

Verwandte Beiträge

Das No-Build-Manifest: Ausliefern ohne Bundler

FastAPI + HTMX + reines CSS mit null Build-Tools und perfekten Lighthouse-Werten. Echte Produktionszahlen, ehrliche Komp…

20 Min. Lesezeit

Wie LLMs Text sehen: Was mein i18n-System mich über Token-Ökonomie gelehrt hat

Die Übersetzung meiner Website in 6 Sprachen zeigte: Koreanisch kostet 2,8x mehr Tokens als Englisch. Ein interaktiver V…

10 Min. Lesezeit

Hamming-Codes: Wie Computer ihre eigenen Fehler erkennen

Von RAM bis QR-Code: Eine interaktive Erklärung, wie Hamming-Codes Bitfehler erkennen und korrigieren.

7 Min. Lesezeit