Pipeline oceny sygnałów: deterministyczny triaż wiedzy

Większość zarządzania wiedzą opiera się na przeczuciu. Notatkę zapisuje się, bo „wydaje się ważna”. Pół roku później jest ich 7000 i nie wiadomo, które mają znaczenie. Zbudowałem deterministyczny pipeline oceny, który mi to mówi. Ten wpis należy do obszaru infrastruktury gustu, w którym subiektywny osąd zostaje zakodowany w deterministycznych systemach.

Pipeline oceny sygnałów zastępuje subiektywny triaż notatek ważonym wynikiem złożonym z czterech wymiarów: trafności, wykonalności, głębi i autorytetu. Każda przychodząca notatka otrzymuje ocenę od 0,0 do 1,0 i automatycznie trafia do folderu domenowego, do kolejki ręcznego przeglądu albo w niebyt. W ciągu 14 miesięcy przetworzono ponad 7700 notatek bez potrzeby jakiegokolwiek ręcznego tagowania.

System to 733 wiersze kodu w Pythonie. Ocenia każdy przychodzący sygnał w czterech ważonych wymiarach, oblicza wynik złożony i kieruje sygnał do jednego z 12 folderów domenowych, do skrzynki odbiorczej do ręcznego przeglądu albo w niebyt. Żadnego ręcznego tagowania. Żadnego „przejrzę później”, które nigdy nie następuje. Decyduje algorytm.

TL;DR

Ważony wynik złożony (trafność 35%, wykonalność 30%, głębia 20%, autorytet 15%) daje każdemu sygnałowi ocenę od 0,0 do 1,0. Routing wykorzystuje trzy progi: >= 0,55 oznacza automatyczny zapis do folderu domenowego, >= 0,30 kolejkę do ręcznego przeglądu, < 0,30 ciche pominięcie. W ciągu 14 miesięcy przetworzono ponad 7700 notatek, a w rozkładzie dominują Development (2837) i Design (1709). Najciekawsza wada: wymiar głębi mierzy bogactwo metadanych, a nie jakość treści, więc dobrze otagowany tweet o zdjęciu kwiatów uzyskuje 0,85.


Problem z przeczuciem

Używam Obsidiana jako bazy wiedzy (pełną konfigurację opisuje przewodnik po Obsidianie). Sygnały napływają z kanałów RSS, zakładek na Twitterze, gwiazdek na GitHubie, newsletterów i ręcznego przechwytywania. Przed powstaniem pipeline’u każdy sygnał trafiał do jednego folderu skrzynki odbiorczej. W ciągu dwóch miesięcy nagromadziło się w nim ponad 400 nieprzetworzonych notatek.

Standardowa rada („przeglądaj co tydzień, taguj na bieżąco, stosuj system folderów”) zakłada, że przegląd faktycznie się odbywa. Nie odbywa się. Skrzynki odbiorcze stają się wyłącznie do zapisu: elementy do nich wpadają, ale nigdy nie wychodzą. Wiedza przechwycona jest funkcjonalnie tym samym co wiedza nigdy nieprzechwycona. Clay Shirky ujął ten problem precyzyjnie: „To nie przeładowanie informacją. To awaria filtra”.8

Potrzebowałem systemu, który oceni ponad 7700 notatek szybciej, niż jestem w stanie je przeczytać, według kryteriów zdefiniowanych raz i stosowanych jednolicie. Nie silnika rekomendacji. Algorytmu oceny.


Wynik złożony

Formuła oceny to ważona kombinacja liniowa czterech wymiarów, standardowe podejście w wielokryterialnej analizie decyzyjnej (MCDA):9

composite = (
    relevance     * 0.35 +
    actionability * 0.30 +
    depth         * 0.20 +
    authority     * 0.15
)

Każdy wymiar zwraca liczbę zmiennoprzecinkową od 0,0 do 1,0. Formuła zaokrągla wynik złożony do trzech miejsc po przecinku. Wagi odzwierciedlają celowy porządek priorytetów: co jest dla mnie ważne (trafność) przeważa nad tym, co mogę wykorzystać (wykonalność), to z kolei nad tym, jak bogate są metadane (głębia), a to nad tym, jak wiarygodne jest źródło (autorytet).1

Rozważyłem i odrzuciłem dwa dodatkowe wymiary. Aktualność (nowsze sygnały oceniane wyżej) odpadła, ponieważ zarządzanie wiedzą to nie kanał wiadomości: esej o projektowaniu API z 2019 roku nie jest mniej wartościowy niż ten z 2026. Dowód społeczny (polubienia, retweety, gwiazdki) odpadł, ponieważ popularność koreluje z atrakcyjnością, a nie z użytecznością w moim konkretnym procesie pracy. Cztery wymiary wystarczą, by trafnie kierować sygnały. Kolejne zwiększyłyby złożoność strojenia bez istotnej poprawy jakości routingu.


Cztery wymiary

Trafność (35%): dopasowanie do zainteresowań

Trafność odpowiada na jedno pytanie: czy ten sygnał dotyczy czegoś, co mnie interesuje? Ręcznie kurowany słownik słów kluczowych z 43 wpisami przypisuje każdemu zainteresowaniu wynik od 0,15 (nft, ledwie istotne, ale chcę wiedzieć, co się dzieje) do 1,0 (claude code, swiftui, rdzeń mojej codziennej pracy). Ocena łączy najlepsze dopasowanie ze średnią wszystkich dopasowań:

# 60% best match, 40% average of all matches
return min(1.0, best_score * 0.6 + avg_score * 0.4)

Elementy bez dopasowań otrzymują wartość bazową 0,25, a nie 0,0. System karze nieznany temat łagodniej niż temat nieistotny. Wartość bazowa jest najczęściej strojonym parametrem: zbyt wysoka sprawia, że nieistotne treści zalewają skrzynkę odbiorczą, zbyt niska, że naprawdę nowe zainteresowania zostają odfiltrowane, zanim je zobaczę.2

Wykonalność (30%): potencjał edukacyjny

Wykonalność odpowiada na pytanie: czy mogę z tym coś zrobić? Teoretyczny esej o architekturze SwiftUI jest trafny, ale niewykonalny. Tutorial krok po kroku pokazujący budowę komponentu w SwiftUI jest jednym i drugim. Wymiar ten dopasowuje 22 słowa kluczowe zorientowane na działanie: tutorial, guide, how-to, build, github.com. Adresy URL traktowane są w szczególny sposób:

if "github.com" in url:
    hits += 2  # Repositories are inherently actionable
if "/docs" in url or "/tutorial" in url:
    hits += 1

Ocena opiera się na funkcji schodkowej, a nie liniowej: 0 trafień → 0,10, 1 trafienie → 0,40, 2 trafienia → 0,60, 3 i więcej → min(1.0, 0.70 + hits * 0.05). Funkcja schodkowa nagradza obecność sygnałów wykonalności bardziej niż ich liczbę. Jeden link do tutoriala jest wart więcej niż różnica między trzema a czterema słowami kluczowymi.3

Głębia (20%): bogactwo metadanych

Głębia jest czysto strukturalna. Mierzy obecność i długość pól, a nie jakość treści:

Sygnał Wynik
Ma tytuł +0,20
Ma opis +0,20
Opis > 50 znaków +0,15
Opis > 150 znaków +0,15
Ma jakiekolwiek tagi +0,15
Ma 3+ tagi +0,10
Ma URL +0,05
Maksimum 1,00

Głębia to wymiar, któremu ufam najmniej. Tweet o zdjęciu kwiatów z pełnym opisem i czterema tagami osiąga głębię 0,85. Bogate metadane, nieistotna treść. Głębia jest wskaźnikiem zastępczym dla stwierdzenia „źródło dostarczyło ustrukturyzowane dane”, co koreluje z jakością, ale jej nie gwarantuje.4

Autorytet (15%): wiarygodność źródła

Autorytet zaczyna od wartości bazowej 0,40 i jest korygowany według typu źródła:

if source in ("twitter", "x"):        score = 0.50
elif source in ("blog", "newsletter"): score = 0.60
elif source in ("github", "docs"):     score = 0.70

Lista dozwolonych domen nadpisuje wynik w górę (nigdy w dół): github.com, anthropic.com, apple.com, arxiv.org, docs.python.org i inne podnoszą autorytet do co najmniej 0,75. Lista ta koduje osąd, że te źródła domyślnie zasługują na większe zaufanie.


Routing progowy

Trzy przedziały routingu decydują o losie każdego ocenionego sygnału:

THRESHOLD_AUTO_WRITE = 0.55   # → domain folder
THRESHOLD_INBOX      = 0.30   # → 00-Inbox (manual review)
# Below 0.30 → silently skipped

Pipeline zapisuje sygnały z wynikiem >= 0,55 bezpośrednio do jednego z 12 folderów domenowych, wyznaczanego na podstawie dopasowania tagów i tytułu. Sygnały ze środkowego zakresu (0,30-0,55) trafiają do skrzynki odbiorczej do ręcznego przeglądu. Nic poniżej 0,30 nie trafia do sejfu. Próg 0,55 wyłonił się z empirycznego strojenia: przy 0,50 zbyt wiele ledwie istotnych sygnałów trafiało automatycznie do folderów domenowych i rozmywało ich użyteczność. Przy 0,60 skrzynka odbiorcza rosła nadmiernie, bo sygnały na granicy użyteczności omijał automatyczny routing. Dolna granica 0,30 gwarantuje, że każdy dobrze ustrukturyzowany sygnał ze znanego typu źródła dotrze przynajmniej do skrzynki odbiorczej i zostanie przejrzany przez człowieka.

Zakres 0,30-0,55 to „strefa niejednoznaczności”, w której system jest najmniej pewny. Opcjonalna flaga --llm-triage wysyła te sygnały do Claude’a do oceny, a ten może skorygować wynik złożony o maksymalnie ±0,20, potencjalnie przesuwając sygnał ponad próg automatycznego zapisu. Claude widzi wyłącznie sygnały niejednoznaczne, nigdy te z wysokim lub niskim wynikiem. Wydawanie tokenów API na sygnały, które deterministyczny mechanizm oceny już obsłużył, byłoby marnotrawstwem.5

Wyznaczanie domeny odbywa się przez głosowanie. Każdy tag odpowiada domenie, każde słowo kluczowe w tytule dodaje głos. Wygrywa domena z największą liczbą głosów. Remisy rozstrzyga kolejność w słowniku (w praktyce arbitralnie). Domyślna wartość zapasowa: „Inspiration”.


Wyniki

Po przetworzeniu ponad 7700 notatek w ciągu 14 miesięcy:

Domena Notatki % całości
Development 2 837 36,8%
Design 1 709 22,2%
Inspiration 565 7,3%
Claude-Code 414 5,4%
AI-Tools 414 5,4%
Productivity 346 4,5%
Ideas 296 3,8%
Science 231 3,0%
Health-Life 191 2,5%
Architecture 142 1,8%
Startups 26 0,3%
Tools 22 0,3%
Skrzynka odbiorcza 420 5,5%
Po cichu pominięte (< 0,30) ~87 ~1,1%

Wiersze tabeli sumują się do 7613 skierowanych sygnałów. Pozostałe około 87 elementów (z wynikiem poniżej progu skrzynki odbiorczej 0,30) zostało po cichu pominiętych, co daje łącznie ponad 7700 przetworzonych. Rozkład odzwierciedla rzeczywistość: czytam więcej treści o programowaniu i projektowaniu niż o czymkolwiek innym. Elementy w skrzynce odbiorczej (420) reprezentują strefę niejednoznaczności, czyli sygnały, których algorytm nie potrafił z pewnością skierować automatycznie.6


W czym algorytm się pomylił

Pułapka głębi

Tweet ze zdjęciem nemofili uzyskał composite 0.36, relevance 0.25, actionability 0.10, depth 0.85, authority 0.50. Trafił do skrzynki odbiorczej, ponieważ głębia (0,85) i autorytet (0,50) zrekompensowały niemal zerową trafność i wykonalność. Bogate metadane, nieistotna treść: ładne zdjęcie kwiatów.

Ten przykład pokazuje podstawowe ograniczenie oceny opartej na metadanych jako wskaźniku zastępczym. Głębia mierzy to, że „źródło dostarczyło ustrukturyzowane dane”, a nie to, że „treść jest wartościowa”. Twitter dostarcza pełne opisy i tagi do każdego tweeta. Dobrze otagowany tweet o śniadaniu osiąga głębię 0,85. Badania nad wyszukiwaniem informacji nazywają to napięcie kompromisem między precyzją a kompletnością: optymalizacja pod kątem kompletności (wychwycenia wszystkiego, co istotne) nieuchronnie wpuszcza wyniki fałszywie dodatnie.10

Poprawka, którą rozważyłem i odrzuciłem: obniżenie wagi głębi z 0,20 do 0,10 ograniczyłoby wyniki fałszywie dodatnie z dobrze otagowanych, nieistotnych treści, ale ukarałoby też naprawdę głębokie treści ze źródeł o ubogich metadanych. Obecna waga to kompromis. Bardziej wyrafinowane podejście zastąpiłoby strukturalny test głębi lekką heurystyką jakości tekstu, na przykład liczeniem unikalnych rzeczowników, pomiarem różnorodności słownictwa za pomocą współczynnika type-token albo metodą osadzeń topologii wiedzy, która mierzy odległość semantyczną od znanych wzorców wysokiej jakości. Nie wdrożyłem tego, bo obecny system poprawnie kieruje 93% sygnałów, a 7%, które trafia do skrzynki odbiorczej do ręcznego przeglądu, to obciążenie do opanowania. Wymiar głębi uczciwie przyznaje się do swojego ograniczenia: mierzy strukturę, a nie treść.

Problem wartości bazowej trafności

Wartość bazowa 0,25 przy zerowym dopasowaniu trafności oznacza, że każdy dobrze ustrukturyzowany sygnał z rozsądnego źródła uzyskuje co najmniej 0,30 i ląduje w skrzynce odbiorczej. Wartość bazowa tworzy dolny poziom wyników fałszywie dodatnich: w skrzynce gromadzą się sygnały dobrze otagowane, pochodzące z rozsądnych źródeł, ale niemające nic wspólnego z moimi zainteresowaniami.

Faktyczna poprawka: okresowy przegląd skrzynki odbiorczej pozostaje konieczny. Pipeline zmniejsza zakres przeglądu z 7700 elementów do 420 (redukcja o około 95%), ale nie eliminuje ręcznego przeglądu strefy niejednoznaczności.


Uwagi implementacyjne

Pipeline działa jako narzędzie CLI. Wejściem jest tablica JSON z sygnałami (z RSS, Twitter API lub wpisów ręcznych). Wyjściem są pliki markdown zgodne z Obsidianem, zapisywane do folderów domenowych.

python triage.py --input signals.json --vault ~/obsidian-signals/
python triage.py --input signals.json --vault ~/obsidian-signals/ --llm-triage
python triage.py --input signals.json --min-score 0.60  # Stricter routing

Przed oceną działa wstępne filtrowanie: deduplikacja adresów URL względem istniejących notatek w sejfie, odrzucanie pustych treści oraz lista blokowanych źródeł szumu. Zduplikowane notatki i źródła spamu nigdy nie docierają do etapu oceny.

Funkcje oceniające są czyste: bez efektów ubocznych, bez wywołań API, bez dostępu do systemu plików. Każda przyjmuje słownik sygnału i zwraca słownik wyników. Dzięki temu można je testować w izolacji i składać z etapem triażu LLM, który działa wyłącznie na niejednoznacznym podzbiorze.7

Minimalna funkcja oceniająca

Rdzeń logiki oceny mieści się w jednej funkcji. Oto uproszczona wersja oddająca zasadniczy wzorzec:

def score_signal(signal: dict, keywords: dict[str, float]) -> dict:
    """Score a signal across four weighted dimensions. Returns composite 0.0-1.0."""
    title = signal.get("title", "").lower()
    desc = signal.get("description", "").lower()
    text = f"{title} {desc}"

    # Relevance: best keyword match blended with average
    matches = [v for k, v in keywords.items() if k in text]
    relevance = (max(matches) * 0.6 + sum(matches) / len(matches) * 0.4
                 if matches else 0.25)

    # Actionability: step function based on action keyword hits
    action_words = {"tutorial", "guide", "how-to", "build", "example", "github.com"}
    hits = sum(1 for w in action_words if w in text)
    actionability = {0: 0.10, 1: 0.40, 2: 0.60}.get(hits, min(1.0, 0.70 + hits * 0.05))

    # Depth: metadata richness (structure, not quality)
    depth = sum([
        0.20 if signal.get("title") else 0,
        0.20 if signal.get("description") else 0,
        0.15 if len(desc) > 50 else 0,
        0.15 if len(desc) > 150 else 0,
        0.15 if signal.get("tags") else 0,
        0.10 if len(signal.get("tags", [])) >= 3 else 0,
        0.05 if signal.get("url") else 0,
    ])

    # Authority: source-based baseline
    source = signal.get("source", "").lower()
    authority = {"twitter": 0.50, "blog": 0.60, "github": 0.70, "docs": 0.70}.get(source, 0.40)

    composite = round(relevance * 0.35 + actionability * 0.30 + depth * 0.20 + authority * 0.15, 3)
    return {"relevance": relevance, "actionability": actionability,
            "depth": depth, "authority": authority, "composite": composite}

Wersja produkcyjna dodaje listę dozwolonych domen, premie zależne od adresu URL i wstępne filtrowanie. Powyższa logika pokazuje jednak pełny wzorzec: cztery czyste funkcje, jedna suma ważona, deterministyczny wynik.

Przykładowy zbiór danych: pięć sygnałów, pięć wyników

Aby sprawdzić działanie oceny, można uruchomić powyższą funkcję score_signal na tych pięciu sygnałach. Użyty słownik słów kluczowych: {"claude code": 1.0, "swiftui": 1.0, "fastapi": 0.85, "design": 0.60, "python": 0.75}.

# Sygnał Wynik złożony Kierunek
1 {"title": "Building a SwiftUI Component Library", "description": "A step-by-step tutorial showing how to build reusable SwiftUI views with previews and documentation. Includes working example code and a GitHub repository at github.com/example.", "tags": ["swiftui", "ios", "tutorial", "components"], "source": "blog", "url": "https://example.com/swiftui-lib"} 0,910 Automatyczny zapis
2 {"title": "Python 3.13 Release Notes", "description": "Official release notes documenting new features, deprecations, and breaking changes in Python 3.13 including improved error messages and typing enhancements.", "tags": ["python", "release"], "source": "docs", "url": "https://docs.python.org/3.13/whatsnew"} 0,578 Automatyczny zapis
3 {"title": "Beautiful nemophila photos from Hitachi Seaside Park", "description": "Spring bloom season produces stunning blue flower fields stretching to the horizon. Best visited in late April through early May for peak color.", "tags": ["photography", "japan", "flowers", "travel"], "source": "twitter"} 0,353 Skrzynka odbiorcza
4 {"title": "Thread about tech hiring", "description": "", "tags": [], "source": "twitter"} 0,232 Pominięty
5 {"title": "FastAPI Guide: Build Production APIs", "description": "A comprehensive tutorial showing how to build, test, and deploy a production FastAPI application. Covers authentication, rate limiting, background tasks, and CI/CD. Full example code on github.com.", "tags": ["fastapi", "python", "tutorial", "guide", "api"], "source": "blog", "url": "https://example.com/fastapi-prod"} 0,872 Automatyczny zapis

Obliczenia dla sygnału 1 (krok po kroku): Trafność: dopasowanie „swiftui” (1,0). Jedno dopasowanie, więc 1.0 * 0.6 + 1.0 * 0.4 = 1.0. Wykonalność: „tutorial” + „build” + „example” + „github.com” = 4 trafienia → min(1.0, 0.70 + 4 * 0.05) = 0.90. Głębia: tytuł (0,20) + opis (0,20) + ponad 50 znaków (0,15) + ponad 150 znaków (0,15) + tagi (0,15) + co najmniej 3 tagi (0,10) + URL (0,05) = 1.00. Autorytet: „blog” → 0.60. Wynik złożony: 1.0*0.35 + 0.90*0.30 + 1.00*0.20 + 0.60*0.15 = 0.35 + 0.27 + 0.20 + 0.09 = 0.910.

Sygnał 1 uzyskuje wysokie wyniki we wszystkich wymiarach: dokładne dopasowanie słowa kluczowego (SwiftUI = 1,0), cztery słowa kluczowe działania („tutorial”, „build”, „example”, „github.com”), pełne metadane i zaufane źródło. Sygnał 2 ląduje tuż nad progiem automatycznego zapisu: wysoka trafność (Python = 0,75) i wysoki autorytet (docs = 0,70), ale zerowa wykonalność (informacje o wydaniu mają charakter informacyjny, nie są tutorialem). Sygnał 3 to tweet o nemofilach z sekcji o pułapce głębi bez swojego adresu URL, więc głębia wynosi 0,80 zamiast 0,85; umiarkowany autorytet (0,50) oraz niemal zerowa trafność i wykonalność dają wynik złożony, który trafia do skrzynki odbiorczej zamiast do automatycznego routingu. Sygnał 4 nie ma opisu, tagów ani żadnego dopasowania słowa kluczowego, więc spada poniżej dolnej granicy 0,30 i zostaje po cichu pominięty. Sygnał 5 pokazuje, jak wiele dopasowań podnosi trafność: trafiają zarówno „fastapi” (0,85), jak i „python” (0,75), a pięć słów kluczowych działania wynosi wykonalność do 0,95.

Funkcję score_signal i te pięć sygnałów można wkleić do REPL Pythona, by sprawdzić każdą liczbę w tabeli.


Kluczowe wnioski

Dla inżynierów budujących systemy triażu:

  • Na dużą skalę deterministyczna ocena wygrywa z ręczną kuracją. 7700 notatek w 14 miesięcy. Ręczny triaż przy około 25 sekundach na sygnał (przeczytanie tytułu, przejrzenie opisu, wybór folderu) wymagałby ponad 53 godzin przeglądu. Pipeline przetworzył je w kilka minut przy wskaźniku automatycznego routingu około 93% (5,5% wysłane do skrzynki odbiorczej do ręcznego przeglądu, około 1,1% po cichu pominięte poniżej progu 0,30). Około 95% wszystkich sygnałów w ogóle nie wymagało ręcznej interwencji (automatycznie skierowane plus pominięte).

  • Metadane jako wskaźnik zastępczy mają znane tryby awarii. Głębia mierzy strukturę, a nie jakość. Autorytet mierzy źródło, a nie rzetelność. Oba wskaźniki działają w skali zagregowanej, ale na poziomie pojedynczego sygnału dają przewidywalne wyniki fałszywie dodatnie. Przyznanie się do tych trybów awarii jest uczciwsze niż twierdzenie, że algorytm „działa”.

Dla praktyków zarządzania wiedzą:

  • Ważone wyniki złożone ujawniają rzeczywiste priorytety. Wagi 35/30/20/15 nie są arbitralne. Kodują konkretny osąd: trafność liczy się bardziej niż wykonalność, ta bardziej niż bogactwo metadanych, a to bardziej niż wiarygodność źródła. Jawne i możliwe do strojenia wagi to różnica między systemem a nawykiem.

  • Strefy niejednoznaczności nie da się zredukować. Sygnały między 0,30 a 0,55 są naprawdę niejednoznaczne: deterministyczny mechanizm oceny nie potrafi ich rozstrzygnąć. Triaż LLM pomaga, ale nie eliminuje tej strefy. Ręczny przegląd niejednoznacznego podzbioru pozostaje konieczny.

Ćwiczenie: strojenie własnych wag. Warto zacząć od równych wag (25/25/25/25). Należy przetworzyć 50 sygnałów, a następnie przejrzeć 10 najbardziej zaskakujących decyzji routingu, czyli sygnałów, które trafiły w niewłaściwe miejsce. Dla każdego trzeba ustalić, waga którego wymiaru skorygowałaby routing. Wagi należy zmieniać pojedynczo, ponownie przetworzyć te same 50 sygnałów i porównać wyniki. Wagi warto stroić najwyżej raz w tygodniu.


Często zadawane pytania

Dlaczego do triażu wiedzy stosować ważony wynik złożony zamiast uczenia maszynowego?

Ocena złożona jest deterministyczna: te same dane wejściowe zawsze dają ten sam wynik i da się dokładnie wyjaśnić dlaczego. Klasyfikator ML może osiągnąć wyższą dokładność, ale wprowadza nieprzejrzystość: trudno wyjaśnić, czemu sygnał dostał 0,62, a nie 0,54. W osobistym zarządzaniu wiedzą, gdzie zaufanie do systemu liczy się bardziej niż marginalne zyski dokładności, deterministyczna ocena na to zaufanie zasługuje. Wagi są jawne, możliwe do strojenia i audytowalne. Klasyfikatory ML wymagają ponadto oznaczonych danych treningowych, a więc ręcznego przejrzenia setek sygnałów, zanim system w ogóle zacznie działać. To dokładnie ten ciężar ręcznego przeglądu, który pipeline ma eliminować.

Czy wagi można stroić dynamicznie z upływem czasu?

Tak i warto to robić. Wagi zaczynały od 25/25/25/25 (równe) i w ciągu sześciu miesięcy, na podstawie zaobserwowanych trybów awarii, ewoluowały do 35/30/20/15. Kluczowy sygnał do ponownego strojenia: gdy skrzynka odbiorcza stale zawiera określony typ wyników fałszywie dodatnich (np. dobrze otagowane, nieistotne treści), należy zwiększyć wagę wymiaru, który by je odfiltrował (w tym przypadku trafności). Jednorazowo stroi się najwyżej jeden wymiar, a przed zatwierdzeniem zmiany warto przepuścić tydzień sygnałów zarówno przez stare, jak i nowe wagi.

Jak działa etap triażu LLM?

Opcjonalna flaga --llm-triage wysyła do Claude’a do oceny wyłącznie sygnały niejednoznaczne (wynik złożony 0,30-0,55). LLM otrzymuje tytuł, opis, tagi i URL sygnału, po czym zwraca korektę wyniku (od -0,20 do +0,20) oraz klasyfikację domeny. Korekta może wypchnąć sygnał ponad próg automatycznego zapisu 0,55 albo poniżej progu pominięcia 0,30. Koszt wynosi około 0,02-0,04 USD za sygnał. Uruchomienie triażu LLM tylko na niejednoznacznym podzbiorze (420 z 7700) kosztuje 8-17 USD zamiast 150-300 USD dla całego zbioru.

Czy ważony wynik złożony sprawdzi się przy zgłoszeniach wsparcia, moderacji treści lub kwalifikacji leadów?

Architektura jest uniwersalna. Ocena złożona z ważonymi wymiarami nadaje się do każdej dziedziny, w której elementy wymagają deterministycznego routingu: triażu zgłoszeń wsparcia (pilność, poziom klienta, złożoność tematu, status SLA), moderacji treści (waga naruszenia, pewność, wrażliwość kontekstu, wiarygodność zgłaszającego), kwalifikacji leadów (dopasowanie, poziom zaangażowania, sygnały intencji, wielkość firmy) i wykrywania anomalii (skala odchylenia, częstość historyczna, wpływ na biznes, wiarygodność źródła). Konkretne wagi i progi zmieniają się w zależności od dziedziny, ale wzorzec czterowymiarowego ważonego wyniku złożonego przenosi się bezpośrednio. Ma tu zastosowanie zasada kumulującej się inżynierii: gdy architektura oceny już istnieje, dostosowanie jej do nowej dziedziny wymaga jedynie zdefiniowania na nowo słowników słów kluczowych i ponownego dostrojenia wag.


Ocena złożona ma zastosowanie w każdej dziedzinie, w której elementy wymagają deterministycznego routingu. Moje konkretne wagi i progi kodują osobiste priorytety, ale architektura jest uniwersalna. Więcej o tym, jak zgromadzona wiedza tworzy nieliniową wartość, w tekście Mentalny procent składany. Każdy komponent pipeline’u (ocena, routing, triaż) jest użyteczny samodzielnie i kumuluje się z pozostałymi, zgodnie ze wzorcem kumulującej się inżynierii. W dużej skali pipeline zasila hybrydowy mechanizm wyszukiwania, dzięki któremu ocenioną wiedzę można przeszukiwać, a zagregowane wzorce widać w tekście siedemnaście tysięcy sygnałów.



  1. Nie wyprowadziłem rozkładu wag matematycznie. Stroiłem go przez sześć miesięcy użytkowania. Początkowe wagi były równe (25/25/25/25). Trafność wzrosła do 35% po zaobserwowaniu, że sygnały o wysokiej głębi i niskiej trafności (dobrze otagowane, nieistotne treści) zalewały skrzynkę odbiorczą. Wykonalność wzrosła do 30% po zaobserwowaniu, że treści teoretyczne o wysokiej trafności, lecz bez praktycznego zastosowania, gromadziły się nieużywane. ↩

  2. Wartość bazowa 0,25 przy zerowym dopasowaniu trafności to celowa decyzja projektowa. Ustawienie jej na 0,0 oznaczałoby, że każdy sygnał spoza kurowanej listy słów kluczowych uzyskałby najwyżej 0,65 (0 + wykonalność + głębia + autorytet, bez wkładu trafności), przez co naprawdę nowe tematy niemal nigdy nie osiągałyby progu automatycznego zapisu. ↩

  3. Dla wykonalności wybrałem funkcję schodkową zamiast liniowej, ponieważ wykonalność bliższa jest zmiennej logicznej niż ciągłej. Tutorial jest wykonalny. Artykuł prasowy o tutorialu nie jest. Funkcja schodkowa oddaje tę binarną naturę lepiej niż gradient. ↩

  4. Pierwotnie nazwałem wymiar głębi „jakością” i chciałem, by mierzył bogactwo treści. Gdy zauważyłem, że w rzeczywistości mierzy bogactwo metadanych, zmieniłem nazwę na „głębię”, by odzwierciedlała jego faktyczne działanie. Zmiana nazwy to celowa uczciwość wobec tego, co metryka naprawdę mierzy. ↩

  5. Triaż LLM korzysta z Claude Code CLI (claude --print --model opus) ze strukturalnym promptem, który prosi o korektę wyniku (od -0,20 do +0,20) i klasyfikację domeny. Szacunek kosztów autora: około 0,02-0,04 USD za sygnał. Uruchomienie triażu LLM na wszystkich 7700 sygnałach kosztowałoby 150-300 USD. Uruchomienie go tylko na 420 niejednoznacznych sygnałach kosztuje 8-17 USD. ↩

  6. Dane autora o rozkładzie domen według stanu na luty 2026. Liczby odzwierciedlają skumulowany routing od grudnia 2024. Rozkład jest stabilny od trzeciego miesiąca, a Development i Design niezmiennie stanowią 55-60% skierowanych sygnałów. ↩

  7. Czyste funkcje oceniające to celowa decyzja architektoniczna. Alternatywa (funkcje oceniające sprawdzające system plików pod kątem duplikatów lub wywołujące API w celu wzbogacenia danych) byłaby dokładniejsza, ale nietestowalna bez mockowania. Czyste podejście poświęca część dokładności na rzecz testowalności i składalności. ↩

  8. Clay Shirky, „It’s Not Information Overload. It’s Filter Failure”, wystąpienie programowe na Web 2.0 Expo, 2008. youtube.com/watch?v=LabqeJEOQyI. Ujęcie Shirky’ego ma tu bezpośrednie zastosowanie: skrzynka odbiorcza z ponad 400 nieprzetworzonymi notatkami to nie nadmiar informacji, lecz brak filtrowania. Zob. także Alvin Toffler, Future Shock, Random House, 1970, książka, która ukuła termin „przeładowanie informacją” na określenie trudności w podejmowaniu decyzji przy nadmiarze informacji. ↩

  9. Ważone kombinacje liniowe to standardowa technika wielokryterialnej analizy decyzyjnej (MCDA). Zastosowane tu podejście to uproszczony model sumy ważonej (Weighted Sum Model, WSM), jedna z najstarszych metod MCDA. Saaty, T.L., The Analytic Hierarchy Process, McGraw-Hill, 1980, przedstawia rygorystyczną metodologię wyprowadzania wag z porównań parami, bardziej formalną niż zastosowane tu empiryczne strojenie. Prostszy model addytywny użyty w tym pipelinie opiera się na pracy: Fishburn, P.C., „Additive Utilities with Incomplete Product Set”, Journal of Mathematical Psychology, 4(1), s. 104-110, 1967. ↩

  10. Kompromis między precyzją a kompletnością to podstawowe pojęcie wyszukiwania informacji. Zwiększanie kompletności (wychwytywanie większej liczby istotnych elementów) nieuchronnie wpuszcza więcej elementów nieistotnych, obniżając precyzję. Wymiar głębi optymalizuje kompletność, nagradzając każdy dobrze ustrukturyzowany sygnał, dlatego nieistotne, ale dobrze otagowane treści przekraczają próg. Zob. Manning, C.D., Raghavan, P. i Schütze, H., Introduction to Information Retrieval, Cambridge University Press, 2008, rozdział 8. nlp.stanford.edu/IR-book/ ↩

Powiązane artykuły

Manifest „bez budowania”: wdrażanie bez bundlera

FastAPI + HTMX + czysty CSS bez żadnych narzędzi budowania i z perfekcyjnymi wynikami Lighthouse. Prawdziwe dane produkc…

15 min czytania

Jak modele LLM widzą tekst: czego mój system i18n nauczył mnie o ekonomii tokenów

Tłumaczenie strony na 6 języków ujawniło: koreański kosztuje 2,8x więcej tokenów niż angielski przy identycznej treści. …

7 min czytania

Kody Hamminga: jak komputery wyłapują własne błędy

Kody Hamminga naprawiają błędy w pamięci RAM, kodach QR i danych z kosmosu. Interaktywna eksploracja samokorygującej się…

6 min czytania