Stranski vagon Headroom

← kazalo

Colibri lahko neobvezno prosi krajevni stranski vagon headroom-ai, da stisne

rezultate orodij, preden dosežejo proračun žetonov. Je ločen proces Python, ki

posluša na drugi vtičnici Unix, in je privzeto izklopljen.

→ crates/colibri-daemon/src/session.rs (klicatelj)

→ headroom-ai/ (izvedba stranskega vagona)

Odločitve

Kompresija, gnana s proračunom, ne vedno vklopljena

Stranski vagon se pokliče samo, ko seja tvega, da bo presegla svoj proračun

— ne ob vsakem rezultatu orodja. Sprožilec je prag v sledilcu stroškov: če

bi naslednji korak presegel proračun, najprej stisni, nato obreži. Brez

stranskega vagona je zasilni izhod preprosto krajšanje.

→ cost-model (stiskanje T14)

Unix vtičnica, ne HTTP

Komunikacija poteka prek druge vtičnice Unix (/var/run/headroom/headroom.sock).

Stranski vagon sprejme surovo besedilo, vrne povzetek. Brez avtentikacije —

zaupa meji vtičnice Unix in temu, da oba procesa tečeta kot isti uporabnik.

Enostaven protokol — besedilo noter, besedilo ven

Stranski vagon prejme eno vrstico JSON {"text": "..."}, vrne eno vrstico

JSON {"summary": "..."}. Brez sej, brez konteksta, brez zgodovine. Vsak

klic je brez stanja.

Ločen proces, ne knjižnica

Stranski vagon teče kot neodvisen proces Python, ne kot uvoz Rust. To ga

izolira od zrušitev (če stranski vagon pade, demon nadaljuje brez njega),

izolira njegov pomnilnik (model Python je lačen) in omogoča neodvisno

posodabljanje.

→ headroom-ai/src/server.py

Glej tudi