Skip to content

Trace-/DB-Buchführung: Insert-Lücke bei deaktiviertem Inline-Eval, Test-Traces in runs/, total_tokens-Diskrepanz #198

Description

@TillQuandel

Audit-Funde 2026-07-11 (Token-Fläche, alle gegen Rohdaten verifiziert):

  1. Insert-Lücke (strukturell): orchestrator.py (~2490): ist inline_eval_enabled() False (Profil fast/balanced oder ATOMIC_AGENT_INLINE_EVAL=0), returnt die Funktion VOR dem pipeline_runs-Insert — der Lauf hat aber einen vollständigen Trace geschrieben. Beleg: 20260705-185829.jsonl, 237k Tokens über 5 Agenten, keine DB-Zeile. Solche Läufe sind keiner Version zuordenbar und verschwinden aus allen versionsgefilterten Ansichten. Fix: Insert vom Inline-Eval entkoppeln.
  2. Test-Verschmutzung: pytest nutzt dieselbe _trace()-Infrastruktur und schreibt in das produktive generative/.cache/runs/ (Dateien mit agent="test", Token 1–3, Muster <ts>-p<PID>-c<N>.jsonl). Fix: Trace-Pfad in Tests auf tmp umbiegen (Fixture) oder Test-Marker filtern.
  3. Folge — total_tokens-Diskrepanz: KPI „Gesamt-Tokens" (11.430.975) zählt 490 verwaiste Traces mit (2.433.376 Tokens, +21,3 % vs. Summe des danebenliegenden Versions-Charts 8.997.599). Nach Fix 1+2 entscheiden: Lifetime-Summe nur DB-gejoint oder Orphans explizit als „nicht zugeordnet" ausweisen.
  4. Kontext: 57 DB-Zeilen ohne Trace sind legitim (foss/extractive ruft keine LLMs). Dauer-Kacheln nutzen Summe, Versions-Chart Median — beide korrekt, aber unbeschriftet nebeneinander (Mini-Punkt, ggf. mit Eval-Dashboard: Erklär-Tooltips für Fachbegriffe auf KPI-Kacheln und Chart-Überschriften #187-Tooltips erledigen).

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions