Unsicherheits-Indikator: Konfidenz der LLM-Bewertung #111

New Issue

tobias · 2026-04-10T23:53:55+02:00

tobias commented

2026-04-10 23:53:55 +02:00

Wie sicher ist das LLM bei seiner Bewertung?

Granularitaet

Pro Antrag: Gesamt-Konfidenz (z.B. 'hoch' / 'mittel' / 'niedrig')
Pro Matrix-Feld: individuelle Unsicherheit (LLM bewertet Felder
die es gut kennt sicherer als Nischen-Themen)
Pro Wahlprogramm-Score: wie gut passten die retrievten Chunks?
(Similarity-Score als Proxy)

Ansaetze

LLM im Prompt nach Konfidenz fragen (neues JSON-Feld)
Similarity-Scores der Chunks als Proxy (schon vorhanden)
Token-Log-Probabilities (modellabhaengig, bei Qwen nicht trivial)

UI

Konfidenz-Badge neben dem Score (z.B. farbiger Punkt)
Mouseover: Erklaerung warum hoch/niedrig
Bei niedrig: Hinweis 'Diese Bewertung ist unsicher'

Wie sicher ist das LLM bei seiner Bewertung? ## Granularitaet - **Pro Antrag**: Gesamt-Konfidenz (z.B. 'hoch' / 'mittel' / 'niedrig') - **Pro Matrix-Feld**: individuelle Unsicherheit (LLM bewertet Felder die es gut kennt sicherer als Nischen-Themen) - **Pro Wahlprogramm-Score**: wie gut passten die retrievten Chunks? (Similarity-Score als Proxy) ## Ansaetze 1. LLM im Prompt nach Konfidenz fragen (neues JSON-Feld) 2. Similarity-Scores der Chunks als Proxy (schon vorhanden) 3. Token-Log-Probabilities (modellabhaengig, bei Qwen nicht trivial) ## UI - Konfidenz-Badge neben dem Score (z.B. farbiger Punkt) - Mouseover: Erklaerung warum hoch/niedrig - Bei niedrig: Hinweis 'Diese Bewertung ist unsicher'

tobias closed this issue

2026-04-11 00:45:04 +02:00

Sign in to join this conversation.