Unsicherheits-Indikator: Konfidenz der LLM-Bewertung #111

Closed
opened 2026-04-10 23:53:55 +02:00 by tobias · 0 comments
Owner

Wie sicher ist das LLM bei seiner Bewertung?

Granularitaet

  • Pro Antrag: Gesamt-Konfidenz (z.B. 'hoch' / 'mittel' / 'niedrig')
  • Pro Matrix-Feld: individuelle Unsicherheit (LLM bewertet Felder
    die es gut kennt sicherer als Nischen-Themen)
  • Pro Wahlprogramm-Score: wie gut passten die retrievten Chunks?
    (Similarity-Score als Proxy)

Ansaetze

  1. LLM im Prompt nach Konfidenz fragen (neues JSON-Feld)
  2. Similarity-Scores der Chunks als Proxy (schon vorhanden)
  3. Token-Log-Probabilities (modellabhaengig, bei Qwen nicht trivial)

UI

  • Konfidenz-Badge neben dem Score (z.B. farbiger Punkt)
  • Mouseover: Erklaerung warum hoch/niedrig
  • Bei niedrig: Hinweis 'Diese Bewertung ist unsicher'
Wie sicher ist das LLM bei seiner Bewertung? ## Granularitaet - **Pro Antrag**: Gesamt-Konfidenz (z.B. 'hoch' / 'mittel' / 'niedrig') - **Pro Matrix-Feld**: individuelle Unsicherheit (LLM bewertet Felder die es gut kennt sicherer als Nischen-Themen) - **Pro Wahlprogramm-Score**: wie gut passten die retrievten Chunks? (Similarity-Score als Proxy) ## Ansaetze 1. LLM im Prompt nach Konfidenz fragen (neues JSON-Feld) 2. Similarity-Scores der Chunks als Proxy (schon vorhanden) 3. Token-Log-Probabilities (modellabhaengig, bei Qwen nicht trivial) ## UI - Konfidenz-Badge neben dem Score (z.B. farbiger Punkt) - Mouseover: Erklaerung warum hoch/niedrig - Bei niedrig: Hinweis 'Diese Bewertung ist unsicher'
Sign in to join this conversation.
No description provided.