tobias/gwoe-antragspruefer
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 1 Wiki Activity

Antrag-Clustering: Netzwerk-Graph aehnlicher Antraege (Embedding-Naehe) #105

New Issue
Closed
opened 2026-04-10 23:52:43 +02:00 by tobias · 3 comments
tobias commented 2026-04-10 23:52:43 +02:00
Owner
Copy Link

Aehnliche Antraege automatisch gruppieren via Embedding-Cosinus-Naehe.

Visualisierung

  • Netzwerk-Graph mit floatenden Antrag-Nodes
  • Elastische Verbindungen zwischen aehnlichen Antraegen
  • An der Kante: das verbindende Merkmal (z.B. 'Bildungspolitik', 'Klimaschutz')
  • Cluster-Beschreibungen als Labels
  • Inspiriert von Obsidian Graph View / Force-Directed Layout

Technik

  • Embedding-Vektoren der Antraege sind bereits ueber die Analyse vorhanden
  • Cosinus-Aehnlichkeit paarweise berechnen
  • d3.js force-directed graph oder vis.js
  • Klick auf Node oeffnet Assessment-Detail

Scope

Mittlerer Aufwand. Zuerst Backend (Aehnlichkeits-API), dann Frontend (Graph).

Aehnliche Antraege automatisch gruppieren via Embedding-Cosinus-Naehe. ## Visualisierung - Netzwerk-Graph mit floatenden Antrag-Nodes - Elastische Verbindungen zwischen aehnlichen Antraegen - An der Kante: das verbindende Merkmal (z.B. 'Bildungspolitik', 'Klimaschutz') - Cluster-Beschreibungen als Labels - Inspiriert von Obsidian Graph View / Force-Directed Layout ## Technik - Embedding-Vektoren der Antraege sind bereits ueber die Analyse vorhanden - Cosinus-Aehnlichkeit paarweise berechnen - d3.js force-directed graph oder vis.js - Klick auf Node oeffnet Assessment-Detail ## Scope Mittlerer Aufwand. Zuerst Backend (Aehnlichkeits-API), dann Frontend (Graph).
tobias commented 2026-04-11 20:52:26 +02:00
Author
Owner
Copy Link

❓ Offene Frage (Claude-Loop)

Für Clustering brauche ich eine Embedding-Strategie. Zwei Optionen:

A) TF-IDF auf Titel+Themen+Fraktion — keine zusätzlichen API-Calls, läuft lokal, ~80% Qualität. MVP in 1–2h.

B) Echte Embeddings — neue Spalte assessments.summary_embedding (DashScope text-embedding-v3, ~0.0001€/Antrag, bei 1k Anträgen also ~0.10€ einmalig, bei jedem neuen Antrag ein zusätzlicher Call). Bessere semantische Nähe, ermöglicht auch #108.

Frage: A (MVP) oder B (gleich richtig)? Budget für B ok?

Antworte hier als Kommentar — ich lese bei jedem Loop-Tick neue Kommentare.

❓ **Offene Frage (Claude-Loop)** Für Clustering brauche ich eine Embedding-Strategie. Zwei Optionen: **A) TF-IDF auf Titel+Themen+Fraktion** — keine zusätzlichen API-Calls, läuft lokal, ~80% Qualität. MVP in 1–2h. **B) Echte Embeddings** — neue Spalte `assessments.summary_embedding` (DashScope text-embedding-v3, ~0.0001€/Antrag, bei 1k Anträgen also ~0.10€ einmalig, bei jedem neuen Antrag ein zusätzlicher Call). Bessere semantische Nähe, ermöglicht auch #108. **Frage:** A (MVP) oder B (gleich richtig)? Budget für B ok? Antworte hier als Kommentar — ich lese bei jedem Loop-Tick neue Kommentare.
tobias commented 2026-04-11 21:14:49 +02:00
Author
Owner
Copy Link

Embedding-Strategie entschieden: v4 für alles (Diskussion 2026-04-11). Migration wird in Issue #123 umgesetzt. Dieses Issue ist blockiert bis #123 gemerged.

Arbeitsschritte (nach #123):

  • Clustering-Modul app/clustering.py: sklearn AgglomerativeClustering über assessments.summary_embedding
  • Hierarchie: Cluster > Anträge, bei n>30 Untercluster (laut Wiki-Entscheidung)
  • API-Endpoint GET /api/clusters?wahlperiode=...&bundesland=...
  • UI: Netzwerk-Graph (d3.js oder vis.js), Cluster als Blasen, Anträge als Knoten, Kanten nach Cosine-Distance unter Schwellwert
  • Zoombar (Cluster → Anträge → Details)
  • Farbkodierung nach dominanter Fraktion im Cluster
Embedding-Strategie entschieden: **v4 für alles** (Diskussion 2026-04-11). Migration wird in Issue #123 umgesetzt. Dieses Issue ist blockiert bis #123 gemerged. **Arbeitsschritte (nach #123):** - [ ] Clustering-Modul `app/clustering.py`: sklearn AgglomerativeClustering über `assessments.summary_embedding` - [ ] Hierarchie: Cluster > Anträge, bei n>30 Untercluster (laut Wiki-Entscheidung) - [ ] API-Endpoint `GET /api/clusters?wahlperiode=...&bundesland=...` - [ ] UI: Netzwerk-Graph (d3.js oder vis.js), Cluster als Blasen, Anträge als Knoten, Kanten nach Cosine-Distance unter Schwellwert - [ ] Zoombar (Cluster → Anträge → Details) - [ ] Farbkodierung nach dominanter Fraktion im Cluster
tobias commented 2026-04-11 22:47:58 +02:00
Author
Owner
Copy Link

Live 2026-04-11 ✅

Clustering-Modul app/clustering.py:

  • Pure Python (kein sklearn/numpy Dep)
  • Union-Find über Cosine-Similarity-Kanten
  • Hierarchisches Clustering: Haupt-Threshold (default 0.55) + Subcluster-Threshold (0.70) bei Clustern > 30 Items
  • Empirisch kalibriert an Prod-Daten: 0.55 liefert 5 sinnvolle Cluster aus 57 Anträgen (Förderschulen, Klimaschutz, Schule/Lehrer, Pflege, Kita)

API:

  • GET /api/clusters?bundesland=...&threshold=...
  • Response: {meta, clusters: [{size, label, dominant_fraktion, avg_gwoe_score, drucksachen, subclusters}], singletons: []}

UI:

  • Neuer Mode-Button 🎯 Cluster im Haupt-Menü
  • Bundesland-Filter + Threshold-Slider (0.40-0.80)
  • Kollapsibles Cluster-Layout (Header → Liste der Anträge)
  • Klick auf Antrag → Sprung ins browse-Mode-Detail-Panel
  • Singletons separat ausklappbar

Test in Prod: https://gwoe.toppyr.de → "🎯 Cluster" klicken. 5 Cluster bei Default-Schwelle, Threshold-Slider live adjustable.

Schließe.

## Live 2026-04-11 ✅ **Clustering-Modul `app/clustering.py`:** - Pure Python (kein sklearn/numpy Dep) - Union-Find über Cosine-Similarity-Kanten - Hierarchisches Clustering: Haupt-Threshold (default 0.55) + Subcluster-Threshold (0.70) bei Clustern > 30 Items - Empirisch kalibriert an Prod-Daten: 0.55 liefert 5 sinnvolle Cluster aus 57 Anträgen (Förderschulen, Klimaschutz, Schule/Lehrer, Pflege, Kita) **API:** - `GET /api/clusters?bundesland=...&threshold=...` - Response: `{meta, clusters: [{size, label, dominant_fraktion, avg_gwoe_score, drucksachen, subclusters}], singletons: []}` **UI:** - Neuer Mode-Button `🎯 Cluster` im Haupt-Menü - Bundesland-Filter + Threshold-Slider (0.40-0.80) - Kollapsibles Cluster-Layout (Header → Liste der Anträge) - Klick auf Antrag → Sprung ins browse-Mode-Detail-Panel - Singletons separat ausklappbar **Test in Prod:** https://gwoe.toppyr.de → "🎯 Cluster" klicken. 5 Cluster bei Default-Schwelle, Threshold-Slider live adjustable. Schließe.
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
feedback

   
phase-0

Voraussetzung — sofort, blockiert späteres

  
phase-1

Schnelle Adapter-Wiederverwendung — Tag 1

  
phase-2

StarWeb-Familie + Eigenständige in Tag 2-3

  
phase-3

Eigenständige Reverse-Engineerings — Wochen-Brocken

  
roadmap

Übergreifendes Tracking-Issue

  
scraper

Adapter-Implementierung für ein Bundesland

  
todo

TODO aus CLAUDE.md

  
ui-aktivierung

Bundesland im Frontend aktiv schalten + Wahlprogramme indexieren

  
ui-frontend

Frontend / Templates

No Label
feedback
phase-0
phase-1
phase-2
phase-3
roadmap
scraper
todo
ui-aktivierung
ui-frontend
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: tobias/gwoe-antragspruefer#105
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?