tobias/gwoe-antragspruefer
1
0
Fork 0
Code Issues 11 Pull Requests Actions Packages Projects Releases 1 Wiki Activity
395 Commits 4 Branches 3 Tags 421 MiB
238f99023c
Commit Graph

7 Commits

Author SHA1 Message Date
Dotty Dotter
18ea326e43 feat: Block 2.4 + 2.5 — historische Wahlprogramme zurück bis 2011 
92 neue PDFs + Geltungsdaten in PROGRAMME-Registry:

Block 2.4 — direkte 2019er-Lücken (21 Dokumente):
- BIW Bremen: Wahlprogramme 2015 + 2019 + 2023
- BUND WP19 (BTW 2017): CDU, CSU, SPD, GRÜNE, FDP, AfD, LINKE
- HH WP21 (BS 2015): SPD, CDU, GRÜNE, LINKE, AfD, FDP
- TH WP6 (LTW 2014): LINKE, CDU, SPD, GRÜNE, AfD, FDP

Block 2.5 — Vor-Vorperioden 2011-2014 (~71 Dokumente) für 15 BL:
BB WP6, BE WP17, BUND WP18, BW WP15, BY WP17, HB WP19, HE WP19,
LSA WP6, MV WP6, NI WP17, NRW WP16, RP WP16, SH WP18, SL WP15, SN WP6.
Inkl. PIRATEN, BVB/FREIE WÄHLER, FREIE WÄHLER, SSW.

Coverage: 287 Programme (286 indiziert auf dev — linke-sl-2012 ist
ein 2-Seiten-Kurzwahlprogramm und liefert keine Chunks).

Source-of-Truth-Pflege:
- wahlprogramm-links.yaml ergänzt (Quellen-URLs für alle PDFs)
- wahlprogramm-shas.lock.json ergänzt (SHA-256 für Integritätsprüfung)
- test_programme.py: drei Versionen NRW CDU statt zwei

Schließt #233 + #234.
 2026-05-08 14:10:52 +02:00
Dotty Dotter
f0f6a1438d feat: Block 2.3 — historische Wahlprogramme fuer 13 Bundeslaender + Bund 
Massen-Beschaffung von Vorperioden-Wahlprogrammen via 15 parallele
Background-Agents. Jeder BL bekommt seine direkt vorhergehende WP
indiziert, sodass wahlprogramm_zum_zeitpunkt() jetzt fuer Antrage aus
2016-2024 historisch korrekt das damalige Programm liefert (vorher None
oder das aktuelle).

Indiziert (~83 PDFs, 9.799 Chunks insgesamt fuer Block 2.3):

| BL | Vorperiode | Wahltag | gueltig bis | Parteien |
|----|-----------|---------|------------|----------|
| BB | WP7 | 2019-09-01 | 2024-09-22 | SPD, CDU, GRUENE, AfD, LINKE, BVB/FW |
| BE | WP18 | 2016-09-18 | 2021-09-26 | SPD, LINKE, GRUENE, CDU, AfD, FDP |
| BW | WP16 | 2016-03-13 | 2021-03-14 | GRUENE, CDU, AfD, SPD, FDP |
| BY | WP18 | 2018-10-14 | 2023-10-08 | CSU, GRUENE, FW, AfD, SPD, FDP |
| HB | WP20 | 2019-05-26 | 2023-05-14 | SPD, GRUENE, LINKE, CDU, FDP, AfD |
| HE | WP20 | 2018-10-28 | 2023-10-08 | CDU, GRUENE, SPD, AfD, FDP, LINKE |
| HH | WP22 | 2020-02-23 | 2025-03-02 | SPD, GRUENE, CDU, LINKE, AfD, FDP |
| LSA | WP7 | 2016-03-13 | 2021-06-06 | CDU, SPD, GRUENE, AfD, LINKE, FDP |
| MV | WP7 | 2016-09-04 | 2021-09-26 | SPD, CDU, AfD, LINKE, GRUENE |
| NI | WP18 | 2017-10-15 | 2022-10-09 | SPD, CDU, GRUENE, AfD, FDP |
| RP | WP17 | 2016-03-13 | 2021-03-14 | SPD, GRUENE, FDP, AfD, CDU |
| SH | WP19 | 2017-05-07 | 2022-05-08 | CDU, SPD, GRUENE, FDP, AfD, SSW |
| SL | WP16 | 2017-03-26 | 2022-03-27 | CDU, SPD, LINKE, AfD, GRUENE |
| SN | WP7 | 2019-09-01 | 2024-09-01 | CDU, GRUENE, SPD, AfD, LINKE |
| TH | WP7 | 2019-10-27 | 2024-09-01 | LINKE, SPD, GRUENE, CDU, AfD, FDP |

Live-Verifikation auf gwoe-antragspruefer-dev: 17/17 historische
Lookups korrekt (alle 16 BL + Bund). Tests: 117 grun.

PDF-Quellen: 60% direkt von Parteiwebseiten, 30% via Mirror
(abgeordnetenwatch.de, Friedrich-Ebert-Stiftung, Friedrich-Naumann-
Stiftung, KAS-Archiv), 10% via Wayback Machine fuer Programme der
Vorperioden, deren Original-URLs nicht mehr existieren.

Total Embeddings-Index: 195 Programme, 24 BL/Wahlperioden-Kombinationen
abgedeckt. Block 2 (historische Indexierung) damit zu rund 60%
abgeschlossen — pro BL 1 vorhergehende WP plus aktuell, vor 2016 ist
noch nichts indiziert.

Roadmap-Update: Block 2.3 abgeschlossen, naechster Schritt waere
Block 2.4 (zweite Vorperiode pro BL).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-08 11:27:43 +02:00
Dotty Dotter
e04eb6d340 feat: Block 2.2 — BUND WP20 (BTW 2021, Scholz-Ampel) historisch indiziert 
7 Wahlprogramme zur BTW 26.09.2021 — die Programme der Scholz-Ampel-Periode
(SPD+GRÜNE+FDP, vereidigt 08.12.2021, vorgezogenes Ende 25.03.2025):

- cdu-bund-2021 (gemeinsam CDU/CSU "Stabilitaet und Erneuerung", 140 S., 232 chunks)
- csu-bund-2021 (eigenstaendige CSU-Bayern-Fokus-Variante, 18 S., 24 chunks)
- spd-bund-2021 (Zukunftsprogramm "Aus Respekt vor Deiner Zukunft", 66 S., 105 chunks)
- gruene-bund-2021 (272 S. barrierefreie Fassung, 269 chunks)
- fdp-bund-2021 (Beschluss 14.-16.05.2021 Berlin, 68 S., 136 chunks)
- afd-bund-2021 ("Deutschland. Aber normal.", 210 S., 160 chunks)
- linke-bund-2021 ("Zeit zu handeln!", 168 S., 324 chunks)

Total: 1.250 Chunks.

Geltungszeitraum 2021-09-26 (Wahltag) bis 2025-02-23 (Wahltag BTW 2025,
exklusiv). Antraege aus dieser Periode bekommen jetzt automatisch das
korrekte Programm zurueckgeliefert via wahlprogramm_zum_zeitpunkt():

- 2024-01-01 BUND/SPD -> spd-bund-2021 (Scholz-Ampel)
- 2025-02-22 BUND/SPD -> spd-bund-2021 (noch alt)
- 2025-02-23 BUND/SPD -> spd-bund-2025 (BTW-Wahltag, Wechsel)

Tests: 117 gruen, plus neue test_bund_2024_returns_btw_2021 und
test_bund_grenze_btw_2021_btw_2025.

Block 2.2 abgeschlossen — Block 2 Roadmap (16 BL × 3 WPs) ist 2/16 BL.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-08 10:25:51 +02:00
Dotty Dotter
445fcc90ca feat: Block 2.1 — NRW WP17 historische Wahlprogramme indiziert (Pilot) 
5 Programme zur LTW NRW 14.05.2017 als historische Wahlprogramme im
Embeddings-Index — erster Datensatz für die zeitpunktige Bewertung
historischer Antraege:

- cdu-nrw-2017 (Laschet, 120 S., 172 chunks)
- spd-nrw-2017 (Kraft, 116 S., 169 chunks)
- gruene-nrw-2017 (131 S., 322 chunks)
- fdp-nrw-2017 (Lindner, 56 S., 92 chunks)
- afd-nrw-2017 (84 S., 78 chunks)

Geltungszeitraum 2017-05-14 (Wahltag WP17) bis 2022-05-15 (Wahltag
WP18, exklusiv). Eintraege liegen NUR in embeddings.PROGRAMME — die
WAHLPROGRAMME[NRW]-Struktur bleibt single-current (cdu-nrw-2022).

programme._migrate_from_legacy hat einen neuen Schritt 2b, der
typ=wahlprogramm-Eintraege aus embeddings.PROGRAMME mit explizitem
gueltig_ab/_bis als historische Wahlprogramme registriert. Damit
liefert wahlprogramm_zum_zeitpunkt() jetzt fuer NRW-Antraege aus dem
Zeitraum 2017-2022 das passende Programm.

Live-Verifikation auf gwoe-antragspruefer-dev:
- 2018-09-01 -> cdu-nrw-2017 (WP17)
- 2024-01-01 -> cdu-nrw-2022 (WP18)
- Grenze: 14.05.2022 -> WP17, 15.05.2022 -> WP18

Tests: 116 gruen, plus neue test_grenze_zwischen_wp17_und_wp18 und
angepasstes test_datum_vor_aktueller_wp_nrw_wp17.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-08 09:44:26 +02:00
Dotty Dotter
a80ac17218 feat: 6 Grundsatzprogramme + Landesgrundsatzprogramme indiziert 
Neu in embeddings.PROGRAMME (typ=parteiprogramm mit gueltig_ab):
- csu-grundsatz: CSU "Für ein neues Miteinander" (2023-05-06, 125 chunks)
  ersetzt das bisher indizierte CSU 2016-Programm logisch
- cdu-grundsatz-nrw: CDU NRW "Aufstieg, Sicherheit, Perspektive"
  (2015-06-13, Landesgrundsatzprogramm, 127 chunks)
- cdu-grundsatz-sn: CDU Sachsen "Zukunftsplan für Sachsen"
  (2023-11-20, Landesgrundsatzprogramm, 52 chunks)
- cdu-grundsatz-lsa: CDU Sachsen-Anhalt "Unsere Verantwortung. Unsere
  Zukunft." (2023-09-30, Landesgrundsatzprogramm, 74 chunks)
- ssw-grundsatz: SSW Rahmenprogramm (2016-04-16, Landesgrundsatzprogramm
  für Schleswig-Holstein, 65 chunks)
- fw-grundsatz: FREIE WAEHLER Bundesgrundsatzprogramm (Stand 09/2025;
  FW nicht im Bundestag, gilt fuer FW Bayern + FW RLP, 43 chunks)

programme.py:
- _migrate_from_legacy() unterscheidet jetzt grundsatzprogramm-bund
  (bundesland=None) und grundsatzprogramm-land (bundesland gesetzt).
- _ADDITIONAL_PROGRAMME-Slot vereinfacht — alle Daten leben in
  embeddings.PROGRAMME.

Auf gwoe-antragspruefer-dev indiziert (text-embedding-v4):
486 neue Chunks, 0 failed. wahlprogramm-shas.lock.json + -links.yaml
gepinnt mit allen 6 SHA-256-Hashes.

Test-Suite: 88 grün (test_legislaturen + test_wahlprogramme + test_embeddings).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-08 00:30:06 +02:00
Dotty Dotter
4e7f7dac25 chore: konsolidiere Working-Tree mit dev-Stand nach Nextcloud-Sync-Resolution 
Mehrtaegiger Sync-Stillstand hatte ueber 50 conflicted-copy-Dateien im
Working-Tree erzeugt. Die jeweils neuere Version wurde basierend auf
md5-Hash-Vergleich zum laufenden gwoe-antragspruefer-dev-Container
eingespielt.

Konsolidiert (38 modifiziert):
- analyzer.py, auswertungen.py, auth.py, config.py, database.py,
  drucksache_typen.py, embeddings.py, main.py, models.py, parlamente.py,
  ports/llm_bewerter.py, presse_generator.py, redline_utils.py, report.py,
  validators.py, wahlprogramm_fetch.py, wahlprogramm-links.yaml,
  wahlprogramm-shas.lock.json
- v2-Templates: base, components/{icon, matrix_mini, queue_widget,
  result_row}, screens/{admin_queue, admin_stand, aktuelle-themen,
  antrag_detail, auswertungen, cluster, landtag_suche, merkliste,
  methodik, tags}, static/v2/v2.css
- Tests: test_embeddings (Strict-Mode-Drop in reconstruct_zitate),
  test_endpoints_smoke, test_presse_generator, test_report,
  test_wahlprogramme (mit TestRegierungsbildung-Block, +120 LOC)
- docker-compose.dev.yml, docs/adr/index.md, docs/reference/api.md, mkdocs.yml

Neuzugaenge:
- app/marker.py, app/pm_render.py — Konsistenz-Marker, PM-Render-Adapter
- app/templates/v2/screens/scorecard{,_portrait,_werkstatt}.html — Cloud-Design-Scorecard
- app/static/v3/, app/templates/v3/ — v3-Layout-Hierarchie
- docs/adr/0010-stimmverhalten-gwoe-aggregat.md
- docs/adr/0011-aktuelle-themen-pm-generator.md
- docs/adr/0012-debug-auth-token-bypass.md
- scripts/{auto-rate-orphans, pm-quality-audit, pm-sample-bundle, rotate-debug-token}.sh
- tests/e2e/test_smoke_browser.py, tests/test_{auto_rate_runs, icons,
  marker, pm_render, presse_generator_style, thread_splitter,
  v2_pdf_consistency}.py

Plus inhaltlich uebernommen aus dem Conflict-Stand:
- embeddings.py: fw-by-2023.partei korrigiert von "FW" zu "FREIE WAEHLER"
  (war Mismatch zu wahlprogramme.py)
- embeddings.py: detailliertere Naming der BTW-2025-Wahlprogramme

Test-Suite-Stand: 1209 passed, 73 skipped (4 pre-existing failures in
test_presse_generator_style.py + 1 collection error in
integration/test_citations_substring.py — beide nicht durch dieses
Konsolidierungs-Commit verursacht).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-08 00:19:41 +02:00
Dotty Dotter
565849bd84 feat(#139,#129,#138,#141): v2-Frontend (ECOnGOOD-CD), Login-Modal, Auto-DL, OG-Cards 
v2-Frontend (#139, ECOnGOOD CD Manual Juni 2024):
- app/static/v2/: tokens.css, fonts.css, v2.css, Nunito-Sans woff2, Phosphor-Icons (21 SVGs)
- app/templates/v2/: base.html + 11 Screens + 8 Component-Macros
- AppShell mit Sidebar (Lesen/Pruefen/Daten/Admin), v2-Detail mit allen Features
  (ScoreHero, MatrixMini, QuoteCard, Redline, Fraktions-Scores)
- v2 ist jetzt Default unter / — classic unter /classic
- Login-Modal in v2-Topbar mit Tabs Anmelden/Registrieren (#129)
- Phosphor-Icons in Sidebar + Topbar mit dynamischem Theme-Toggle
- Keyboard-Shortcuts (j/k/Enter/Esc/?/path), Landtag-Suche, Antrag-Historie,
  Sort-Dropdown, Matrix-Feld-Info-Modal, Bookmarks/Comments/Voting/Share/Re-Analyze

Backend-Erweiterungen:
- main.py: ~30 neue Routes (/v2/*, /antrag/{ds}, /api/auth/{login,refresh,logout},
  /api/me/merkliste/*, /api/admin/*, /v2/admin/*, OG-Cards, etc.)
- og_card.py + og_template: Open-Graph-Bilder via Playwright (#141)
- wahlprogramm_fetch.py + wahlprogramm-links.yaml: SHA-Gate Auto-DL (#138)
- auswertungen.py: BL-Filter + get_wahlperioden Helper (#137)
- auth.py: Direct-Access-Grant + Refresh-Token-Cookie

Classic-Updates:
- Header-DRY via _header.html, Auswertungen redirected, Batch-Inline raus

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-04-25 20:55:57 +02:00