gwoe-antragspruefer/tests/test_wahlprogramme.py
Dotty Dotter 4e7f7dac25 chore: konsolidiere Working-Tree mit dev-Stand nach Nextcloud-Sync-Resolution
Mehrtaegiger Sync-Stillstand hatte ueber 50 conflicted-copy-Dateien im
Working-Tree erzeugt. Die jeweils neuere Version wurde basierend auf
md5-Hash-Vergleich zum laufenden gwoe-antragspruefer-dev-Container
eingespielt.

Konsolidiert (38 modifiziert):
- analyzer.py, auswertungen.py, auth.py, config.py, database.py,
  drucksache_typen.py, embeddings.py, main.py, models.py, parlamente.py,
  ports/llm_bewerter.py, presse_generator.py, redline_utils.py, report.py,
  validators.py, wahlprogramm_fetch.py, wahlprogramm-links.yaml,
  wahlprogramm-shas.lock.json
- v2-Templates: base, components/{icon, matrix_mini, queue_widget,
  result_row}, screens/{admin_queue, admin_stand, aktuelle-themen,
  antrag_detail, auswertungen, cluster, landtag_suche, merkliste,
  methodik, tags}, static/v2/v2.css
- Tests: test_embeddings (Strict-Mode-Drop in reconstruct_zitate),
  test_endpoints_smoke, test_presse_generator, test_report,
  test_wahlprogramme (mit TestRegierungsbildung-Block, +120 LOC)
- docker-compose.dev.yml, docs/adr/index.md, docs/reference/api.md, mkdocs.yml

Neuzugaenge:
- app/marker.py, app/pm_render.py — Konsistenz-Marker, PM-Render-Adapter
- app/templates/v2/screens/scorecard{,_portrait,_werkstatt}.html — Cloud-Design-Scorecard
- app/static/v3/, app/templates/v3/ — v3-Layout-Hierarchie
- docs/adr/0010-stimmverhalten-gwoe-aggregat.md
- docs/adr/0011-aktuelle-themen-pm-generator.md
- docs/adr/0012-debug-auth-token-bypass.md
- scripts/{auto-rate-orphans, pm-quality-audit, pm-sample-bundle, rotate-debug-token}.sh
- tests/e2e/test_smoke_browser.py, tests/test_{auto_rate_runs, icons,
  marker, pm_render, presse_generator_style, thread_splitter,
  v2_pdf_consistency}.py

Plus inhaltlich uebernommen aus dem Conflict-Stand:
- embeddings.py: fw-by-2023.partei korrigiert von "FW" zu "FREIE WAEHLER"
  (war Mismatch zu wahlprogramme.py)
- embeddings.py: detailliertere Naming der BTW-2025-Wahlprogramme

Test-Suite-Stand: 1209 passed, 73 skipped (4 pre-existing failures in
test_presse_generator_style.py + 1 collection error in
integration/test_citations_substring.py — beide nicht durch dieses
Konsolidierungs-Commit verursacht).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-08 00:19:41 +02:00

317 lines
15 KiB
Python

"""Tests for wahlprogramme.py — registry consistency + file existence."""
import re
import pytest
from app.wahlprogramme import (
WAHLPROGRAMME,
REFERENZEN_PATH,
get_wahlprogramm,
parteien_mit_wahlprogramm,
regierung_aktuell,
regierungsbildung_for,
regierungsende_for,
)
# ─────────────────────────────────────────────────────────────────────────────
# Registry consistency
# ─────────────────────────────────────────────────────────────────────────────
class TestRegistryStructure:
def test_active_bundeslaender_present(self):
for code in ["NRW", "LSA", "MV", "BE"]:
assert code in WAHLPROGRAMME, f"missing wahlprogramme entry for {code}"
def test_each_entry_has_required_keys(self):
required = {"file", "titel", "partei", "jahr", "seiten"}
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
missing = required - set(info.keys())
assert not missing, f"{bl}/{partei} missing keys: {missing}"
def test_jahr_is_integer(self):
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
assert isinstance(info["jahr"], int), f"{bl}/{partei} jahr not int"
def test_seiten_is_positive_integer(self):
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
assert isinstance(info["seiten"], int)
assert info["seiten"] > 0
def test_file_extension_is_pdf(self):
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
assert info["file"].endswith(".pdf")
# ─────────────────────────────────────────────────────────────────────────────
# Regierungsbildungs-Felder — Konsistenz pro Bundesland
# ─────────────────────────────────────────────────────────────────────────────
class TestRegierungsbildung:
"""Pro Bundesland gehören alle Wahlprogramm-Einträge zur gleichen
Legislatur — d.h. dasselbe regierungsbildung-Datum. Ausnahme: BUND, wo
Grundsatzprogramme stehen, die regierungsbildung=None tragen."""
_ISO_DATE = re.compile(r"^\d{4}-\d{2}-\d{2}$")
def test_every_entry_has_regierungs_fields(self):
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
assert "regierungsbildung" in info, f"{bl}/{partei}: regierungsbildung fehlt"
assert "regierungsende" in info, f"{bl}/{partei}: regierungsende fehlt"
def test_regierungsbildung_iso_or_none(self):
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
rb = info.get("regierungsbildung")
if rb is not None:
assert isinstance(rb, str) and self._ISO_DATE.match(rb), \
f"{bl}/{partei}: regierungsbildung kein ISO-Datum: {rb!r}"
def test_regierungsende_iso_or_none(self):
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
re_ = info.get("regierungsende")
if re_ is not None:
assert isinstance(re_, str) and self._ISO_DATE.match(re_), \
f"{bl}/{partei}: regierungsende kein ISO-Datum: {re_!r}"
def test_alle_parteien_eines_bl_haben_gleiches_datum(self):
"""Alle Wahlprogramm-Einträge eines Bundeslands gehören zur selben
Regierung und müssen daher dasselbe Bildungs-/Endedatum tragen."""
for bl, parteien in WAHLPROGRAMME.items():
bildung = {info.get("regierungsbildung") for info in parteien.values()}
ende = {info.get("regierungsende") for info in parteien.values()}
assert len(bildung) == 1, \
f"{bl}: regierungsbildung divergent: {bildung}"
assert len(ende) == 1, \
f"{bl}: regierungsende divergent: {ende}"
def test_grundsatzprogramme_haben_keine_regierung(self):
"""Grundsatzprogramme (ist_grundsatz=True) tragen keine Regierungs-
bildung — sie sind zeitlos."""
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
if info.get("ist_grundsatz"):
assert info.get("regierungsbildung") is None, \
f"{bl}/{partei} ist Grundsatzprogramm, sollte regierungsbildung=None haben"
class TestRegierungsHelper:
def test_regierungsbildung_for_known_bl(self):
assert regierungsbildung_for("NRW") == "2022-06-29"
assert regierungsbildung_for("HH") == "2025-05-07"
def test_regierungsbildung_for_bund_btw2025(self):
# BUND tragt nun die BTW-2025-Wahlprogramme; Kabinett Merz I
# vereidigt 06.05.2025. Grundsatzprogramme bleiben nur in
# embeddings.PROGRAMME als zweite Referenz.
assert regierungsbildung_for("BUND") == "2025-05-06"
def test_regierungsbildung_for_unknown_bl(self):
assert regierungsbildung_for("XX") is None
def test_regierung_aktuell_true_for_active_bl(self):
assert regierung_aktuell("NRW") is True
assert regierung_aktuell("BB") is True
assert regierung_aktuell("BUND") is True
def test_regierungsende_for_active_is_none(self):
assert regierungsende_for("NRW") is None
# ─────────────────────────────────────────────────────────────────────────────
# File existence — every registered file must exist on disk
# ─────────────────────────────────────────────────────────────────────────────
class TestFileExistence:
"""Catches typos in the file field that would silently break embedding
indexing or PDF download links."""
def test_every_registered_pdf_exists(self):
missing = []
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
path = REFERENZEN_PATH / info["file"]
if not path.exists():
missing.append(f"{bl}/{partei}: {info['file']}")
assert not missing, "missing PDFs:\n " + "\n ".join(missing)
# ─────────────────────────────────────────────────────────────────────────────
# Lookup helpers
# ─────────────────────────────────────────────────────────────────────────────
class TestGetWahlprogramm:
def test_returns_dict_for_known_combination(self):
info = get_wahlprogramm("MV", "CDU")
assert info is not None
assert info["partei"] == "CDU Mecklenburg-Vorpommern"
def test_returns_none_for_unknown_bundesland(self):
assert get_wahlprogramm("XX", "CDU") is None
def test_returns_none_for_unknown_partei(self):
assert get_wahlprogramm("NRW", "BSW") is None
class TestParteienMitWahlprogramm:
def test_nrw_has_five_parteien(self):
parteien = parteien_mit_wahlprogramm("NRW")
assert len(parteien) == 5
assert set(parteien) == {"CDU", "SPD", "GRÜNE", "FDP", "AfD"}
def test_mv_has_six_parteien(self):
parteien = parteien_mit_wahlprogramm("MV")
assert set(parteien) == {"CDU", "SPD", "GRÜNE", "FDP", "AfD", "LINKE"}
def test_be_has_five_parteien(self):
parteien = parteien_mit_wahlprogramm("BE")
assert set(parteien) == {"CDU", "SPD", "GRÜNE", "LINKE", "AfD"}
def test_bund_has_eight_parteien(self):
# BTW 2025: CDU, CSU, SPD, GRÜNE, FDP, AfD, LINKE, BSW.
parteien = parteien_mit_wahlprogramm("BUND")
assert set(parteien) == {"CDU", "CSU", "SPD", "GRÜNE", "FDP", "AfD", "LINKE", "BSW"}
def test_by_has_five_parteien(self):
parteien = parteien_mit_wahlprogramm("BY")
assert set(parteien) == {"CSU", "FREIE WÄHLER", "GRÜNE", "SPD", "AfD"}
def test_hb_has_four_parteien(self):
# AfD war wegen Listenstreit nicht zur Bürgerschaftswahl 2023 zugelassen.
parteien = parteien_mit_wahlprogramm("HB")
assert set(parteien) == {"SPD", "CDU", "GRÜNE", "LINKE"}
def test_he_has_five_parteien(self):
parteien = parteien_mit_wahlprogramm("HE")
assert set(parteien) == {"CDU", "SPD", "GRÜNE", "FDP", "AfD"}
def test_ni_has_four_parteien(self):
parteien = parteien_mit_wahlprogramm("NI")
assert set(parteien) == {"SPD", "CDU", "GRÜNE", "AfD"}
def test_sl_has_three_parteien(self):
parteien = parteien_mit_wahlprogramm("SL")
assert set(parteien) == {"SPD", "CDU", "AfD"}
def test_sn_has_six_parteien(self):
parteien = parteien_mit_wahlprogramm("SN")
assert set(parteien) == {"CDU", "SPD", "AfD", "BSW", "LINKE", "GRÜNE"}
def test_unknown_bundesland_empty_list(self):
assert parteien_mit_wahlprogramm("XX") == []
# ─────────────────────────────────────────────────────────────────────────────
# embeddings.PROGRAMME consistency cross-check
# ─────────────────────────────────────────────────────────────────────────────
class TestEmbeddingsRegistryConsistency:
"""Every entry in WAHLPROGRAMME must also exist in embeddings.PROGRAMME
so the indexer can find it. Mismatch is the kind of bug a manual smoke
misses but would show up during indexing."""
def test_every_wahlprogramm_has_embeddings_entry(self):
from app.embeddings import PROGRAMME
# Match WAHLPROGRAMME-Eintrag → PROGRAMME-Eintrag entweder ueber den
# file-stem (Standard: "cdu-mv-2021" matcht "cdu-mv-2021") ODER ueber
# den `pdf`-Wert in PROGRAMME (BUND-Grundsatzprogramme nutzen kuerzere
# PROGRAMME-Keys wie "cdu-grundsatz" obwohl die Datei
# "cdu-grundsatzprogramm.pdf" heisst).
pdf_to_pid = {p.get("pdf"): pid for pid, p in PROGRAMME.items() if p.get("pdf")}
missing = []
for bl, parteien in WAHLPROGRAMME.items():
for partei, info in parteien.items():
file_stem = info["file"].rsplit(".", 1)[0]
if file_stem in PROGRAMME:
continue
if info["file"] in pdf_to_pid:
continue
missing.append(f"{bl}/{partei}{info['file']}")
assert not missing, (
"WAHLPROGRAMME entries missing in embeddings.PROGRAMME:\n "
+ "\n ".join(missing)
)
# ─────────────────────────────────────────────────────────────────────────────
# load_wahlprogramm_text — Fallback-Pfade (#134 Coverage-Backfill)
# ─────────────────────────────────────────────────────────────────────────────
class TestLoadWahlprogrammText:
def test_returns_empty_for_unknown_combination(self):
from app.wahlprogramme import load_wahlprogramm_text
assert load_wahlprogramm_text("XX", "XYZ") == {}
def test_paged_textfile_used_when_present(self, tmp_path, monkeypatch):
"""Wenn die paged-Textdatei existiert, wird sie genutzt.
Format: '--- PAGE N ---'-Marker pro Seitenanfang."""
from app import wahlprogramme as wp_mod
# Mock get_wahlprogramm -> bekannte Datei
monkeypatch.setattr(wp_mod, "get_wahlprogramm",
lambda bl, p: {"file": "test.pdf"})
paged = tmp_path / "test-paged.txt"
paged.write_text("--- PAGE 1 ---\nseite eins\n--- PAGE 2 ---\nseite zwei")
monkeypatch.setattr(wp_mod, "KONTEXT_PATH", tmp_path)
result = wp_mod.load_wahlprogramm_text("X", "Y")
assert 2 in result
assert "seite zwei" in result[2]
def test_falls_back_to_normal_textfile(self, tmp_path, monkeypatch):
"""Ohne paged-Datei wird auf normale .txt-Datei zurueckgefallen,
komplett unter Seite 1."""
from app import wahlprogramme as wp_mod
monkeypatch.setattr(wp_mod, "get_wahlprogramm",
lambda bl, p: {"file": "test.pdf"})
normal = tmp_path / "test.txt"
normal.write_text("flacher text ohne seitenmarker")
monkeypatch.setattr(wp_mod, "KONTEXT_PATH", tmp_path)
result = wp_mod.load_wahlprogramm_text("X", "Y")
assert result == {1: "flacher text ohne seitenmarker"}
def test_returns_empty_when_no_textfile(self, tmp_path, monkeypatch):
"""Weder paged- noch normale Textdatei → leeres Dict."""
from app import wahlprogramme as wp_mod
monkeypatch.setattr(wp_mod, "get_wahlprogramm",
lambda bl, p: {"file": "test.pdf"})
# tmp_path ist leer
monkeypatch.setattr(wp_mod, "KONTEXT_PATH", tmp_path)
assert wp_mod.load_wahlprogramm_text("X", "Y") == {}
class TestSearchWahlprogramm:
def test_returns_empty_for_unknown_combination(self):
from app.wahlprogramme import search_wahlprogramm
assert search_wahlprogramm("XX", "XYZ", ["test"]) == []
def test_returns_empty_when_text_missing(self, monkeypatch):
"""Bekannte Partei + Bundesland aber keine Textdatei → leer."""
from app import wahlprogramme as wp_mod
monkeypatch.setattr(wp_mod, "get_wahlprogramm",
lambda bl, p: {"file": "missing.pdf"})
monkeypatch.setattr(wp_mod, "load_wahlprogramm_text",
lambda bl, p: {})
assert wp_mod.search_wahlprogramm("X", "Y", ["test"]) == []
class TestFindRelevantQuotes:
def test_unknown_bundesland_raises(self):
from app.wahlprogramme import find_relevant_quotes
with pytest.raises(ValueError, match="Unbekanntes Bundesland"):
find_relevant_quotes("Antrag-Text", ["CDU"], bundesland="ZZ")
class TestFormatQuoteForPrompt:
def test_empty_quotes_returns_empty_string(self):
from app.wahlprogramme import format_quote_for_prompt
assert format_quote_for_prompt({}) == ""