gwoe-antragspruefer

tobias/gwoe-antragspruefer

Fork 0

Commit Graph

Author	SHA1	Message	Date
Dotty Dotter	22a2b63c35	feat(#148 ): BUND-Parser produktiv — Bundestags-XML-Plenarprotokolle Erster vollwertiger Plenarprotokoll-Parser nach NRW. Quelle: https://dserver.bundestag.de/btp/{wp}/{wp}{n:03}.xml Anchor-Sprache (verifiziert WP20 Sitzungen 30 + 100): 'Die Beschlussempfehlung ist mit den Stimmen der Koalitionsfraktionen gegen die Stimmen der CDU/CSU-Fraktion bei Enthaltung der AfD-Fraktion angenommen.' Pattern: - Subjekt: Beschlussempfehlung \| Ueberweisungsvorschlag \| Antrag \| Gesetzentwurf - Vote-Block: 'mit den Stimmen X / gegen die Stimmen Y / bei Enthaltung Z' - Ergebnis: 'angenommen' oder 'abgelehnt' - Drucksache rueckwaerts vom Anchor (1500 chars Window) - Kind 'ueberweisung' invertiert ergebnis zu 'ueberwiesen' Fraktions-Mapping (WP20 = Ampel): - 'Koalitionsfraktionen' → SPD + GRÜNE + FDP - 'Oppositionsfraktionen' → CDU/CSU + AfD + LINKE - 'CDU/CSU-Fraktion', 'Fraktion Bündnis 90/Die Grünen', etc. WP21 (ab 2025) braucht eigenes Mapping-Update. 26 Tests in test_protokoll_parsers_bund.py (Vote-Block-Parsing, Anchor- Erkennung, Drucksachen-Lookup, End-to-End mit Mock-XML). Cron + Ingest-CLI: - PROTO_TARGETS-Format erweitert um PROTOKOLL_ID_PREFIX und {n3}- Placeholder fuer 3-stellig zero-gepaddetes BT-Schema (BTP20-N) - ingest_votes URL-Suffix dynamisch (PDF vs XML) statt hardcoded .pdf - Eintrag in PROTOKOLL_PARSERS (NRW + BUND) - Stub-Test angepasst: BUND raus aus STUB_BL_CODES 889 Tests gruen (787 → 889, +102 fuer Phase-2 Stubs+Tests+BUND).	2026-04-28 23:21:39 +02:00
Dotty Dotter	64a317f45f	fix(#106 ): auto-ingest-protocols nutzt python statt sqlite3-CLI Container hat kein sqlite3-CLI. docker exec sqlite3 schlug 'OCI runtime exec failed' und last_n wurde zur Fehlermeldung statt einer Zahl, woraufhin set -u im naechsten Arithmetic-Schritt knallte. Fix: python -c mit sqlite3-Modul (Standard-Bibliothek, immer da). Plus Numeric-Sanity-Check als Belt-and-Suspenders.	2026-04-28 22:29:36 +02:00
Dotty Dotter	05b6b45e1b	ops(#106 ): Backfill- + Auto-Ingest-Skripte fuer Plenum-Votes scripts/backfill-nrw-protocols.sh: Probiert MMP{wp}-1.pdf bis MMP{wp}-200.pdf durch, ingestet alle 200er. Bei 3 aufeinanderfolgenden 404 Abbruch. Usage: backfill-nrw-protocols.sh [WP=18] [CONTAINER=gwoe-antragspruefer-dev] Idempotent ueber plenum_vote_results-Compound-PK. scripts/auto-ingest-protocols.sh: BL-uebergreifend, Cron-tauglich. Liest fuer jeden konfigurierten BL/WP das letzte ingestete Protokoll aus der DB, probiert die naechste Sitzungsnummer, ingestet bis zur naechsten Luecke. Aktuell konfiguriert: NRW WP18, NRW WP17 (Pattern leicht erweiterbar). Beide rein deterministisch — keine LLM-Calls, keine Embedding-Calls, keine Kosten. Reines PDF-Download + Regex-Parsing + SQLite-Insert.	2026-04-28 22:23:51 +02:00

Author

SHA1

Message

Date

Dotty Dotter

22a2b63c35

feat(#148 ): BUND-Parser produktiv — Bundestags-XML-Plenarprotokolle

Erster vollwertiger Plenarprotokoll-Parser nach NRW. Quelle:
https://dserver.bundestag.de/btp/{wp}/{wp}{n:03}.xml

Anchor-Sprache (verifiziert WP20 Sitzungen 30 + 100):
  'Die Beschlussempfehlung ist mit den Stimmen der Koalitionsfraktionen
   gegen die Stimmen der CDU/CSU-Fraktion bei Enthaltung der AfD-Fraktion
   angenommen.'

Pattern:
- Subjekt: Beschlussempfehlung | Ueberweisungsvorschlag | Antrag | Gesetzentwurf
- Vote-Block: 'mit den Stimmen X / gegen die Stimmen Y / bei Enthaltung Z'
- Ergebnis: 'angenommen' oder 'abgelehnt'
- Drucksache rueckwaerts vom Anchor (1500 chars Window)
- Kind 'ueberweisung' invertiert ergebnis zu 'ueberwiesen'

Fraktions-Mapping (WP20 = Ampel):
- 'Koalitionsfraktionen' → SPD + GRÜNE + FDP
- 'Oppositionsfraktionen' → CDU/CSU + AfD + LINKE
- 'CDU/CSU-Fraktion', 'Fraktion Bündnis 90/Die Grünen', etc.

WP21 (ab 2025) braucht eigenes Mapping-Update.

26 Tests in test_protokoll_parsers_bund.py (Vote-Block-Parsing, Anchor-
Erkennung, Drucksachen-Lookup, End-to-End mit Mock-XML).

Cron + Ingest-CLI:
- PROTO_TARGETS-Format erweitert um PROTOKOLL_ID_PREFIX und {n3}-
  Placeholder fuer 3-stellig zero-gepaddetes BT-Schema (BTP20-N)
- ingest_votes URL-Suffix dynamisch (PDF vs XML) statt hardcoded .pdf
- Eintrag in PROTOKOLL_PARSERS (NRW + BUND)
- Stub-Test angepasst: BUND raus aus STUB_BL_CODES

889 Tests gruen (787 → 889, +102 fuer Phase-2 Stubs+Tests+BUND).

2026-04-28 23:21:39 +02:00

Dotty Dotter

64a317f45f

fix(#106 ): auto-ingest-protocols nutzt python statt sqlite3-CLI

Container hat kein sqlite3-CLI. docker exec sqlite3 schlug 'OCI runtime
exec failed' und last_n wurde zur Fehlermeldung statt einer Zahl,
woraufhin set -u im naechsten Arithmetic-Schritt knallte.

Fix: python -c mit sqlite3-Modul (Standard-Bibliothek, immer da). Plus
Numeric-Sanity-Check als Belt-and-Suspenders.

2026-04-28 22:29:36 +02:00

Dotty Dotter

05b6b45e1b

ops(#106 ): Backfill- + Auto-Ingest-Skripte fuer Plenum-Votes

scripts/backfill-nrw-protocols.sh:
  Probiert MMP{wp}-1.pdf bis MMP{wp}-200.pdf durch, ingestet alle 200er.
  Bei 3 aufeinanderfolgenden 404 Abbruch.
  Usage: backfill-nrw-protocols.sh [WP=18] [CONTAINER=gwoe-antragspruefer-dev]
  Idempotent ueber plenum_vote_results-Compound-PK.

scripts/auto-ingest-protocols.sh:
  BL-uebergreifend, Cron-tauglich. Liest fuer jeden konfigurierten
  BL/WP das letzte ingestete Protokoll aus der DB, probiert die
  naechste Sitzungsnummer, ingestet bis zur naechsten Luecke.
  Aktuell konfiguriert: NRW WP18, NRW WP17 (Pattern leicht erweiterbar).

Beide rein deterministisch — keine LLM-Calls, keine Embedding-Calls,
keine Kosten. Reines PDF-Download + Regex-Parsing + SQLite-Insert.

2026-04-28 22:23:51 +02:00

3 Commits