tobias/gwoe-antragspruefer
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 1 Wiki Activity

Scraper BB: Brandenburg (StarWeb, Wahl 2029-09-23) #27

New Issue
Closed
opened 2026-04-08 22:22:11 +02:00 by tobias · 2 comments
tobias commented 2026-04-08 22:22:11 +02:00
Owner
Copy Link

Wahltermin

2029-09-23 — Brandenburg (BB), aktuell 8. Wahlperiode.

Backend

Feld Wert
Doku-System StarWeb
Base-URL https://www.parlamentsdokumentation.brandenburg.de
dokukratie-Scraper bb
Drucksachen-Format 8/1234

Adapter-Strategie

StarWeb (5/6) — Wiederverwendung des generischen StarWebAdapters.

Was zu tun ist

  1. Live-Backend anschauen — falls SPA, HAR-Trace einer realen Suche aus DevTools ziehen (siehe Vorgehen in #12 für ParlDok bzw. #13 für eUI).
  2. Adapter in webapp/app/parlamente.py implementieren — entweder als neue Subklasse von ParlamentAdapter oder als zweiter Registry-Eintrag eines existierenden parametrisierbaren Adapters.
  3. Eintrag in der ADAPTERS-Registry am Ende der Datei.
  4. Smoke-Test lokal: ADAPTERS["BB"].search("Schule", limit=10) liefert echte Anträge mit Datum + Fraktionen, sortiert newest-first.
  5. Aktivierung via Folge-Issue (siehe Hängt mit … zusammen unten) — dieses Issue ist nur der Adapter selbst, nicht das Indexieren der Wahlprogramme oder das Frontend-aktiv-Setzen.

Akzeptanzkriterien

  • parlamente.py::ADAPTERS["BB"] existiert und ist instanziierbar
  • search(query="Schule", limit=10) liefert ≥3 echte Drucksachen mit korrektem Datum, Fraktionen, PDF-Link
  • get_document(drucksache) für eine reale Drucksache der laufenden WP liefert das Dokument zurück
  • download_text(drucksache) extrahiert Text aus dem PDF
  • Folge-Issue für Frontend-Aktivierung verlinkt
## Wahltermin **2029-09-23** — Brandenburg (BB), aktuell 8. Wahlperiode. ## Backend | Feld | Wert | |---|---| | Doku-System | `StarWeb` | | Base-URL | https://www.parlamentsdokumentation.brandenburg.de | | dokukratie-Scraper | `bb` | | Drucksachen-Format | `8/1234` | ## Adapter-Strategie **StarWeb (5/6)** — Wiederverwendung des generischen StarWebAdapters. ## Was zu tun ist 1. Live-Backend anschauen — falls SPA, HAR-Trace einer realen Suche aus DevTools ziehen (siehe Vorgehen in #12 für ParlDok bzw. #13 für eUI). 2. Adapter in `webapp/app/parlamente.py` implementieren — entweder als neue Subklasse von `ParlamentAdapter` oder als zweiter Registry-Eintrag eines existierenden parametrisierbaren Adapters. 3. Eintrag in der `ADAPTERS`-Registry am Ende der Datei. 4. Smoke-Test lokal: `ADAPTERS["BB"].search("Schule", limit=10)` liefert echte Anträge mit Datum + Fraktionen, sortiert newest-first. 5. Aktivierung via Folge-Issue (siehe `Hängt mit … zusammen` unten) — dieses Issue ist nur der Adapter selbst, nicht das Indexieren der Wahlprogramme oder das Frontend-aktiv-Setzen. ## Akzeptanzkriterien - [ ] `parlamente.py::ADAPTERS["BB"]` existiert und ist instanziierbar - [ ] `search(query="Schule", limit=10)` liefert ≥3 echte Drucksachen mit korrektem Datum, Fraktionen, PDF-Link - [ ] `get_document(drucksache)` für eine reale Drucksache der laufenden WP liefert das Dokument zurück - [ ] `download_text(drucksache)` extrahiert Text aus dem PDF - [ ] Folge-Issue für Frontend-Aktivierung verlinkt
tobias commented 2026-04-08 23:06:15 +02:00
Author
Owner
Copy Link

Hinweise aus dokukratie/bb.yml — Template-Issue für die StarWeb-Familie

Wenn dieses Issue zuerst angegangen wird, soll der Adapter so generisch werden dass HE/NI/RP/HB als zweite Registry-Einträge passen.

ELVIS Endpoint:

  • Endpoint: https://www.parlamentsdokumentation.brandenburg.de/starweb/LBB/ELVIS/servlet.starweb?path=LBB/ELVIS/LISSH.web&AdvancedSearch=yes
  • Form-Felder: LISSH_DTYP, LISSH_WP_ADV, LISSH_DatumV, LISSH_DatumB, LISSH_DART_ADV=DRUCKSACHE, __action=74,112,201
  • Pagination-Trick: NumPerSegment=1000000 und LimitMaximumHitCount="S99{ITEMS -1:-100000}" — alle Treffer auf einer Seite holen
  • Items: .//li[@name="RecordRepeater"]
  • PDF: .//div[@name="Repeat_DBE"]//a[@title="Gesamtdokument"]/@href
  • Pagination: .//ul[@class="pagination"]//li[@name="NextRecsConditional"]
  • Doc-Type: .//div[@name="Repeat_TYP"]//strong
  • Schlagworte: .//div[@name="Repeat_TYP"]//a[@name="LinkThes"]
  • Originatoren-Regex: (?P<originators_raw>.*)\s+(?P<interpellation_date>\d{2}\.\d{2}\.\d{4})\s?Drucksache\s?(?P<interpellation_reference>\d{1,2}\/\d+)

StarWebAdapter-Design — Konstruktor-Parameter:

StarWebAdapter(
    bundesland="BB",
    name="...",
    base_url="https://www.parlamentsdokumentation.brandenburg.de",
    servlet_path="/starweb/LBB/ELVIS/servlet.starweb",
    db_path="LBB/ELVIS/LISSH.web",
    wahlperiode=8,
    field_map={
        "wp": "LISSH_WP_ADV",
        "dart": "LISSH_DART_ADV",
        "dtyp": "LISSH_DTYP",
        "datv": "LISSH_DatumV",
        "datb": "LISSH_DatumB",
    },
    record_repeater_xpath='.//li[@name="RecordRepeater"]',
    pdf_xpath='.//div[@name="Repeat_DBE"]//a[@title="Gesamtdokument"]/@href',
)

Damit sind HE/NI/RP/HB jeweils nur ein Registry-Eintrag mit angepassten Pfaden + Field-Names. Siehe die jeweiligen anderen Issues für die BL-spezifischen Werte.

## Hinweise aus dokukratie/bb.yml — **Template-Issue für die StarWeb-Familie** Wenn dieses Issue zuerst angegangen wird, soll der Adapter so generisch werden dass HE/NI/RP/HB als zweite Registry-Einträge passen. **ELVIS Endpoint:** - Endpoint: `https://www.parlamentsdokumentation.brandenburg.de/starweb/LBB/ELVIS/servlet.starweb?path=LBB/ELVIS/LISSH.web&AdvancedSearch=yes` - Form-Felder: `LISSH_DTYP`, `LISSH_WP_ADV`, `LISSH_DatumV`, `LISSH_DatumB`, `LISSH_DART_ADV=DRUCKSACHE`, `__action=74,112,201` - Pagination-Trick: `NumPerSegment=1000000` und `LimitMaximumHitCount="S99{ITEMS -1:-100000}"` — alle Treffer auf einer Seite holen - Items: `.//li[@name="RecordRepeater"]` - PDF: `.//div[@name="Repeat_DBE"]//a[@title="Gesamtdokument"]/@href` - Pagination: `.//ul[@class="pagination"]//li[@name="NextRecsConditional"]` - Doc-Type: `.//div[@name="Repeat_TYP"]//strong` - Schlagworte: `.//div[@name="Repeat_TYP"]//a[@name="LinkThes"]` - Originatoren-Regex: `(?P<originators_raw>.*)\s+(?P<interpellation_date>\d{2}\.\d{2}\.\d{4})\s?Drucksache\s?(?P<interpellation_reference>\d{1,2}\/\d+)` **StarWebAdapter-Design — Konstruktor-Parameter:** ```python StarWebAdapter( bundesland="BB", name="...", base_url="https://www.parlamentsdokumentation.brandenburg.de", servlet_path="/starweb/LBB/ELVIS/servlet.starweb", db_path="LBB/ELVIS/LISSH.web", wahlperiode=8, field_map={ "wp": "LISSH_WP_ADV", "dart": "LISSH_DART_ADV", "dtyp": "LISSH_DTYP", "datv": "LISSH_DatumV", "datb": "LISSH_DatumB", }, record_repeater_xpath='.//li[@name="RecordRepeater"]', pdf_xpath='.//div[@name="Repeat_DBE"]//a[@title="Gesamtdokument"]/@href', ) ``` Damit sind HE/NI/RP/HB jeweils nur ein Registry-Eintrag mit angepassten Pfaden + Field-Names. Siehe die jeweiligen anderen Issues für die BL-spezifischen Werte.
tobias added the
phase-2
scraper
 labels 2026-04-08 23:16:37 +02:00
tobias commented 2026-04-09 01:00:46 +02:00
Author
Owner
Copy Link

Erledigt in 02ff142.

Riesige Überraschung aus dem HAR-Trace: BB ist NICHT StarWeb wie in dokukratie und bundeslaender.py klassifiziert, sondern läuft auf dem portala/eUI-Backend (gleich wie LSA/BE/BW). Endpoint /portal/browse.tt.json mit db_id=lbb.lissh. Das alte StarWeb-Frontend ist nur Legacy.

Damit ist der vermeintliche "StarWebAdapter-Template"-Ansatz hinfällig — der existierende PortalaAdapter aus #2/#3 ist mit ein paar zusätzlichen Konstruktor-Parametern (nichts für BB, ein paar mehr für HE) direkt wiederverwendbar.

Adapter-Erweiterungen

Im PortalaAdapter zwei neue Konstruktor-Parameter mit backward-kompatiblen Defaults:

  • typ_filter: Optional[str] = "DOKDBE" — wenn None, wird die TYP-Klausel weggelassen (HE rejected DOKDBE)
  • omit_date_filter: bool = False — wenn True, kein DAT/DDAT/SDAT-Term (HE braucht das)

Plus _RE_BE_DATUM erweitert: vorher nur vom DD.MM.YYYY, jetzt fallback auf plain Datum (BB schreibt das Datum vor der Drucksachen-Nummer ohne 'vom'-Marker).

Smoke-Test

BB q="":       5–6 hits in ~5s
BB q="Schule": 5–6 hits, alle echt schul-bezogen

Akzeptanzkriterien

  • parlamente.py::ADAPTERS["BB"] existiert
  • search(query="Schule", limit=10) liefert echte Drucksachen mit Datum, Fraktionen, PDF-Link
  • Folge-Issue #39 für Frontend-Aktivierung verlinkt

Phase-2-Status (#49)

  • #27 BB (02ff142) — portala statt StarWeb, PortalaAdapter-reuse
  • #20 SH (f82c60e) — StarFinderCGIAdapter, eigenständig
  • #30 RP (02ff142) — analog BB
  • #21 HB — kein /portal/-Endpoint, bleibt StarWeb-Servlet, braucht eigenen HAR-Trace
  • #22 NI — nilas/portal ist Login-protected, deferred
  • #24 HE — portala-Backend erreichbar, aber HE-Card-Layout ist anders (Title direkt im h3, kein span-Wrapper, kein span.h6 für Meta), eigener Parser-Pfad nötig
Erledigt in 02ff142. Riesige Überraschung aus dem HAR-Trace: BB ist NICHT StarWeb wie in dokukratie und bundeslaender.py klassifiziert, sondern läuft auf dem **portala/eUI-Backend** (gleich wie LSA/BE/BW). Endpoint `/portal/browse.tt.json` mit `db_id=lbb.lissh`. Das alte StarWeb-Frontend ist nur Legacy. Damit ist der vermeintliche "StarWebAdapter-Template"-Ansatz hinfällig — der existierende **PortalaAdapter** aus #2/#3 ist mit ein paar zusätzlichen Konstruktor-Parametern (nichts für BB, ein paar mehr für HE) direkt wiederverwendbar. ## Adapter-Erweiterungen Im PortalaAdapter zwei neue Konstruktor-Parameter mit backward-kompatiblen Defaults: - `typ_filter: Optional[str] = "DOKDBE"` — wenn None, wird die TYP-Klausel weggelassen (HE rejected DOKDBE) - `omit_date_filter: bool = False` — wenn True, kein DAT/DDAT/SDAT-Term (HE braucht das) Plus _RE_BE_DATUM erweitert: vorher nur `vom DD.MM.YYYY`, jetzt fallback auf plain Datum (BB schreibt das Datum vor der Drucksachen-Nummer ohne 'vom'-Marker). ## Smoke-Test ``` BB q="": 5–6 hits in ~5s BB q="Schule": 5–6 hits, alle echt schul-bezogen ``` ## Akzeptanzkriterien - [x] `parlamente.py::ADAPTERS["BB"]` existiert - [x] `search(query="Schule", limit=10)` liefert echte Drucksachen mit Datum, Fraktionen, PDF-Link - [x] Folge-Issue #39 für Frontend-Aktivierung verlinkt ## Phase-2-Status (#49) - [x] **#27 BB** (02ff142) — portala statt StarWeb, PortalaAdapter-reuse - [x] **#20 SH** (f82c60e) — StarFinderCGIAdapter, eigenständig - [x] **#30 RP** (02ff142) — analog BB - [ ] **#21 HB** — kein /portal/-Endpoint, bleibt StarWeb-Servlet, braucht eigenen HAR-Trace - [ ] **#22 NI** — nilas/portal ist Login-protected, deferred - [ ] **#24 HE** — portala-Backend erreichbar, aber HE-Card-Layout ist anders (Title direkt im h3, kein span-Wrapper, kein span.h6 für Meta), eigener Parser-Pfad nötig
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
feedback

   
phase-0

Voraussetzung — sofort, blockiert späteres

  
phase-1

Schnelle Adapter-Wiederverwendung — Tag 1

  
phase-2

StarWeb-Familie + Eigenständige in Tag 2-3

  
phase-3

Eigenständige Reverse-Engineerings — Wochen-Brocken

  
roadmap

Übergreifendes Tracking-Issue

  
scraper

Adapter-Implementierung für ein Bundesland

  
todo

TODO aus CLAUDE.md

  
ui-aktivierung

Bundesland im Frontend aktiv schalten + Wahlprogramme indexieren

  
ui-frontend

Frontend / Templates

No Label
feedback
phase-0
phase-1
phase-2
phase-3
roadmap
scraper
todo
ui-aktivierung
ui-frontend
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: tobias/gwoe-antragspruefer#27
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?