"""Tests für LlmBewerter-Port und QwenBewerter-Adapter (ADR 0008). Der Adapter wird mit einem Fake-Client getestet — kein Netzwerk, kein ``openai``-Paket. Retry-Semantik (Temperatur steigt um 0.1 pro Versuch) ist hier explizit getestet, damit die Migration die Semantik nicht still verändert. """ from __future__ import annotations import asyncio import json import types import pytest from app.adapters.qwen_bewerter import QwenBewerter, _strip_markdown_fences from app.ports.llm_bewerter import LlmBewerter, LlmRequest def _run(coro): return asyncio.get_event_loop().run_until_complete(coro) def _make_fake_client(responses: list[str]): """Produziert einen Fake-OpenAI-Client, der pro Call einen Response aus der Liste liefert und Metadaten (Temperatur) aufzeichnet.""" calls: list[dict] = [] class FakeCompletions: async def create(self, **kwargs): calls.append(dict(kwargs)) idx = len(calls) - 1 content = responses[min(idx, len(responses) - 1)] return types.SimpleNamespace( choices=[types.SimpleNamespace( message=types.SimpleNamespace(content=content) )] ) class FakeChat: completions = FakeCompletions() class FakeClient: chat = FakeChat() return FakeClient(), calls # ─── Strip-Fences ────────────────────────────────────────────────────────── class TestStripMarkdownFences: def test_plain_json_unchanged(self): assert _strip_markdown_fences('{"a": 1}') == '{"a": 1}' def test_json_fence(self): assert _strip_markdown_fences('```json\n{"a": 1}\n```') == '{"a": 1}' def test_plain_fence(self): assert _strip_markdown_fences('```\n{"a": 1}\n```') == '{"a": 1}' # ─── Protocol-Konformität ────────────────────────────────────────────────── class TestProtocol: def test_qwen_implements_llm_bewerter(self): # runtime_checkable Protocol — Method bewerte existiert qb = QwenBewerter(api_key="x", base_url="y", client=object()) assert isinstance(qb, LlmBewerter) # ─── QwenBewerter mit FakeClient ─────────────────────────────────────────── class TestQwenBewerterHappyPath: def test_single_successful_call(self): fake, calls = _make_fake_client(['{"gwoeScore": 7.0}']) qb = QwenBewerter(api_key="x", base_url="y", client=fake) request = LlmRequest(system_prompt="sys", user_prompt="usr") result = _run(qb.bewerte(request)) assert result == {"gwoeScore": 7.0} assert len(calls) == 1 assert calls[0]["temperature"] == pytest.approx(0.3) def test_markdown_fence_is_stripped(self): fake, _ = _make_fake_client(['```json\n{"gwoeScore": 8.0}\n```']) qb = QwenBewerter(client=fake) result = _run(qb.bewerte(LlmRequest("sys", "usr"))) assert result == {"gwoeScore": 8.0} def test_passes_model_through(self): fake, calls = _make_fake_client(['{"a": 1}']) qb = QwenBewerter(client=fake) _run(qb.bewerte(LlmRequest("sys", "usr", model="qwen-turbo"))) assert calls[0]["model"] == "qwen-turbo" class TestQwenBewerterRetries: def test_retry_raises_temperature(self): """Bei JSON-Parse-Fehler steigt die Temperatur um 0.1 pro Versuch.""" fake, calls = _make_fake_client([ "nicht valides JSON", "immer noch kaputt", '{"gwoeScore": 6.0}', # 3. Versuch klappt ]) qb = QwenBewerter(client=fake) request = LlmRequest("sys", "usr", max_retries=3) result = _run(qb.bewerte(request)) assert result == {"gwoeScore": 6.0} assert len(calls) == 3 assert calls[0]["temperature"] == pytest.approx(0.3) assert calls[1]["temperature"] == pytest.approx(0.4) assert calls[2]["temperature"] == pytest.approx(0.5) def test_exhausted_retries_raise(self): fake, _ = _make_fake_client([ "kaputt", "kaputt", "kaputt", ]) qb = QwenBewerter(client=fake) request = LlmRequest("sys", "usr", max_retries=3) with pytest.raises(json.JSONDecodeError): _run(qb.bewerte(request)) def test_single_retry_is_respected(self): """max_retries=1 heißt: genau ein Versuch, kein Retry.""" fake, calls = _make_fake_client(["kaputt"]) qb = QwenBewerter(client=fake) with pytest.raises(json.JSONDecodeError): _run(qb.bewerte(LlmRequest("sys", "usr", max_retries=1))) assert len(calls) == 1 class TestLlmRequestDefaults: def test_defaults_match_legacy_analyzer(self): req = LlmRequest("s", "u") assert req.model == "qwen-plus" assert req.max_retries == 3 assert req.max_tokens == 4000 assert req.base_temperature == 0.3