Skip to content

guardian: move the finder off Anthropic onto opencode-go / DeepSeek #775

Closed

Description

@zaebee

Split out of #742 (after #773 landed). The guardian finder/skeptic still runs on Anthropic; the rest of the stack already runs on opencode-go with DeepSeek models, and keeping a separate ANTHROPIC_API_KEY is a second credential and a second bill for no product reason.

What remains

  1. A provider for opencode-go. It is an OpenAI-compatible gateway — https://opencode.ai/inference/go/v1, key in OPENCODE_API_KEY — so the closest template is src/cgis/guardian/providers/openrouter.py (httpx, DEFAULT_REQUEST_TIMEOUT, DEFAULT_MAX_TOKENS, explicit temperature). Add providers/opencode.py behind GUARDIAN_PROVIDER=opencode-go, register it in build_provider (src/cgis/guardian/runner.py), and keep the base URL configurable (GUARDIAN_OPENCODE_BASE_URL) so a pin to a different gateway needs no code change.
  2. Default model. deepseek-v4.1-flash (measured cost on opencode-go: 0.15/0.6 per 1M in/out). Its compat record says max_tokens for the budget field and thinkingFormat: deepseek; the reasoning levels are off/minimal/low/medium/high/xhigh/max, so the "depth" knob that GUARDIAN_ANTHROPIC_EFFORT exposed has to be re-expressed for this provider instead of silently dropped.
  3. Drop the Claude-only special cases in runner.py: _anthropic refuses GUARDIAN_TEMPERATURE because Claude rejects sampling; the new default provider accepts temperature, so the refusal must become provider-specific rather than global. DEFAULT_ANTHROPIC_MODEL = "claude-haiku-5-5" stops being the default finder.
  4. Workflow. guardian-reusable.yml declares secrets.ANTHROPIC_API_KEY and passes vars.GUARDIAN_PROVIDER, vars.GUARDIAN_MODEL, vars.GUARDIAN_ANTHROPIC_EFFORT, vars.GUARDIAN_SKEPTIC_MODEL. Swap the secret for OPENCODE_API_KEY (or keep both and let BUILD_PROVIDER auto-detect), and replace the effort var with the new depth var.
  5. Docs and bench. README's "requirements" section, the provider table, and bench.py / calibrate.py ground truth: a model swap changes the finder's recall and the judge's drift, which guardian(bench): detect LLM-judge drift between runs with a frozen anchor set #752 is already measuring.

What needs a decision (do not silently pick)

#246 requires the skeptic from a vendor other than the finder's. A DeepSeek finder plus a DeepSeek skeptic breaks that assumption. Either accept the same vendor and say so in the run record, or keep the skeptic on gemini/openrouter on purpose.

Why

One credential and one bill instead of two; the same provider the agent stack already uses; and a self-hosted runner no longer needs an Anthropic key to run the review job.

When

After #742 (done: #773 merged as 969f566). Not urgent until the Anthropic key rotates or expires — but the longer it waits, the more Claude-only cases accumulate in runner.py.

Done when

  • GUARDIAN_PROVIDER=opencode-go GUARDIAN_MODEL=deepseek-v4.1-flash runs a review end to end with no ANTHROPIC_API_KEY in the environment;
  • provider tests mirror tests/unit/test_guardian_poster.py-style mocking for the new provider (URL, bearer auth, max_tokens, timeout, a 429/4xx raising rather than degrading to "no judgement");
  • tests/unit/test_guardian_workflow.py pins the secret/vars the reusable workflow passes;
  • the skeptic-vendor question above is answered in the issue thread and reflected in the run record;
  • bench.py / calibrate.py numbers on the new model are recorded in the issue.

🤖 Filed by the dsh-superagent deployment on zae-life (setup smoke: #772, #742→#773).

Activity

  1. added
    tailLoose end: something left to check or finish later
    on Nov 1, 2026
  2. zaebee commented on Nov 5, 2026

    @zaebee
    OwnerAuthor

    @it-start Возьми, пожалуйста, эту задачу в работу. Ниже — уточнённая постановка: я сверил issue с main (969f566) и с живым каталогом opencode-go (2026-11-05). Полное «Done when» — в теле issue; открытые вопросы ниже уже решены, переспрашивать не нужно.

    Решения по вопросам из issue (не пересматривать)

    1. Скептик — кросс-вендорный. Finder на opencode-go, дефолтный скептик остаётся gemini (build_skeptic_provider уже так выбирает для любого primary != "gemini"). Same-vendor DeepSeek-скептик не добавляем, opencode в _SKEPTIC_BUILDERS не нужен. В CI и у вызывающих остаётся GUARDIAN_SKEPTIC=off. Это и есть ответ на вопрос guardian: cross-model skeptic to cut recall-lean noise without killing recall #246; в run record он отражается тем, что skeptic_model не DeepSeek.
    2. OPENCODE_API_KEY в GitHub Secrets кладёт человек (repo secret zaebee/codegraph-brain + org secret Ownima). Ты секреты не создаёшь, не читаешь и не печатаешь. Живой end-to-end — после мержа, человеком; issue не закрывай.
    3. Bench/calibrate цифры в эту задачу не входят — отдельная issue после мержа (рядом guardian(bench): detect LLM-judge drift between runs with a frozen anchor set #752 про drift судьи). Bench-скрипты не трогай, если они не ломают тесты.
    4. owner-api (#2319 / PR #2320) не трогай — это отдельный шаг после мержа.

    Что сделать

    1. Провайдер. Новый src/cgis/guardian/providers/opencode.py по образцу providers/openrouter.py (httpx, BaseProvider, явные temperature/max_tokens, тот же стиль ошибок).

    • name: ClassVar[str] = "opencode" — не "opencode-go": review_fingerprint.walk_closure выводит путь модуля из имени провайдера (providers/<name>.py), и дефис даст providers/opencode-go.py → UnknownProviderError на первом же review. Селектор из issue — ниже, в build_provider.
    • Base URL: https://opencode.ai/inference/go/openai/v1, переопределяется GUARDIAN_OPENCODE_BASE_URL (пустое → дефолт; хвостовой / срезать; POST на {base}/chat/completions). В issue URL без /openai — живой каталог и доки дают .../go/openai/v1 (проверено: curl https://opencode.ai/inference/go/v1/models).
    • Модель по умолчанию deepseek-v4.1-flash (DEFAULT_OPENCODE_MODEL), GUARDIAN_MODEL переопределяет; в отличие от openrouter, дефолт есть.
    • Поле бюджета — max_tokens (не max_completion_tokens); DEFAULT_MAX_TOKENS как у openrouter (8000) или больше, finish_reason == "length" → исключение, а не обрезанный ответ.
    • Reasoning: reasoning_effort в payload из GUARDIAN_OPENCODE_EFFORT; дефолт low (как DEFAULT_ANTHROPIC_EFFORT), значение отдавать через effort-property BaseProvider, чтобы попадало в запись. Живой каталог для этой модели даёт low|high|max (7 уровней из issue — неверно); валидируй дефолт, остальное пропускай, 4xx от гейтвея — громко.
    • Temperature: GUARDIAN_TEMPERATURE пробрасывать (модель temperature: true). Отказ оставить только в _anthropic — он уже provider-specific, глобального отказа в коде нет.
    • Ошибки: 429 — своим типом (как OpenRouterQuotaError); raise_for_status на остальном; content пустой/None при непустом message.reasoning_content → исключение (DeepSeek кладёт reasoning отдельно, ответ берём только из content).
    • Заголовки: User-Agent, идентифицирующий клиента (например codegraph-brain-guardian/<version>), и x-opencode-session со стабильным id на run — доки Go просят это для маршрутизации/кэша. Дёшево, добавь.

    2. Регистрация. src/cgis/guardian/runner.py: импорт, _build_opencode (OPENCODE_API_KEY обязателен, temperature), ключи в builders — оба: "opencode-go" (канонический, из issue) и "opencode" (алиас, чтобы provider.name совпадал с одним из селекторов). _autodetect_provider — опционально (для Done when не нужен); если добавляешь — первым по OPENCODE_API_KEY и обнови текст ошибки с тестами. _anthropic и DEFAULT_ANTHROPIC_MODEL не удаляй: Anthropic остаётся явным провайдером (#246), просто больше не дефолт в vars.

    3. Обязательно — fingerprint (в issue этого нет). src/cgis/guardian/review_fingerprint.py, walk_closure: захардкожен кортеж известных провайдеров ("gemini", "mistral", "ollama", "openrouter", "anthropic"). Добавь "opencode", иначе модуль не считается провайдером и при active={"opencode"} walk упадёт UnknownProviderError. SCHEME не менять. Тест: walk_closure(reader, frozenset({"opencode"})) не падает и содержит src/cgis/guardian/providers/opencode.py.

    4. Workflow. .github/workflows/guardian-reusable.yml:

    • в on.workflow_call.secrets добавить OPENCODE_API_KEY: required: false; ANTHROPIC_API_KEY оставить объявленным (внешние вызывающие передают его по имени; удаление сломает их YAML) и проброшенным в env — при незаполненном секрете он пустой, и opencode-go его не требует;
    • в env шага «Run Guardian Review» добавить OPENCODE_API_KEY и GUARDIAN_OPENCODE_EFFORT; GUARDIAN_ANTHROPIC_EFFORT убрать из env и из шапки-комментария (Anthropic через reusable workflow остаётся на своём дефолтном effort — осознанно); GUARDIAN_PROVIDER, GUARDIAN_MODEL, GUARDIAN_SKEPTIC, GUARDIAN_SKEPTIC_MODEL оставить;
    • guardian.yml этого репозитория не меняется — там secrets: inherit. Внешним вызывающим (owner-api) нужно будет передать новый секрет по имени — это отдельный шаг, не здесь.

    5. Тесты (минимум):

    • новый tests/unit/test_guardian_opencode.py по образцу test_guardian_openrouter.py: URL из base override/default, Bearer, max_tokens, timeout, reasoning_effort, 429 → свой тип, 4xx → raise (не «no judgement»), finish_reason=length → raise, пустой content при непустом reasoning_content → raise;
    • tests/unit/test_guardian_runner.py: _build_opencode (ключ обязателен, дефолтная модель, override, base URL, temperature, effort), список в test_build_provider_unknown_lists_every_provider_there_is, autodetect (если добавил);
    • tests/unit/test_guardian_workflow.py: test_cross_org_callers_can_pass_the_secrets (новый набор), env review-шага (есть OPENCODE_API_KEY/GUARDIAN_OPENCODE_EFFORT, нет GUARDIAN_ANTHROPIC_EFFORT);
    • tests/unit/test_guardian_providers_name.py — по необходимости; tests/unit/test_review_fingerprint_closure.py — тест из п.3;
    • проверь, что build_provider({"GUARDIAN_PROVIDER": "opencode-go", "OPENCODE_API_KEY": "k"}) не требует ни одного другого ключа — это «no ANTHROPIC_API_KEY» на уровне кода.

    6. Доки. README.md §Guardian (фраза «Mistral / Gemini / Claude» и пример с GUARDIAN_SKEPTIC=anthropic) — добавь opencode-go/DeepSeek, GUARDIAN_OPENCODE_EFFORT, GUARDIAN_OPENCODE_BASE_URL; PRIVACY.md — в перечень провайдеров добавить OpenCode Go (DeepSeek).

    Проверки и сдача

    • make format && make lint && make type-check && make pytest && make doc-coverage — зелёные, это обязательный гейт репозитория.
    • Открой PR (не мержи: мержит человек). В описании — что сделано и что проверено, и явно: «живой e2e на opencode-go не выполнялся, ключа в окружении нет; проверка после мержа человеком».
    • Не создавай секреты, не трогай owner-api и bench, не закрывай issue.
  3. it-start commented on Nov 5, 2026

    @it-start
    Collaborator

    Принято: добавляю в Guardian провайдера opencode-go на DeepSeek — провайдер, регистрация, fingerprint, workflow, тесты и доки; затем PR на ревью без мержа.

  4. zaebee commented on Nov 5, 2026

    @zaebee
    OwnerAuthor

    Уточнение к постановке (workflow и креды): opencode-go по OIDC, без статического секрета.

    Opencode даёт обмен GitHub OIDC → short-lived токен инференса. Используем его вместо secrets.OPENCODE_API_KEY; провайдерный код не меняется (OPENCODE_API_KEY остаётся именем env-переменной, в неё попадает выданный токен). Меняется только workflow.

    1. .github/workflows/guardian-reusable.yml

      • job review: в permissions добавить id-token: write (рядом с contents: read, pull-requests: write, issues: write).
      • новый шаг после всех шагов с PR-чекаутом и до «Run Guardian Review»:
        - name: Sign in to OpenCode (OIDC)
          if: vars.OPENCODE_CLIENT_ID != ''
          env:
            AUDIENCE: https://opencode.ai/console
            CLIENT_ID: ${{ vars.OPENCODE_CLIENT_ID }}
          run: |
            oidc_response=$(curl -sSf --oauth2-bearer "$ACTIONS_ID_TOKEN_REQUEST_TOKEN" \
              "$ACTIONS_ID_TOKEN_REQUEST_URL&audience=$AUDIENCE")
            # JSON парсить БЕЗ jq: на self-hosted раннере его может не быть (та же причина,
            # по которой #742 убрал зависимость от gh). python3 есть на раннерах — он гоняет тесты.
            oidc=$(printf '%s' "$oidc_response" | python3 -c 'import json,sys; print(json.load(sys.stdin)["value"])')
            token_response=$(curl -sSf https://opencode.ai/console/auth/oauth/token \
              -d grant_type=urn:ietf:params:oauth:grant-type:token-exchange \
              -d subject_token_type=urn:ietf:params:oauth:token-type:jwt \
              -d client_id="$CLIENT_ID" \
              -d subject_token="$oidc")
            token=$(printf '%s' "$token_response" | python3 -c 'import json,sys; print(json.load(sys.stdin)["access_token"])')
            echo "::add-mask::$token"
            echo "OPENCODE_API_KEY=$token" >> "$GITHUB_ENV"
        • Понятная ошибка, если ACCESS_ID_TOKEN_REQUEST_URL/TOKEN пусты (шаг запущен без id-token: write), если в ответе нет поля, или если обмен вернул 4xx: не деградировать в пустой ключ, а падать до вызова модели. Тело ошибки можно напечатать (обрезанным), сам токен — нет.
        • Эндпоинт обмена — константа workflow (https://opencode.ai/console/auth/oauth/token), audience — константа (https://opencode.ai/console).
      • secrets.OPENCODE_API_KEY не добавлять ни в workflow_call.secrets, ни в env review-шага: step-level env: перекрывает GITHUB_ENV, поэтому статический пустой секрет затёр бы выданный токен. В env «Run Guardian Review» переменную OPENCODE_API_KEY не передавать вовсе — она придёт только из GITHUB_ENV.
      • vars.OPENCODE_CLIENT_ID — переменная вызывающего (в reusable workflow контекст vars относится к caller), поэтому codegraph-brain и owner-api смогут иметь свои client id. Значение в коде/PR не хардкодить; в issue/PR его не печатать.
      • secrets.ANTHROPIC_API_KEY остаётся объявленным и проброшенным, как писали: при незаполненном секрете он пустой, и opencode-go его не требует.
    2. .github/workflows/guardian.yml этого репозитория: в jobs.review.permissions добавить id-token: write. Reusable workflow не может запросить больше прав, чем выдал вызывающий, поэтому без этого job упадёт на OIDC.

    3. Тесты (tests/unit/test_guardian_workflow.py)

      • job review.permissions содержит id-token: write;
      • шаг Sign in to OpenCode (OIDC) существует, стоит после всех PR-шагов и до «Run Guardian Review» (по аналогии с test_the_app_token_is_minted_after_every_pr_step);
      • шаг читает $ACTIONS_ID_TOKEN_REQUEST_URL/$ACTIONS_ID_TOKEN_REQUEST_TOKEN, шлёт audience, grant_type=…token-exchange, subject_token_type=…jwt, client_id из vars.OPENCODE_CLIENT_ID, маскирует токен через ::add-mask:: и пишет OPENCODE_API_KEY в $GITHUB_ENV;
      • в workflow_call.secrets нет OPENCODE_API_KEY, в env review-шага нет secrets.*OPENCODE*;
      • caller guardian.yml: permissions включают id-token: write (обнови test_the_caller_hands_the_review_to_the_reusable_workflow);
      • шаг не полагается на jq (проверка, что в run нет вызова jq).
    4. README/доки: вместо «положи OPENCODE_API_KEY в secrets» — «включи OIDC-доступ для GitHub Actions в консоли opencode, задай переменную OPENCODE_CLIENT_ID; статический ключ не нужен». Токен короткоживущий, минтится непосредственно перед review.

    5. Если уже начал реализацию со статическим secrets.OPENCODE_API_KEY — переделай на OIDC и отметь в комментарии, что именно изменил.

    Остальное из предыдущего комментария (провайдер, регистрация, review_fingerprint, тесты провайдера, доки, гейты, «issue не закрывать») без изменений.

  5. it-start commented on Nov 5, 2026

    @it-start
    Collaborator

    Понял: переделываю креды opencode-go на GitHub OIDC — шаг обмена токена, id-token: write в reusable и caller, без secrets.OPENCODE_API_KEY; провайдерный код не меняю.

  6. zaebee commented on Nov 5, 2026

    @zaebee
    OwnerAuthor

    Ревью PR #777. Python Verification — зелёный, Conventional commit title — зелёный. Красное/замечания:

    1. Sonar Quality Gate: 3.0012% Duplication on New Code (порог ≤ 3%), 25 дублированных строк: src/cgis/guardian/providers/opencode.py (блок 217–241) ↔ src/cgis/guardian/providers/openrouter.py (174–198). Это дублируется хвост: применение temperature, generate_content и generate_structured с response_format json_schema. Не «подкрась иначе» — вынеси общий OpenAI-compatible кусок в одно место, которым пользуются оба провайдера (например providers/openai_compatible.py с общими generate_content/generate_structured/response_format/применением temperature; _payload оставь провайдерным — у openrouter там reasoning, у opencode reasoning_effort). Тесты openrouter/opencode должны остаться зелёными. Новый модуль под providers/ без имени провайдера fingerprint не прунит — это shared helper, test_a_shared_helper_under_providers_is_never_pruned именно про это.

    2. Gemini inline (medium), providers/opencode.py:121: effort.strip() упадёт AttributeError, если effort придёт None; (effort or "").strip() надёжнее, а base не нужно дефолтить дважды. Поправь или ответь в комментарии, почему нет.

    После правки прогони проверки и ответь здесь, когда Sonar и замечание Gemini закрыты. Мерж — человек.

  7. it-start commented on Nov 5, 2026

    @it-start
    Collaborator

    Понял: выношу общий OpenAI-compatible код (generate_*, response_format, temperature) в providers/openai_compatible.py, _payload оставляю провайдерным; инициализацию effort/base уже поправил. После прогона гейтов отвечу здесь.

  8. zaebee commented on Nov 5, 2026

    @zaebee
    OwnerAuthor

    Entire-ревьюер нашёл два medium на OIDC-шаге PR #777 (.github/workflows/guardian-reusable.yml). Оба валидны — поправь до мержа.

    1. Не полагаться на python3 в PATH

    Сейчас оба JSON-разбора идут через python3 -c (строки ~294 и ~311): oidc=$(… | python3 -c '…') и token=$(… | python3 -c '…'). На self-hosted раннере uv sync создаёт .venv, но его интерпретатор в PATH не попадает, и python3 может отсутствовать. В ревью-команде ниже уже используется uv run --frozen python — сделай так же в обоих местах:

    uv run --frozen python -c 'import json, sys; print(json.load(sys.stdin)["value"])'
    uv run --frozen python -c 'import json, sys; print(json.load(sys.stdin)["access_token"])'

    Замени комментарий «python3 runs the tests, so it is there» на причину: uv установлен и env синхронизирован выше, а python3 в PATH не гарантирован. Тест добавь: в run OIDC-шага нет вызова python3 (regex по слову), оба разбора идут через uv run --frozen python.

    2. Не требовать OIDC, когда выбран другой провайдер

    Сейчас if: vars.OPENCODE_CLIENT_ID != '' — у вызывающего с GUARDIAN_CLIENT_ID и, например, GUARDIAN_PROVIDER=mistral падение/недоступность OpenCode валит job до запуска mistral. Гейт должен срабатывать только когда runner действительно выберет opencode:

    • GUARDIAN_PROVIDER (после tr '[:upper:]' '[:lower:]', как в build_provider) ∈ {opencode-go, opencode} → подписываться;
    • GUARDIAN_PROVIDER пуст → подписываться: после минта OPENCODE_API_KEY попадёт в env, и _autodetect_provider выберет opencode первым. Без минта autodetect ушёл бы в mistral/gemini — то есть OIDC сам делает opencode победителем автодетекта; это и есть «включая autodetection»;
    • явно выбран любой другой провайдер → не подписываться, залогировать OpenCode is not the selected provider (…); skipping sign-in. и exit 0.

    Практически проще всего оставить if: vars.OPENCODE_CLIENT_ID != '', а в начале run сделать case-проверку по нормализованному $GUARDIAN_PROVIDER (передай его в env: шага) и выйти 0 для чужого провайдера. Вариант с отдельным шагом-решателем и GITHUB_OUTPUT тоже ок, если так чище для тестов. В обоих случаях:

    • обнови tests/unit/test_guardian_workflow.py: сейчас он пинит точную строку if и не проверяет skip-ветку — поправь и добавь кейс «явно выбран mistral/anthropic → opencode-шаг не подписывается»;
    • в шапке workflow и README уточни: opencode-go в CI включается явным GUARDIAN_PROVIDER=opencode-go или пустым GUARDIAN_PROVIDER при заданном OPENCODE_CLIENT_ID; явный другой провайдер OIDC не трогает.

    Остальное (провайдер, fingerprint, тесты, id-token, отсутствие статического ключа) не меняй. После правки — прогон гейтов и отпишись здесь; мерж человек.

  9. it-start commented on Nov 5, 2026

    @it-start
    Collaborator

    On it: в OIDC-шаге перевожу оба JSON-разбора на uv run --frozen python, добавляю skip-ветку для явно выбранного другого провайдера, обновляю тесты, шапку workflow и README; после прогона гейтов отпишусь здесь.

  10. it-start commented on Nov 5, 2026

    @it-start
    Collaborator

    PR #777 готов к мержу: оба замечания Entire по OIDC-шагу исправлены, все проверки и локальный гейт зелёные. Мерж за вами.

  11. zaebee commented on Nov 5, 2026

    @zaebee
    OwnerAuthor

    Готово — #775 закрыт по всем пунктам, кроме bench, который вынесен в #778.

    Что сделано

    Закрываю: критерии Done when, кроме bench, выполнены; bench отслеживается в #778.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    tailLoose end: something left to check or finish later

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions