MCP серверҲамжамият

LLM Eval Harness

Run a golden set and gate LLM model swaps on accuracy, with latency and cost per request.

Тавсиф асл тилда

razilzul · ↓ 0 та ўрнатиш

Ўрнатиш

Конфигурацияни мижоз созламаларига қўшинг. <Бурчак қавслар> ичидаги қийматларни ўзингизникига алмаштиринг.

claude_desktop_config.json

{
  "mcpServers": {
    "llm-eval-harness": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "-e",
        "ANTHROPIC_API_KEY",
        "-e",
        "GEMINI_API_KEY",
        "ghcr.io/razilzul/llm-eval-harness:1.0.0"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "<ANTHROPIC_API_KEY>",
        "GEMINI_API_KEY": "<GEMINI_API_KEY>"
      }
    }
  }
}

Ёки битта буйруқ билан — CLI танланган мижоз конфигига қўшади:

CLI

npx ai-point add io.github.razilzul/llm-eval-harness

Инструментлар

Инструментлар рўйхати серверда синов муҳити пайдо бўлганда ёки таҳририят уни тўлдирганда кўринади.

Муаммо ҳақида хабар бериш ↗ (GitHub янги ойнада очилади)