patronus-mcp-server

Patronus MCP Serverは、Patronus SDKのためのMCPサーバー実装であり、強力なLLMシステムの最適化、評価、実験を行うための標準化されたインターフェースを提供します。APIキーとプロジェクト設定を使用して初期化し、単一またはバッチ評価を実行できます。

GitHubスター

13

ユーザー評価

未評価

お気に入り

0

閲覧数

23

フォーク

3

イシュー

0

インストール方法
難易度
中級
推定所要時間
10-20
必要な環境
Python 3.7以上
pipの最新バージョン

インストール方法

インストール方法

前提条件

必要なソフトウェアとバージョンを明記してください。
Python: 3.7以上
pip: 最新版

インストール手順

1. リポジトリのクローン

bash
git clone https://github.com/patronus-ai/patronus-mcp-server.git
cd patronus-mcp-server

2. 仮想環境の作成とアクティブ化

bash
python -m venv .venv
source .venv/bin/activate  # Windowsの場合: .venv\Scripts\activate

3. 依存関係のインストール

bash
uv pip install -e .
uv pip install -e ".[dev]"

トラブルシューティング

よくある問題

問題: サーバーが起動しない 解決策: Pythonのバージョンを確認し、依存関係を再インストールしてください。

設定方法

設定方法

基本設定

APIキーの設定

環境変数にAPIキーを設定することができます。
bash
export PATRONUS_API_KEY=your_api_key_here

詳細設定

セキュリティ設定

APIキーは環境変数または安全な設定ファイルに保存
ファイルアクセス権限の適切な設定

設定例

環境変数設定

bash
export PATRONUS_API_KEY="your-api-key"

使用例

使用例

サーバーの起動

APIキーを指定してサーバーを起動する方法は以下の通りです:

コマンドライン引数を使用

bash
python src/patronus_mcp/server.py --api-key your_api_key_here

環境変数を使用

bash
export PATRONUS_API_KEY=your_api_key_here
python src/patronus_mcp/server.py

単一評価の実行

python
from patronus_mcp.server import Request, EvaluationRequest, RemoteEvaluatorConfig

request = Request(data=EvaluationRequest(
    evaluator=RemoteEvaluatorConfig(
        name="lynx",
        criteria="patronus:hallucination",
        explain_strategy="always"
    ),
    task_input="What is the capital of France?",
    task_output="Paris is the capital of France.",
    task_context=["The capital of France is Paris."],
))
response = await mcp.call_tool("evaluate", {"request": request.model_dump()})

使用ケース

特定のプロジェクトに対するAIモデルの性能評価
複数の評価基準を用いたAIシステムのバッチ評価
データセットを用いたAIモデルの実験と最適化
APIを通じて評価結果を取得し、結果を分析する

追加リソース