patronus-mcp-server
Patronus MCP Serverは、Patronus SDKのためのMCPサーバー実装であり、強力なLLMシステムの最適化、評価、実験を行うための標準化されたインターフェースを提供します。APIキーとプロジェクト設定を使用して初期化し、単一またはバッチ評価を実行できます。
GitHubスター
13
ユーザー評価
未評価
お気に入り
0
閲覧数
23
フォーク
3
イシュー
0
インストール方法
難易度
中級推定所要時間
10-20 分
必要な環境
Python 3.7以上
pipの最新バージョン
インストール方法
インストール方法
前提条件
必要なソフトウェアとバージョンを明記してください。Python: 3.7以上
pip: 最新版
インストール手順
1. リポジトリのクローン
bash
git clone https://github.com/patronus-ai/patronus-mcp-server.git
cd patronus-mcp-server
2. 仮想環境の作成とアクティブ化
bash
python -m venv .venv
source .venv/bin/activate # Windowsの場合: .venv\Scripts\activate
3. 依存関係のインストール
bash
uv pip install -e .
uv pip install -e ".[dev]"
トラブルシューティング
よくある問題
問題: サーバーが起動しない 解決策: Pythonのバージョンを確認し、依存関係を再インストールしてください。設定方法
設定方法
基本設定
APIキーの設定
環境変数にAPIキーを設定することができます。bash
export PATRONUS_API_KEY=your_api_key_here
詳細設定
セキュリティ設定
APIキーは環境変数または安全な設定ファイルに保存
ファイルアクセス権限の適切な設定
設定例
環境変数設定
bash
export PATRONUS_API_KEY="your-api-key"
使用例
使用例
サーバーの起動
APIキーを指定してサーバーを起動する方法は以下の通りです:コマンドライン引数を使用
bash
python src/patronus_mcp/server.py --api-key your_api_key_here
環境変数を使用
bash
export PATRONUS_API_KEY=your_api_key_here
python src/patronus_mcp/server.py
単一評価の実行
python
from patronus_mcp.server import Request, EvaluationRequest, RemoteEvaluatorConfig
request = Request(data=EvaluationRequest(
evaluator=RemoteEvaluatorConfig(
name="lynx",
criteria="patronus:hallucination",
explain_strategy="always"
),
task_input="What is the capital of France?",
task_output="Paris is the capital of France.",
task_context=["The capital of France is Paris."],
))
response = await mcp.call_tool("evaluate", {"request": request.model_dump()})
使用ケース
特定のプロジェクトに対するAIモデルの性能評価
複数の評価基準を用いたAIシステムのバッチ評価
データセットを用いたAIモデルの実験と最適化
APIを通じて評価結果を取得し、結果を分析する