MCPBench
MCPBenchは、MCPサーバーの評価フレームワークであり、Web検索、データベースクエリ、GAIAの3種類のサーバーをサポートしています。タスクの完了精度、レイテンシー、トークン消費量を評価し、同じLLMとエージェントの設定で比較します。特に、Brave SearchやDuckDuckGoなどのサーバーの性能を測定するために設計されています。
GitHubスター
201
ユーザー評価
未評価
お気に入り
0
閲覧数
5
フォーク
11
イシュー
6
インストール方法
難易度
中級推定所要時間
10-20 分
インストール方法
インストール方法
前提条件
Python: 3.11以上
Node.js: 最新版
jq: 最新版
インストール手順
1. 環境の作成
bash
conda create -n mcpbench python=3.11 -y
conda activate mcpbench
2. 依存関係のインストール
bash
pip install -r requirements.txt