mcp-evals
A Node.js package and GitHub Action for evaluating MCP (Model Context Protocol) tool implementations using LLM-based scoring. This helps ensure your MCP server's tools are working correctly and performing well.
GitHubスター
92
ユーザー評価
未評価
お気に入り
0
閲覧数
16
フォーク
8
イシュー
5
インストール方法
難易度
初級推定所要時間
5-10 分
インストール方法
インストール方法
前提条件
必要なソフトウェアとバージョンを明記してください。Node.js: 18.0.0以上
npm: 8.0.0以上
インストール手順
1. リポジトリのクローン
bash
git clone https://github.com/mclenhard/mcp-evals.git
cd mcp-evals
2. 依存関係のインストール
bash
npm install
3. GitHub Actionとしての設定
ワークフローファイルに以下を追加してください：yaml
name: Run MCP Evaluations
on:
pull_request:
types: [opened, synchronize, reopened]
jobs:
evaluate:
runs-on: ubuntu-latest
permissions:
contents: read
pull-requests: write
steps:
- uses: actions/checkout@v4
- name: Setup Node.js
uses: actions/setup-node@v4
with:
node-version: '20'
- name: Install dependencies
run: npm install
- name: Run MCP Evaluations
uses: mclenhard/mcp-evals@v1.0.9
with:
evals_path: 'src/evals/evals.ts'
server_path: 'src/index.ts'
openai_api_key: ${{ secrets.OPENAI_API_KEY }}
model: 'gpt-4'