FastAPI-BitNet
FastAPI-BitNetは、llama.cppベースのBitNetモデルインスタンスを管理するための堅牢なREST APIを提供します。このプロジェクトは、開発者や研究者が自動テスト、ベンチマーク、インタラクティブチャットセッションをプログラム的に制御できるように設計されています。セッション管理、バッチ操作、モデルベンチマーキングなどの機能を備えています。
GitHubスター
34
ユーザー評価
未評価
お気に入り
0
閲覧数
20
フォーク
8
イシュー
0
技術情報
プログラミング言語
Python主要言語
システム要件
Docker Desktop: Latest versionConda: Latest version (or another Python environment manager)Python: 3.10+提供機能
セッション管理: 複数の`llama-cli`および`llama-server`セッションを開始、停止、状態確認
バッチ操作: 一度のAPI呼び出しで複数のインスタンスを初期化、シャットダウン、チャット
インタラクティブチャット: 実行中のBitNetセッションにプロンプトを送信し、クリーンなモデル応答を受信
モデルベンチマーキング: GGUFモデルのベンチマークをプログラム的に実行し、パープレキシティを計算
リソース推定: 利用可能なシステムRAMとCPUスレッドに基づいて最大サーバー容量を推定
VS Code統合: Model Context Protocolを介してGitHub Copilot Chatに直接接続
自動APIドキュメント: Swagger UIおよびReDocによるインタラクティブなAPIドキュメント
安全性分析
安全性スコア
安全100/100
推奨対象者
AI/LLMに関心のある開発者や研究者、特にFastAPIやDockerを使用したアプリケーションの開発に携わる人々に推奨されます。
メンテナンス状況
アクティブGitHubトピック
1-bitbenchmarkingbitnetdockerfastapiinferencellmmodel-context-protocolmulti-chatperplexitypythonserver-orchestrationuvicorn