arunjeyaprasad

mcp-rag-web-scraperは、ウェブサイトから情報を収集し、オフラインの知識ベースを構築するためのカスタマイズ可能なウェブスクレイパーです。この知識ベースは、自然言語クエリを使用して検索でき、MCPシステムとの統合もサポートされています。スケジュールされたスクレイピングやrobots.txtのオーバーライド機能を備えています。