AI Atlas

研究与数据 · 开发者工具

Webscraping AI MCP Server logo

Webscraping AI MCP Server

webscraping-ai/webscraping-ai-mcp-server

WebScraping.AI MCP服务器是一个集成网络数据提取功能的协议服务实现，提供多种网页内容处理工具。

在 GitHub 查看4

安装

npx -y webscraping-ai-mcp

客户端配置

{
  "mcpServers": {
    "mcp-server-webscraping-ai": {
      "command": "npx",
      "args": [
        "-y",
        "webscraping-ai-mcp"
      ],
      "env": {
        "WEBSCRAPING_AI_API_KEY": "<WEBSCRAPING_AI_API_KEY>",
        "WEBSCRAPING_AI_CONCURRENCY_LIMIT": "<WEBSCRAPING_AI_CONCURRENCY_LIMIT>",
        "WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING": "<WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING>"
      }
    }
  }
}

环境变量

WEBSCRAPING_AI_API_KEYWEBSCRAPING_AI_CONCURRENCY_LIMITWEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXINGWEBSCRAPING_AI_DEFAULT_PROXY_TYPEWEBSCRAPING_AI_DEFAULT_JS_RENDERINGWEBSCRAPING_AI_DEFAULT_TIMEOUTWEBSCRAPING_AI_DEFAULT_JS_TIMEOUT
GitHub 星标
4
作者
@webscraping-ai
分类
研究与数据, 开发者工具
许可证
MIT
更新于
2026年10月6日

工具（12）

  • country

    Two-letter country code of the proxy used to fetch the page, us by default.

  • transcript_language

    Caption language to pick, e.g. en or de.

  • timeout

    Maximum web page retrieval time in ms (15000 by default, maximum is 30000)

  • js

    Execute on-page JavaScript using a headless browser (true by default)

  • js_timeout

    Maximum JavaScript rendering time in ms (2000 by default)

  • wait_for

    CSS selector to wait for before returning the page content

  • proxy

    Type of proxy: datacenter, residential, or stealth (residential by default).

  • custom_proxy

    Your own proxy URL in "http://user:password@host:port" format

  • device

    Type of device emulation.

  • error_on_404

    Return error on 404 HTTP status on the target page (false by default)

  • error_on_redirect

    Return error on redirect on the target page (false by default)

  • js_script

    Custom JavaScript code to execute on the target page

本页信息摘自该项目的 README。 查看 README

支持的客户端

该服务器 README 中提到的客户端：

查看全部
Claude Desktop logo

Claude Desktop

桌面端 · 免费增值 · Proprietary

Anthropic 官方推出的 Claude AI 桌面应用程序。支持 MCP 服务器以扩展功能。

WindowsMacOS
Cursor logo

Cursor

桌面端 · 免费增值 · Proprietary

首个代理式 IDE。Cursor 编辑器让开发者与 AI 的工作真正融合在一起，提供如魔法般的编码体验。

WindowsMacOSLinux

相关 MCP 服务器

更多服务器
Firecrawl MCP Server logo

Firecrawl MCP Server

mendableai/firecrawl-mcp-server

2.8k

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供丰富的网页抓取、搜索和内容提取功能。

研究与数据
Exa Web Search logo

Exa Web Search

exa-labs/exa-mcp-server

1.4k

Exa MCP Server是一个为AI助手（如Claude）提供网络搜索功能的服务器，通过Exa AI搜索API实现实时、安全的网络信息获取。

研究与数据
ArXiv logo

ArXiv

blazickjp/arxiv-mcp-server

1k

ArXiv MCP Server是一个连接AI助手与arXiv研究库的桥梁，通过MCP协议实现论文搜索和内容访问功能。

研究与数据
sail logo

sail

lakehq/sail

730

Sail是一个旨在统一流处理、批处理和计算密集型（AI）工作负载的项目，提供了Spark SQL和Spark DataFrame API的替代方案，支持单机和分布式环境。

研究与数据

OpenAPI Proxy

janwilmake/openapi-mcp-server

554

一个为Claude/Cursor设计的OpenAPI规范探索服务器，通过三步流程帮助用户搜索和理解API文档。

研究与数据
Excel MCP Server logo

Excel MCP Server

haris-musa/excel-mcp-server

393

一个无需安装Excel即可操作Excel文件的MCP服务，支持创建工作簿、读写数据、格式设置、图表生成等功能。

研究与数据