bright-data-best-practices

# Bright Data API Bright Data 为大规模网页数据提取提供基础设施。四种主要 API 涵盖了不同的使用场景——请务必为任务选择最合适的工具。 ## 选择合适的 API | 使用场景 | API | 原因 | |----------|-----|-----| | 通过 URL 抓取任何网页（无需交互） | Web Unlocker | 基于 HTTP，自动绕过机器人检测，成本最低 | | Google / Bing / Yandex 搜索结果 | SERP API | 专用于 SERP 提取，返回结构化数据 | | 从 Amazon, LinkedIn, Instagram, TikTok 等获取结构化数据 | Web Scraper API | 预构建爬虫，无需解析 | | 点击、滚动、填写表单、运行 JS、拦截 XHR | Browser API | 全功能浏览器自动化 | | Puppeteer / Playwright / Selenium 自动化 | Browser API | 通过 CDP/WebDriver 连接 | ## 身份验证模式（所有 API） 所有 API 共享相同的身份验证模型： bash export BRIGHTDATA_API_KEY="your-api-key" # 从控制面板 > 账户设置获取 export BRIGHTDATA_UNLOCKER_ZONE="zone-name" # Web Unlocker 区域名称 export BRIGHTDATA_SERP_ZONE="serp-zone-name" # SERP API 区域名称 export BROWSER_AUTH="brd-customer-ID-zone-NAME:PASSWORD" # Browser API 凭据 Web Unlocker 和 SERP API 的 REST API 身份验证标头： Authorization: Bearer YOUR_API_KEY --- ## Web Unlocker API 基于 HTTP 的抓取代理。最适合无需浏览器交互的简单页面获取。 **端点:** `POST https://api.brightdata.com/request` python import requests response = requests.post( "https://api.brightdata.com/request", headers={"Authorization": f"Bearer {API_KEY}"}, json={ "zone": "YOUR_ZONE_NAME", "url": "https://example.com/product/123", "format": "raw" } ) html = response.text ### 关键参数 | 参数 | 类型 | 描述 | |-----------|------|-------------| | `zone` | string | 区域名称（必填） | | `url` | string | 目标 URL，需包含 `http://` 或 `https://`（必填） | | `format` | string | `"raw"` (HTML) 或 `"json"` (结构化包装)（必填） | | `method` | string | HTTP 谓词，默认为 `"GET"` | | `country` | string | 2 字母 ISO 国家代码，用于地理定位（例如 `"us"`, `"de"`） | | `data_format` | string | 转换格式：`"markdown"` 或 `"screenshot"` | | `async` | boolean | `true` 为异步模式 | ### 快速模式 python # 获取 markdown（最适合 LLM 输入） response = requests.post( "https://api.brightdata.com/request", headers={"Authorization": f"Bearer "}