data-feeds

# Bright Data - 结构化数据源 从主流网站提取结构化数据并进行自动解析。无需编写抓取逻辑 - 只需提供 URL 即可获得清晰的 JSON 数据。 ## 设置 ### 环境变量 (必需) bash export BRIGHTDATA_API_KEY="your-api-key" ### 可选 bash export BRIGHTDATA_POLLING_TIMEOUT=600 # 最大等待秒数 (默认: 600) 从 [Bright Data 控制面板](https://brightdata.com/cp) 获取您的 API 密钥。 ## 使用方法 bash bash scripts/datasets.sh [additional_params...] ## 可用数据集 ### 电子商务 | 数据集 | 命令 | 描述 | |---------|---------|-------------| | Amazon 产品 | `datasets.sh amazon_product ` | 产品详情、定价、评分 | | Amazon 评论 | `datasets.sh amazon_product_reviews ` | 产品的客户评论 | | Amazon 搜索 | `datasets.sh amazon_product_search ` | 搜索结果 | | Walmart 产品 | `datasets.sh walmart_product ` | Walmart 产品详情 | | Walmart 卖家 | `datasets.sh walmart_seller ` | 卖家信息 | | eBay 产品 | `datasets.sh ebay_product ` | eBay 列表详情 | | Home Depot | `datasets.sh homedepot_products ` | Home Depot 产品数据 | | Zara | `datasets.sh zara_products ` | Zara 产品详情 | | Etsy | `datasets.sh etsy_products ` | Etsy 列表数据 | | Best Buy | `datasets.sh bestbuy_products ` | Best Buy 产品信息 | ### 专业网络 | 数据集 | 命令 | 描述 | |---------|---------|-------------| | LinkedIn 个人 | `datasets.sh linkedin_person_profile ` | 个人资料数据（经历、技能） | | LinkedIn 公司 | `datasets.sh linkedin_company_profile ` | 公司页面数据 | | LinkedIn 职位 | `datasets.sh linkedin_job_listings ` | 职位发布详情 | | LinkedIn 帖子 | `datasets.sh linkedin_posts ` | 帖子内容和互动 | | LinkedIn 搜索 | `datasets.sh linkedin_people_search ` | 查找人员 | | Crunchbase | `datasets.sh crunchbase_company ` | 公司融资、员工 | | ZoomInfo | `datasets.sh zoominfo_company_profile ` | 公司资料数据 | ### Instagram | 数据集 | 命令 | 描述 | |---------|---------|-------------| | 个人资料 | `datasets.sh instagram_profiles ` | 简介、关注者、关注中 | | 帖子 | `datasets.sh instagram_posts ` | 帖子详情、点赞、说明文字 | | Reels | `datasets.sh instagram_reels ` | Reels 详情 |