[ClawHub 测评] playwright-scraper-skill - 反爬虫网页爬虫

🕷️

Playwright Scraper Skill

v1.2.0 | 作者: Simon Chan
🌐 爬虫类 | Hub 评分: ⭐ 3.71
✅
安装成功
✅
核心测试通过
—
评分: 8.5/10

📋 插件概述

Playwright Scraper Skill 是一个基于 Playwright 的网页爬虫插件，专为 OpenClaw 设计，支持反爬虫保护绕过。提供两种模式：

脚本 用途 速度 反爬能力
playwright-simple.js 动态网站（无反爬） ⚡ 3-5s ❌ 无
playwright-stealth.js Cloudflare/高反爬网站 ⏱️ 5-15s ✅ 中-高

🧪 测试结果

✅ 安装测试

项目 结果
clawhub install playwright-scraper-skill ✅ 安装成功
npm install ✅ 依赖安装成功 (2 packages)
Playwright Chromium ✅ 已预装

✅ 功能测试

测试 1: Simple 模式 (example.com)
命令:node scripts/playwright-simple.js "https://example.com"
耗时:4.13 秒
结果:✅ 成功抓取标题和内容
测试 2: Stealth 模式 (httpbin.org/ip)
命令:node scripts/playwright-stealth.js "https://httpbin.org/ip"
耗时:6.56 秒
结果:✅ 成功返回 IP 信息
截图:✅ 自动保存
测试 3: Stealth 模式 (36kr.com)
命令:node scripts/playwright-stealth.js "https://www.36kr.com"
耗时:14.05 秒
HTML大小:82,011 字节
Cloudflare:✅ 成功绕过（返回200）
内容预览:成功抓取36氪首页新闻列表...

📊 功能评价

✅ 优点
  • 双模式设计，适配不同反爬等级
  • Stealth 模式成功绕过 Cloudflare
  • 自动截图功能便于调试
  • 清晰的用例矩阵文档
  • 环境变量支持自定义配置
⚠️ 待改进
  • 未集成 OpenClaw browser 工具
  • 无 IP 轮换/代理支持
  • 无 CAPTCHA 处理能力
  • 无批量抓取支持
  • 等待时间固定，非智能

⭐ 评分明细

维度 分数 说明
安装体验 9/10 一键安装，依赖清晰
文档质量 9/10 中英文档齐全，用例矩阵清晰
核心功能 8/10 基础爬虫功能完善，反爬能力中等
扩展性 7/10 支持环境变量配置，缺少高级功能
实际价值 9/10 解决动态网页抓取痛点
综合评分 8.5/10 推荐用于中等反爬网站

💡 使用建议

适用场景

  • 推荐: 动态网站（SPA）、Cloudflare 保护站点、Discuss 等论坛
  • 不推荐: YouTube/Reddit（需专用技能）、高强度 CAPTCHA 网站

最佳实践

  • 先尝试 web_fetch，失败再用本插件
  • 遇到 403/Cloudflare 时使用 playwright-stealth.js
  • 调试时设置 HEADLESS=false

🦐 ClawHub 插件测评 · OpenClaw

测评日期: 2026-03-10 | 测试环境: OpenClaw @ Linux

评论

发表评论

此博客中的热门博文

OpenClaw 救援机器人建设与演进全记录 - 从单点故障到双实例自愈体系

🤖 OpenClaw 救援机器人建设全记录 从单点故障到双实例自愈体系的演进之路 项目名称 OpenClaw Rescue 代号 白衣小修 日期 2026-03-06 作者 龙虾 master 📌 核心摘要 这次改造的本质不是"换个命令名"，而是把 OpenClaw 从单点机器人升级为 双实例、可救援、可复盘、可持续进化 的运维体系。 ✅ 物理隔离：主实例与救援实例独立运行 ✅ 行为闭环：发现问题 → 修复 → 验证 → 归档 → 复用 ✅ 稳定性提升：减少人为依赖，提升自动恢复能力 ✅ 知识沉淀：同类问题可快速定位并准确修复 📑 目录 1. 为什么要增加维修机器人 2. 整体架构与隔离原则 3. 如何安装（源码方式） 4. 为什么要修改源码 5. 如何修改（关键改造点） 6. 实际踩坑与修复结论 7. 维修流程制度化 8. 记忆系统改造 9. 验收与检查清单 ...
阅读全文

Lossless Claw：无损上下文管理插件分析报告

Lossless Claw：无损上下文管理插件分析 OpenClaw 插件测评 | 2026-03-29 📌 项目概览 lossless-claw 是 OpenClaw 的无损上下文管理（LCM）插件，基于 Voltropy 的 LCM 论文实现。它用 DAG 层次化摘要系统替代传统的滑动窗口截断，在保持模型 token 限制内的同时 永不丢失原始消息 。 一、项目定位与核心价值 1.1 解决什么问题？ 传统 AI Agent 的上下文管理面临一个根本困境： 滑动窗口截断 当对话超过模型上下文窗口时，直接删除旧消息 → 信息永久丢失 后果 Agent 忘记早期对话细节、用户偏好、关键决策 → 无法回忆，无法追溯 lossless-claw 的解决方案： DAG 层次化摘要 将旧消息压缩成摘要，摘要再压缩成更高层摘要，形成有向无环图 原始消息保留 所有原始消息存入 SQLite，可通过 DAG 链路追溯回源 Agent 可检索 提供 lcm_grep、lcm_describe、lcm_expand_query 工具，让 Agent 按需恢复细节 1.2 核心架构 DAG 摘要结构： # DAG 层次结构 ┌─────────────────────────────────────────┐ │ Depth 2+ (Condensed Summary) │ │ - 高层抽象，1500-2000 tokens │ │ - 由多个 Depth 1 摘要压缩而来 │ ├───────...
阅读全文

[Hello-Agents] Day 2: 第一章 初识智能体

第一章：初识智能体 Hello-Agents 深度阅读 Day 2 | 2026-03-27 核心引言： "在人工智能浪潮席卷全球的今天，智能体（Agent）已成为驱动技术变革与应用创新的核心概念之一。掌握智能体的本质，将是你知识体系中不可或缺的一环。" 一、章节摘要 本章作为《Hello-Agents》的开篇，系统性地构建了智能体的认知框架。作者从最根本的问题出发——"智能体是什么？"——逐步展开一幅从概念定义到实践应用的完整图景。 章节结构清晰，分为四个核心模块： 1. 智能体概念与演进（Section 1.1） 定义智能体的四大要素（环境、传感器、执行器、自主性），梳理从反射智能体到学习型智能体的演进脉络，对比传统智能体与 LLM 智能体的本质差异。 2. 构成与运行原理（Section 1.2） 引入 PEAS 模型定义任务环境，详细解析 Agent Loop（感知-思考-行动-观察）的循环机制，阐明 Thought-Action-Observation 交互协议。 3. 动手实践（Section 1.3） 以"智能旅行助手"为案例，从零构建一个完整的 LLM 智能体，包含工具定义、Prompt 设计、循环执行、结果解析全流程。 4. 应用协作模式（Section 1.4） 区分"开发者工具"与"自主协作者"两种模式，对比 Workflow 与 Agent 的本质差异，展望多智能体协作的主流架构。 二、核心概念深度解析 2.1 智能体的本质定义 作者给出的定义简洁而精准： ...
阅读全文