@FireKnight 这是我们考虑不周，马上改进，添加邮箱登录

@zbuhui2013 这两个工具都需要配置 xpath 这样的操作，非程序员很难使用。我这个工具不需要配置任何东西，用一句大白话说明你要关注的内容就行。

不管是 browser-use 、computer-use 还是 app-use ，都非常有前途，我也坚信这个技术会在近期出现杀手级应用。但是啊，做通用方向的落地难度远超想象，我的建议是，落到具体的某个场景去，这个场景越小越好，仅仅只是替代某个现实岗位的某个日常任务中，他的价值都难以想象。加油！

考虑真实性模拟，最简单的是 playwright ，甚至可以直接拿一个 mac mini ，操作真实浏览器（非无头）；方便程度超出你的想象~~
一般场景用 scrapy 够了
你说的大型，如果是指数据量巨大，那其实爬虫不是重点，手搓 python 脚本都不是问题，问题是 IP 池等各种"反-反爬"处理。
如果指的是网站类型超多（几百几千，甚至几万种），要吗人肉堆脚本，要吗用 AI （安利一下我们的东西：猫头鹰 AI：mtywatch.com ）
如果指的是"突破"难度很大，那么你重点研究的是法律风险

@dacapoday 合理合规使用，没问题的。
最高检，2025 年 11 月 29 号 刚发的解释：厘定边界合理规制网络爬虫行为 https://www.spp.gov.cn//llyj/202511/t20251129_712355.shtml

@lswlray /抱拳/抱拳 多谢建议，您建议的产品功能正在开发中

@shouh @zhangk23 马上上线邮箱登录

@brave256 你问到我们痛点上了，都还没开始想呢。目前所有的心思都放在如何找到第一批使用人群。我只能抱着只要我们把"一句话就能监控网页"这个能力做好，应该有我们一口汤喝-_-!

@BenCoper @x86 我们只做了轻微的“反-反爬”处理，并且把抓取频率控制在最低 15 分钟。

我们这个产品需求的出发点，是为了服务原来一直都存在的一类人群：
1 、因为自己的工作、学业、娱乐的需要，要盯某几个网站；
2 、不是为了获取大量数据，也不会为了秒级抢购，只是需要一天刷几次网站，甚至几天刷一次；
3 、这类人群，愿意为此付出一点点的金钱，但是无法被有效服务（找不到程序员帮忙写爬虫，也学不来八爪鱼这类的工具）；

20 多年前，我接触爬虫技术的时候，就在想办法如何有效服务这些人（挨个写代码配脚本绝对不是好方式，八爪鱼这种方式对普通人还是鸡肋了点）。

这次 AI 技术变革，带来了真正的解决方法。任意一个页面，理论上-_-AI 都能帮你自动识别并抓取。

所以做了这套工具，我们的重点确实不是处理反爬问题，我们的重点只有一个：
相当于你请了一个兼职，每天帮你刷十几次网站，有你关心的数据就通知你；
或者是相当于你请了一个 1 年的程序员，帮你写写代码配脚本，并保证可以持续工作。
而你只要花一点点钱（一个月几块钱）

这是我的初心与设想，不知道是否能有足够的需求群体支撑这个产品走下去（想把 AI 优化的能处理好各种页面和不同需求，难度还挺高 -_-！！）/抱拳/抱拳

@lswlray 重点是因为合规性和防止滥用的考虑，
1 、SaaS 版本只是做内容监控通知，完整内容的抓取，后续会现在浏览器插件版本开发
2 、关于“反-反爬”技术，我们只做轻微的处理（低频率、使用真实浏览器访问）
3 、IP 限制问题，我们仅绕开部分 WAF 会拦截机房 IP 的限制，gfw 的问题不处理，可自行翻墙后用浏览器插件版本
4 、验证码这个问题，暂时不处理

浏览器插件版本会在本月发布