@
BenCoper @
x86 我们只做了轻微的“反-反爬”处理,并且把抓取频率控制在最低 15 分钟。
我们这个产品需求的出发点,是为了服务原来一直都存在的一类人群:
1 、因为自己的工作、学业、娱乐的需要,要盯某几个网站;
2 、不是为了获取大量数据,也不会为了秒级抢购,只是需要一天刷几次网站,甚至几天刷一次;
3 、这类人群,愿意为此付出一点点的金钱,但是无法被有效服务(找不到程序员帮忙写爬虫,也学不来八爪鱼这类的工具);
20 多年前,我接触爬虫技术的时候,就在想办法如何有效服务这些人(挨个写代码配脚本绝对不是好方式,八爪鱼这种方式对普通人还是鸡肋了点)。
这次 AI 技术变革,带来了真正的解决方法。任意一个页面,理论上-_-AI 都能帮你自动识别并抓取。
所以做了这套工具,我们的重点确实不是处理反爬问题,我们的重点只有一个:
相当于你请了一个兼职,每天帮你刷十几次网站,有你关心的数据就通知你;
或者是相当于你请了一个 1 年的程序员,帮你写写代码配脚本,并保证可以持续工作。
而你只要花一点点钱(一个月几块钱)
这是我的初心与设想,不知道是否能有足够的需求群体支撑这个产品走下去(想把 AI 优化的能处理好各种页面和不同需求,难度还挺高 -_-!!)/抱拳/抱拳