现在有很多自动变换 user-agent 的爬虫,每次访问页面都会换一次 ua ,怎么才能把他们自动拉黑呢,这些爬虫把服务器带宽都占满了
1
hubaq 2025 年 3 月 3 日
V2:上 CF
|
2
Hookery 2025 年 3 月 3 日
这种情况找到对方可以走法律途径起诉。前提是能找到。
|
3
deplives 2025 年 3 月 3 日
换个思路,套一个 cf 吧
|
5
blackeeper 2025 年 3 月 3 日
ua 变化,IP 又不会变化,根据 IP 来做策略就可以了
|
6
voidcomma 2025 年 3 月 3 日
上 recapture (…
|
7
h175h32 OP @blackeeper 难就难在 怎么判断他是有多个 ua
|
8
sslyxhz 2025 年 3 月 3 日
ip 策略,登录限制
|
9
Lshl56B4vDqdixwK 2025 年 3 月 3 日
看看有什么特征吧,爬虫一般用的是 http 1.1 ,干脆把所有 http 1.1 除搜索引擎爬虫的请求全部验证码质询。
|
10
herozzm 2025 年 3 月 4 日 via iPhone
ua 和 ip 都会变就无解,上验证码
|
11
zeusho871 2025 年 3 月 4 日
基于 tls 指纹可以拦截一部分,然后麻烦的需要用 ip 加行为风控
|
12
Dragonish3600 2025 年 3 月 4 日
直接屏蔽所有云厂商的 CIDR
|