如果使用CDN或者负载均衡,php页面是否会也会通过多个服务器执行呢?
现在我有一个服务器使用curl抓取页面,被对方给封了,如果我使用cdn或者负载均衡,php页面是否会被不同服务器执行?
如果可以的话,那这样IP就不一样了,是否就能绕过对方的封锁?
你使用CDN是什么意思?
给我的理解是:你想抓取某一个PHP网站的信息,但是目前只能单个点去抓取,频率太高,被封IP了?这样的话,你怎么使用CDN?
CDN是那些需要被用来访问的网站使用了,而不是请求方使用的。
你最好确认一下对方封你IP的策略是什么?单位时间内请求次数?大概多少次?还有就是请求header是否有限制?比如你伪装成浏览器的请求,加一下refer之类的试试?
如果真是对IP限制的话,你就只能通过不同地区、不同网络来抓取了。至于实现方式:像黑客攻击那样,控制一些肉机;使用多个代理向网站发请求......
给我的理解是:你想抓取某一个PHP网站的信息,但是目前只能单个点去抓取,频率太高,被封IP了?这样的话,你怎么使用CDN?
CDN是那些需要被用来访问的网站使用了,而不是请求方使用的。
你最好确认一下对方封你IP的策略是什么?单位时间内请求次数?大概多少次?还有就是请求header是否有限制?比如你伪装成浏览器的请求,加一下refer之类的试试?
如果真是对IP限制的话,你就只能通过不同地区、不同网络来抓取了。至于实现方式:像黑客攻击那样,控制一些肉机;使用多个代理向网站发请求......
温馨提示:答案为网友推荐,仅供参考
第1个回答 2014-07-07
可以使用透明代理,透过没有被封的IP(尽量不要跟被封IP在一个网段,因为可能整个网段都被封了)抓取。另外抓取的时候,注意抓取频率,不要太频繁。
第2个回答 2014-07-07
负载均衡只是相对的 你的公网IP还是固定的,不会切换IP,无法绕过。追问
那请问有其他办法吗?
追答这难倒我了,IP都被拉入黑名单了 还真不知道咋整。