php采集时被封ip的解决方法
作者:bea
在网上找了一些资料都没有找到,功夫不负有心人啊,在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了,列出我的解决方法, 1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 查看搜索引擎爬虫的USERAGENT值:http:///yunying/29357.html 2.使用Snoopy或curl传referer值。 如:$snoopy->referer = 'http://www.google.com'; $h
在网上找了一些资料都没有找到,功夫不负有心人啊,在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了,列出我的解决方法,
1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。
查看搜索引擎爬虫的USERAGENT值:
http:///yunying/29357.html
2.使用Snoopy或curl传referer值。
如:$snoopy->referer = 'http://www.google.com';
$header[] = "Referer: http://www.google.com/";
3.使用Snoopy或curl代理。
如:$snoopy->proxy_host = "59.108.44.41";
$snoopy->proxy_port = "3128";
4.使用Snoopy或curl防造IP。
如:$snoopy->rawheaders['X_FORWARDED_FOR'] = '127.0.0.1';
5.用php与一个重起路由的程序,这样就会获得新的ip地址。
6.如果发现重起路由还是显示被封,有可能对方封了你的mac地址,现在路由器都有伪造MAC的功能,可以写程序或手动修改路由器的MAC地址,网上也有专门修改网卡mac地址的工具。
有用 | 无用
1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。
查看搜索引擎爬虫的USERAGENT值:
http:///yunying/29357.html
2.使用Snoopy或curl传referer值。
如:$snoopy->referer = 'http://www.google.com';
$header[] = "Referer: http://www.google.com/";
3.使用Snoopy或curl代理。
如:$snoopy->proxy_host = "59.108.44.41";
$snoopy->proxy_port = "3128";
4.使用Snoopy或curl防造IP。
如:$snoopy->rawheaders['X_FORWARDED_FOR'] = '127.0.0.1';
5.用php与一个重起路由的程序,这样就会获得新的ip地址。
6.如果发现重起路由还是显示被封,有可能对方封了你的mac地址,现在路由器都有伪造MAC的功能,可以写程序或手动修改路由器的MAC地址,网上也有专门修改网卡mac地址的工具。
有用 | 无用
猜你喜欢
您可能感兴趣的文章:
- php下使用curl模拟用户登陆的代码
- PHP获取表单textarea数据中的换行问题
- php header示例代码(推荐)
- php下清空字符串中的HTML标签的代码
- 在PHP中PDO解决中文乱码问题的一些补充
- 检测png图片是否完整的php代码
- 晋城吧对DiscuzX进行的前端优化要点
- 用PHP将数据导入到Foxmail的实现代码
- 提高PHP编程效率的53个要点(经验小结)
- 队列在编程中的实际应用(php)
- php生成随机密码的三种方法小结
- PHP安全技术之 实现php基本安全
- 小文件php+SQLite存储方案
- PHP中文件上传的一个问题
- PHP程序员面试 切忌急功近利(更需要注重以后的发展)
- php中函数的形参与实参的问题说明
- php数据库连接时容易出错的特殊符号问题
- PHP下利用header()函数设置浏览器缓存的代码
- 使用bcompiler对PHP文件进行加密的代码