在这个互联网时代,各行各业都需要大数据的支持,所以孕育出一大批爬虫工作者,而爬虫是离不开住宅IP的,所以同时又带动了住宅IP行业,都是相辅相成的,但是有很多人在爬虫时会遇到各种各样的问题,比如使用海外住宅代理访问目标网站时回应自己一些各种各样的错误代码,那么这些错误代码是什么意思?又怎么解决呢?
尤其是我们在做海外爬虫业务时经常会遇到拒绝访问(即403)或者出现407错误代码,使很多业务人员很头疼,下面我们一起来看看发生这两种情况的原因。
一. 当使用海外住宅IP访问Http协议的网站时:
A. 使用浏览器设置住宅IP访问:
1. 浏览器弹出输入框,让输入用户名密码,当你输入错误的信息以后点“登录”会继续弹出输入框,当你点“取消”之后,页面显示报错信息“拒绝访问”。
这种情况表示授权出现了错误,需要检查授权设置是什么模式,如果是IP绑定模式,那么需要核查白名单里的IP地址是否正确或者是否动态IP的带宽。如果是账号密码模式,需要检查账号密码是否输入正确。
2. 网页直接显示报错信息“拒绝访问”。
这种情况表示使用住宅IP请求网址太过频繁,并发太大,需要降低请求频率或者购买单提数量更高的套餐(假如使用的短效优质代理的话),还有一种几率比较小的可能性为访问了黑名单里的网站。
B. 使用代码连接住宅IP访问:
1. 返回407错误代码。这种情况很明确是表示授权出现了错误。
2. 返回403错误,html里有“拒绝访问”字样。
这种情况表示使用住宅IP请求网址太过频繁,并发太大,需要降低请求频率或者购买单提IP数量更高的套餐(假如使用的短效优质代理的话),还有一种几率比较小的可能性,就是访问了黑名单里的网站。
二. 使用海外住宅IP返回“403无法访问”时:
A. 使用浏览器设置住宅IP访问:
1. 浏览器弹出输入框,让输入用户名密码,当输入错误的信息以后点“登录”会继续弹出输入框,当点“取消”之后,页面显示的是浏览器自身输出的报错“无法访问网站”。
这种情况表示授权出现了错误,需要检查授权设置是什么模式,如果是IP绑定模式,那么需要核查白名单里的IP地址是否正确或者是否动态IP的带宽。如果是账号密码模式,需要检查账号密码是否输入正确。
2. 网页直接显示浏览器自身输出的报错“无法访问网站”。这种情况发生的原因有三种可能性: 该住宅IP已经失效了,超出了存活期去使用。
使用住宅IP请求网址太过频繁,并发太大,需要降低请求频率或者购买单提数量更高的套餐(假如使用的短效优质代理的话)。
访问了黑名单里的网站。
Smartproxy是海外住宅代理服务器提供商,IP可以精准定位城市级,每个月都会更新IP池,一手IP,服务于大数据采集领域帮助企业/个人快速高效获取数据源,真的非常便宜实惠,而已速度快又很稳定。