分布式国际如何使用代理IP呢?_千亿国际棋牌app下载 分布式国际如何使用代理IP呢?_千亿国际棋牌app下载

千亿国际棋牌官网

您的位置:首页 >文章内容
分布式国际如何使用代理IP呢?
来源: 作者:admin 时间:2018-10-31 15:00:00

大家都知道,国际工作与代理ip息息相关,没有代理ip,工作的难度将会大大增加,那么国际工作是如何使用代理ip的呢?请看下面分析。


方案一、每个进程从接口API中随机取一个IP列表(比如一次提取100个IP)来循环使用,失败则再调用API国际,大概逻辑如下:

1、每个进程(或线程),从接口随机取回一批IP回来,循环尝试IP列表去抓取数据;

2、如果访问成功,则继续抓取下一条。

3、如果失败了(比如超时、出现验证码等),再从接口取一批IP,继续尝试。

方案缺点:每个IP都是有有效期的,如果提取了100个,当使用了第10个的时候,可能后面的大部分都失效了。如果你appHTTP请求的时候连接时间超时为3秒,读取时间超时为5秒,那你将会有可能浪费3-8秒的时间,说不定这3-8秒已经可以抓取几十次了。



方案二:先提取大量IP导入本地数据库,从数据库里面取IP,大概逻辑如下:

1、在数据库里面建一个表,写一个导入脚本,每分钟请求多少次API(咨询代理IP服务商建议),把IP列表导入到数据库里面。

2、在数据库里面记录好 导入时间、IP、Port、过期时间、IP可用状态 等字段;

3、写一个抓取脚本,抓取脚本从数据库里面读取可用IP,每个进程从数据库国际一个IP进行使用。

4、执行抓取,对结果进行判断,处理cookie等,只要出现验证码或者失败就放弃这个IP,重新换一个IP。


第二种方案有效的避开了下载资源的消耗,有效的分配代理IP的使用,更加的高效和稳定,保障了国际工作的持久性和稳定性。除此之外,选择一款高效稳定的代理IP软件也是非常重要的,对于国际工作是非常便捷的。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 03 2018-12
    有关在线代理的详细介绍

    首先给大家介绍一下什么是在线代理。在线代理英文全称是(Web ProxyServer),又称在线代理。下载其功能就是代理网络用户去取得网络信息

  • 20 2019-11
    服务器如何识别代理ip的匿名?

    服务器如何识别代理ip的匿名?我们知道代理ip分为透明、普通和高匿三种类型,但是这三种类型是如何被服务器识别并进行访问和关注的呢?其实很简单,一般都是通过头部信息的字段进行判断,

  • 20 2018-10
    动态IP和代理ip软件有什么区别

    首先给大家简单介绍一下动态IP和代理ip软件的概念,请看下面。

  • 04 2019-06
    怎样才能找到可用的棋牌代理ip

    ​怎样才能找到可用的棋牌代理ip呢?现在网络上有很多ip代理软件,对于大多数人而言,多数棋牌ip代理软件功能单一且收费高昂,性价比不高,不能不用,但用起来肉疼。这样的情况比比皆是

在线客服

QQ资讯

上班时间

日博最新备用网址龙八国际app客户端下载千亿国际棋牌手机官网永利国际402娱乐网站