geoseis

我根据爬虫大神崔庆才的脚本做了个一个代理池，把他的脚本优化了下，代理池非常稳定，而且加入了IP统计功能。

我们都知道，频繁拨号势必会碰到重复IP，这时候就需要把每个IP放到Redis哈希表中：

这时候大家可以看到，刚拨号几分钟就出现了很多重复IP。大家不必去试我的IP代理，都是做了加密的O(∩_∩)O

还有一个功能，我加入了拨号失败的智能判断。崔大神的代码应该没怎么优化，实际生产中拨号VPS很容易连续拨号失败然后再也不能联网了。它的表现是能拨到IP但是这个时候已经没有网络了，这个时候需要重启，实在不行就要联系售后了，售后会设置一个新的拨号账户，然后你才能继续拨号。代码实现很简单，把每次拨号的IP放到一个list,让list始终保持三个元素，>= 3就pop第一个元素出来，这样这个列表中保存的始终是最近拨出的3个IP，如果三个都是invalid，那么就需要重启机器了，没必要再等待。崔大神的脚本bug之一就在这里，没有处理拨号失败的问题。当然，拨号之前需要把redis中的当前机器的IP删除。

            if self.test_proxy(proxy):
                logger.info(f'Valid proxy {proxy}')
                # 将代理放入数据库
                self.set_proxy(proxy)
                self.ip_validity_statistics('valid')                      
                time.sleep(DIAL_CYCLE)
            else:
                logger.error(f'Proxy invalid {proxy}')
                # 连续三次拨号无效
                self.ip_validity_statistics('invalid')                                   
                if len(self.invalid_ip_list) > 0:
                    if self.invalid_ip_list.count('invalid') == 3:
                        logger.error('连续三次拨号失败!从代理池删除IP并重启系统.......')
                        self.remove_proxy()
                        os.system('/usr/sbin/shutdown -r now')                        
                time.sleep(DIAL_ERROR_CYCLE)

    def ip_validity_statistics(self, ele):
        if len(self.invalid_ip_list) < 3:
            self.invalid_ip_list.append(ele)
        else:
            self.invalid_ip_list.pop(0)
            self.invalid_ip_list.append(ele)

机器重启之后，需要自动重启拨号脚本，我在上一篇文章中提到了，这里不再重复了。稍后我把代码上传github，理论上，建一个千万级甚至亿万级代理池这套脚本也能应付了。批量采购的话，一个拨号VPS成本在40块钱左右，选择江浙一带的带宽多在20Mbps（我实际测试过)，我一直在用一家的拨号VPS，服务不错，带宽也足，因为经常用，客服还给我了一个比较大的折扣，如果有需要的可以联系我，要知道正常价60-80，客服MM给了我46的优惠价。VPS我测试过，比较稳定，当然拨号太频繁了还是会出现重复IP甚至封号（需要找客服换拨号账户)。