Python采集代理ip并判断是否可用和定时更新的方法

  • 更新时间:2022-10-20 10:10:18
  • 编辑:韶建同
这篇文章主要介绍了关于Python采集代理ip并判断是否可用和定时更新的方法,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下

 

网上有很多免费的ip地址,都是可以使用的,但是如果手动来获取太麻烦,这里通过Python自动抓取,可以批量获取。

代码如下:

 

# -*- coding: utf-8 -*-
import re
import urllib2
import json
import os
import time
import socket
class ProxyIp(object):
  def __init__(self):
    self.path = os.path.split(os.path.realpath(__file__))[0]
  # Get latest proxy ip and download to json
  def update_ip(self):
    print 'Update Ip'
    url = 'http://www.ip3366.net/free/'
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    matches = re.findall(
      ur'(\d+.\d+.\d+.\d+)</td>\s+<td>(\d+)</td>\s+<td>.*?</td>\s+<td>(HTTPS?)</td>',
      response.read(),
      re.I
    )
    ls = []
    for match in matches:
      if self.is_open(match[0], match[1]):
        ls.append({'ip':match[0], 'port':match[1], 'protocol': match[2]})
    with open('%s/ip.json' % self.path, 'w') as f:
      json.dump(ls, f)
    return ls
  # whether the ips is last or old.
  def is_last(self):
    m_time = int(os.path.getmtime('%s/ip.json' % self.path))
    now_time = int(time.time())
    return (now_time - m_time) > 60*60*4 # 4 hours
  @staticmethod
  def is_open(ip, port):
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    try:
      s.connect(ip, int(port))
      return True
    except:
      print 'Faild IP: %s:%s' % (ip, port)
      return False
  def get_proxy_ips(self):
    if not self.is_last():
      return self.update_ip()
    else:
      with open('%s/ip.json' % self.path, 'r') as f:
        return json.load(f)

 

以上就是Python采集代理ip并判断是否可用和定时更新的方法的详细内容,更多请关注码农之家其它相关文章!

相关教程

  • 实例详解python定制类__str__

    讲解了python定制类中的__str__

    发布时间:2020-01-28

  • python的由来及基础语言

    python是C语言编写出来的,并且Python提供了丰富的API和工具,所以程序员能够轻松地使用C语言、C++、Cython来编写扩充模块。

    发布时间:2020-02-15

  • Python实现简单的HttpServer服务器方法及步骤

    本篇文章主要介绍了Python实现简单的HttpServer服务器示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

    发布时间:2021-05-22

  • python生成n个元素的实例代码

    今天小编就为大家分享一篇python生成n个元素的全组合方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间:2021-05-02

  • python输出指定像素点的颜色值的实例方法

    今天小编就为大家分享一篇python画图--输出指定像素点的颜色值方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间:2019-09-16

  • Python logging日志库空间不足问题解决

    这篇文章主要介绍了Python logging日志库空间不足问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

    发布时间:2021-04-14

  • Python机器学习降低静态日志噪声实例方法

    今天小编就为大家分享一篇关于使用Python和机器学习的静态日志噪声的文章,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

    发布时间:2019-06-23

  • Python数据类型及运算符的实例代码讲解

    本篇文章给大家带来的内容是关于Python数据类型及运算符的详细总结(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

    发布时间:2020-01-18

  • python一键移动自定格式文件实例脚本

    这篇文章主要给大家介绍了关于python脚本之一键移动自定格式文件的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用python具有一定的参考学习价值,需要的朋友们下面来一起

    发布时间:2020-04-06

用户留言