目 录CONTENT

文章目录

GitHub 开源 IP 代理池

大T
2022-04-24 / 0 评论 / 0 点赞 / 45 阅读 / 0 字

GitHub 开源 IP 代理池

目前大多数网站都是有反爬措施的,如果 IP 在一定时间内 请求次数超过了一定的阈值就会触发反爬措施,拒绝访问,也就是我们经常听到的“封IP”。

那么怎么解决这个问题呢?

一种解决办法就是降低访问频率,访问一次就等待一定时长,然后再次访问。这种方法对于反爬措施不严格的网站是有效的。

如果遇到反爬措施严格的网站,访问次数多了还是会被封杀。而且有时候你需要爬取数据,这种解决办法会使获取数据的周期特别长。

第二种解决办法就是使用代理 IP。我不断地切换 IP 访问,让目标网站认为是不同的用户在访问,从而绕过反爬措施。这也是最常见的方式。

接着,我们又面临一个问题:哪来这么多独立 IP 地址呢?

最省事的方式当然是花钱买服务,这种花钱买到的 IP 一般都是比较稳定可靠的。

今天我们来聊一下不花钱免费获取代理 IP 的方式。

ProxyPool 简介

ProxyPool 是一个爬虫的代理 IP 池,主要功能为定时采集网上发布的免费代理验证入库,定时验证入库的代理保证代理的可用性,提供API和CLI两种使用方式。

同时你也可以扩展代理源以增加代理池IP的质量和数量。

获取项目

我们可以通过两种方式获取 ProxyPool 项目。

第一种是通过命令行下载:

git clone git@github.com:jhao104/proxy_pool.git

第二种是下载对应的 zip 压缩包:

image

安装依赖

我们获取到项目之后,进入到项目的根目录,运行下面的代码来安装项目所需的依赖包:

pip install -r requirements.txt

修改配置文件

要在本地运行项目,我们需要针对本地环境修改一些配置。打开项目中的 setting.py 这个文件,根据自己本地的环境和要求修改配置。

```Plain Text

setting.py 为项目配置文件

配置API服务

HOST = "0.0.0.0" # IP PORT = 5000 # 监听端口

配置数据库

DB_CONN = 'redis://:pwd@127.0.0.1:8888/0'

配置 ProxyFetcher

PROXY_FETCHER = [ "freeProxy01", # 这里是启用的代理抓取方法名,所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ]

主要修改的几项配置是监听端口(PORT)、 Redis 数据库的配置(DB\_CONN)和启用的代理方法名(PROXY\_FETCHER)。

# 启动项目
修改完配置之后,我们就可以愉快地使用了。

这个项目总体分为两个部分:爬取代理 IP 和 取用代理 IP。

如果你要启用爬取代理 IP 的服务,直接运行下面命令:

> python proxyPool.py schedule

启动之后,你就可以看到如下的控制台信息了:

![image](/upload/2022/04/1650782614-d85fb5c8eeaf5f7.png)

程序每隔一段时间就会定时爬取一下,直到我们的 IP 池里面有一定数量的可用 IP 。

其实,作者在这个项目中运用的原来就是到一些免费的代理网站采集 IP,然后测试 IP 的可用性,可用的就存入 Redis 中,不可用就丢弃。

所以你完全可以自己写一套程序实现这个逻辑。

# 使用代理 IP
要使用代理 IP,你需要启动 webApi 服务:

> python proxyPool.py server

启动web服务后, 默认配置下会开启 http://127.0.0.1:5010 的api接口服务:

![image](/upload/2022/04/1650782614-a6a1fa2db129c0e.png)

如果要在爬虫代码中使用的话, 可以将此api封装成函数直接使用,例如:

```Plain Text
import requests

def get_proxy():
    return requests.get("http://127.0.0.1:5010/get/").json()

def delete_proxy(proxy):
    requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

# your spider code

def getHtml():
    # ....
    retry_count = 5
    proxy = get_proxy().get("proxy")
    while retry_count > 0:
        try:
            html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)})
            # 使用代理访问
            return html
        except Exception:
            retry_count -= 1
    # 删除代理池中代理
    delete_proxy(proxy)
    return None

总结

作为学习使用的 IP 代理池,这项目获取的足够使用了,但是对于一些复杂的爬虫项目或者商业项目的话,可能比较够呛,毕竟这种爬取的免费代理质量肯定没有那么好,不稳定是正常的。

0

评论区