Python实现微博动态图片爬取详解

  • 更新时间:2022-06-28 08:59:52
  • 编辑:饶阳德

由于微博的网页端有反爬虫,需要登录,所以我们换个思路,曲线救国。

我们找到微博在浏览器上面用于手机端的调试的APL,如何找到呢?

我这边直接附上微博的手机端的地址:https://m.weibo.cn/

1.模拟搜索用户

搜索一个用户获取到的api:

https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall

1.1 对api内参数进行处理

containerid=100103type=1&q=半半子 ——> containerid=100103type%3D1%26q%3D%E5%8D%8A%E5%8D%8A%E5%AD%90_

这个参数需要提前转码,否则无法获取数据

1.2 对用户名进行判断,通过后提取uid

2.获取more参数

GET

api : https://m.weibo.cn/profile/info?uid=2830125342

2.1 提取并处理more参数

3.循环提取图片id

GET

api : https://m.weibo.cn/api/container/getIndex?containerid=2304132830125342_-_WEIBO_SECOND_PROFILE_WEIBO&page_type=03&page=1

3.1 提取图片id——>pic_id

3.2 获取发送图片用户

3.3 根据动态创建时间生成用户唯一识别码

4.下载图片

我们从浏览器抓包中就会获取到后台服务器发给浏览器的图片链接

https://wx2.sinaimg.cn/large/pic_id.jpg 

浏览器打开这个链接就可以直接下载图片

爬取完整代码:

import os
import sys
import time
from urllib.parse import quote
 
import requests
 
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}
 
 
def time_to_str(c_at):
    ti = time.strptime(c_at, '%a %b %d %H:%M:%S +0800 %Y')
    time_str = time.strftime('%Y%m%d%H%M%S', ti)
    return time_str
 
 
# 1. 搜索用户,获取uid
# 2. 通过uid获取空间动态关键参数
# 3. 获取动态内容
# 4. 提取图片参数
# 5. 下载图片
 
# 1. 搜索用户,获取uid
# ========= 用户名 =========
# 输入不同的用户名可切换下载的用户图片
# 用户名需要完全匹配
name = '半半子_'
# =========================
 
con_id = f'100103type=1&q={name}'
# 这个条件需要转码
con_id = quote(con_id, 'utf-8')
user_url = f'https://m.weibo.cn/api/container/getIndex?containerid={con_id}&page_type=searchall'
user_json = requests.get(url=user_url, headers=headers).json()
user_cards = user_json['data']['cards']
for card_num in range(len(user_cards)):
    if 'mblog' in user_cards[card_num]:
        if user_cards[card_num]['mblog']['user']['screen_name'] == name:
            print(f'正在获取{name}的空间')
            # 2. 通过uid获取空间动态关键参数
            user_id = user_cards[card_num]['mblog']['user']['id']
            info_url = f'https://m.weibo.cn/profile/info?uid={user_id}'
            info_json = requests.get(url=info_url, headers=headers).json()
            more_card = info_json['data']['more'].split("/")[-1]
            break
file_name = 'weibo'
if not os.path.exists(file_name):
    os.mkdir(file_name)
 
if len(more_card) == 0:
    sys.exit()
page_type = '03'
page = 0
while True:
    # 3. 获取动态内容
    page += 1
    url = f'https://m.weibo.cn/api/container/getIndex?containerid={more_card}&page_type={page_type}&page={page}'
    param = requests.get(url=url, headers=headers).json()
    cards = param['data']['cards']
    print(f'第 {page} 页')
    for i in range(len(cards)):
        card = cards[i]
        if card['card_type'] != 9:
            continue
        mb_log = card['mblog']
        # 4. 提取图片参数
        # 获取本人的图片
        pic_ids = mb_log['pic_ids']
        user_name = mb_log['user']['screen_name']
        created_at = mb_log['created_at']
        if len(pic_ids) == 0:
            # 获取转发的图片
            if 'retweeted_status' not in mb_log:
                continue
            if 'pic_ids' not in mb_log['retweeted_status']:
                continue
            pic_ids = mb_log['retweeted_status']['pic_ids']
            user_name = mb_log['retweeted_status']['user']['screen_name']
            created_at = mb_log['retweeted_status']['created_at']
        time_name = time_to_str(created_at)
        pic_num = 1
        print(f'======== {user_name} ========')
        # 5. 下载图片
        for pic_id in pic_ids:
            pic_url = f'https://wx2.sinaimg.cn/large/{pic_id}.jpg'
            pic_data = requests.get(pic_url, headers)
            # 文件名 用户名_日期(年月日时分秒)_编号.jpg
            # 例:半半子__20220212120146_1.jpg
            with open(f'{file_name}/{user_name}_{time_name}_{pic_num}.jpg', mode='wb') as f:
                f.write(pic_data.content)
                print(f'    正在下载:{pic_id}.jpg')
            pic_num += 1
        time.sleep(2)

到此这篇关于Python实现微博动态图片爬取详解的文章就介绍到这了,更多相关Python微博图片爬取内容请搜索码农之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持码农之家!

相关教程

  • 详解python scatter散点图用循环分类法加图例

    这篇文章主要为大家详细介绍了python scatter散点图用循环分类法加图例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

    发布时间:2020-01-20

  • opencv对python3的支持

    支持。opencv_python-3.1.0-cp34-cp34m-win_amd64.whl。这就是用于python3.1版本的opencv库。除此之外还有其他版本的就不一一举例了,请网上详查。

    发布时间:2020-01-23

  • 浅析python中SQLAlchemy排序的一个坑

    这篇文章主要介绍了关于python中SQLAlchemy排序的一个坑,文中给出了详细的示例代码,需要的朋友可以参考借鉴,感兴趣的朋友们下面来一起学习学习吧。

    发布时间:2022-04-21

  • 基于python实现简单C/S模式代码实例

    这篇文章主要介绍了基于python实现简单C/S模式代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

    发布时间:2021-04-16

  • Python的发展史及用途

    本章高度概括了笔者这些年python的学习

    发布时间:2021-06-01

  • 探索python textrank关键词提取功能

    这篇文章主要为大家详细介绍了python实现textrank关键词提取,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

    发布时间:2020-03-16

  • 介绍Python如何使用asyncio包处理并发

    这篇文章主要为大家详细介绍了Python使用asyncio包处理并发的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

    发布时间:2020-01-21

  • 《Python并行编程参考手册》书评、笔记、下载

    在本篇内容里小编给各位分享了关于《Python并行编程参考手册》这本书的书评、学习笔记以及电子书下载的相关内容,有兴趣的朋友们阅读下吧。

    发布时间:2019-07-11

  • ElasticSearch Python 基本操作

    python提供了操作ElasticSearch 接口,因此要用python来操作ElasticSearch,这篇文章主要介绍了Python 操作 ElasticSearch,需要的朋友可以参考下

    发布时间:2020-02-21

  • Python实现一行输入多个值的实例方法

    下面为大家分享一篇Python 实现一行输入多个值的方法,具有很好的参考价值,希望对大家有所帮助。一起过来看看吧

    发布时间:2019-09-24

用户留言