python获取微信群网络中的个人、微信群二维码和账号

更多教程请前往：罗良博客 如需帮助请前往：Python自学技术交流 一、简介

最近在写爬虫，前几天跟小弟聊天。 （我哥哥在一家医疗公司工作）我哥哥也在研究爬行动物。 我问他爬的是什么网站。 然后我哥直接把链接发给我了。 我查了一下：这是一个小网站。 爬起来看起来不错。 然后自己写代码。

网站是： 。 这个网站也真的很棒，有各个行业的个人和团体的信息。

如果需要，您也可以尝试一下。

这段代码从周五晚上开始就断断续续写的，直到今天早上才真正调试出来。

晚上睡觉的时候想想问题，改成这样处理。

二、爬行思路

思路还是老套路。

我会在这里直接发布我使用的模块。 1.requests, 2.bs4, 3.xlwt, 4.md5, 5.os

即定向爬虫常用的一些模块。

由于数据量大。 这里用excel保存相关信息比特币微信群二维码，二维码单独存放在title目录下。

我以前没见过 xlwt 模块。 我昨晚一直在学习这个模块。 官方的示例代码很容易理解。

QQ群里有朋友介绍用CVS保存。 据他说，这比 excel 更简单。 （稍后我也会看这个模块）

代码中除了main函数外，还有6个函数。 就介绍到这里吧。

第一个功能：获取页面源码

第二个功能：通过一个函数获取源码比特币微信群二维码，进而获取每个页面列表中数据的详细链接

第三个功能：获取每个详细链接中的数据

圈内部分为需要获取的.png

第四个功能：写入得到的excel文件

第五个功能：保存二维码图片到本地

第六个功能：将获取的信息切片，存入excel。

获取的信息与页面显示相同，以冒号分隔.png

切片保存方便参考.png

我比较懒，这里就不详细介绍每个功能了。 后面会贴出完整的代码，我在代码里写了一些注释。 让我们看看你自己。3。 代码自评

1：这些代码应该有相当大的优化空间。 比如将数据写入excel。 我这里用的是把所有的数据存成一个列表，然后取出来写入excel文件。

2：我这里也没写多线程。 里面写了很多for，怕自己写多线程的时候看的一头雾水。 （反正就是玩玩而已，爬取效率我不在乎）（PS：其实我还不知道怎么用多线程，哈哈）

3：我把代码丢给了服务器，爬取了一个类型的所有个人微信号信息。 爬取后（1162条信息），二维码也在创建的同名文件夹下。

让我们运行并更改相应的存储路径。 请不要将此代码用于商业用途。 如有侵犯个人信息，请告知，我将立即删除！

import requests
from bs4 import BeautifulSoup
import bs4
import xlwt
from hashlib import md5
import os
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}
def gethtml(url):
    '''解析页面源码'''
    try:
        #添加浏览器头，访问超时
        html = requests.get(url,headers=headers,timeout=30)
        html.raise_for_status()
        html.encoding = html.apparent_encoding
        return html.text
    except:
        print('获取页面源码失败')
def getchaturls(html):
    '''获取每页信息详情链接'''
    try:
        soup = BeautifulSoup(html,'html.parser')
        chat_url = []

        for chat in soup.find_all('div',class_='border5'):
            chat = chat.a.attrs['href']
            chat_url.append('http://www.weixinqun.com'+chat)
        return chat_url
    except:
        print('获取页面详细详细链接失败')
def getinfo(url,infos):
    '''获取链接详情页面所需信息'''
    try:
        picurls = []
        html = gethtml(url)
        soup = BeautifulSoup(html,'lxml')
        pic = soup.find('div',class_='iframe')
        x = pic.find_all('span',class_='shiftcode')
        #判断是否详情页面是否有群主及群二维码
        if len(x) == 2:
            picurls.append(x[0].img.attrs['src'])
            picurls.append(x[1].img.attrs['src'])
        else:
            picurls.append(pic.img.attrs['src'])
        #找到详情页面需要数据所在的标签
        clearfix = soup.find('div',class_='des_info')
        #在需要的标签内获取标题
        title = clearfix.find('span',class_='des_info_text').get_text().replace('\n','').replace(' ','').replace(':','')
        #获取详细信息
        for info in clearfix.find('ul').children:

            if isinstance(info, bs4.element.Tag):
                other = info('li')
                for a in other:
                    infos.append(a.get_text().replace('\n','').replace(' ',''))
        #获取微信号
        waccount = clearfix.find_all('span',class_='des_info_text2')
        infos.append('微信号：'+waccount[1].get_text().replace('\n','').replace(' ',''))
        #获取热度
        hot = clearfix.find_all('span',class_='Pink')
        infos.append('热度：'+hot[0].get_text().replace('\n','').replace(' ',''))
        print('正常处理的详情标题：{}'.format(title))
        #调用保存二维码方法
        savepic(picurls,title)
    except:
        print('详情页面解析失败')
def saveinfo(infoms):
    '''保存excel文件'''
    wb = xlwt.Workbook()
    ws = wb.add_sheet('wchat')
    ws.write(0, 0, '行业')
    ws.write(0, 1, '时间')
    ws.write(0, 2, '地区')
    ws.write(0, 3, '标签')
    ws.write(0, 4, '微信号')
    ws.write(0, 5, '热度')
    pp = 1

    for b in range(0, len(infoms), 6):
        ws.write(pp, 0, infoms[b])
        ws.write(pp, 1, infoms[b + 1])
        ws.write(pp, 2, infoms[b + 2])
        ws.write(pp, 3, infoms[b + 3])
        ws.write(pp, 4, infoms[b + 4])
        ws.write(pp, 5, infoms[b + 5])
        pp += 1
        wb.save('D://微信群//wchat.xls')
def savepic(picurls,title):
    '''保存群或群主/个人微信二维码'''
    path = 'D://微信群//'
    if not os.path.exists(path):
        os.mkdir(path)
    path1 = path+title+'//'
    if not os.path.exists(path1):
        os.mkdir(path1)
    for url in picurls:
        photo = requests.get(url,headers=headers).content
        filename = md5(photo).hexdigest()
        with open(path1+filename+'.jpg','wb') as f:
            f.write(photo)
            f.close()
def infossplit(infos):

    '''字符串切片操作'''
    infoms = []
    for info in infos:
        info = info.split('：')[1]
        infoms.append(info)
    return infoms
def main():
    '''程序入口'''
    #创建空列表存放详情
    infos = []
    for page in range(0,13): #页面默认第一页为0，请至页面查看最后一页的数字，将最后一页数字加1输入括号第二位置
        #如需其他类型，请至浏览器查看对应类型链接的t值，如微信群链接开头为：http://www.weixinqun.com/group，个人链接开头为：http://www.weixinqun.com/personal
        first_url = 'http://www.weixinqun.com/personal?t=52&p={}'.format(page)
        print('正在处理第{}页，链接为：{}'.format(page,first_url))
        html = gethtml(first_url)
        urls = getchaturls(html)
        for url in urls:
            print('=====分隔符=====')
            print('正在处理第{}页，内容详情链接为：{}'.format(page,url))
            getinfo(url,infos)
    infoa = infossplit(infos)
    print(infos)
    saveinfo(infoa)
    print('=====全部处理完成=====')
if __name__=='__main__':
    main()

Python自学技术交流：368639036 有兴趣的可以加入一起学习讨论。