使用python爬取新闻标题及链接，解析数据保存为excel文件。
import reimport requestsfrom lxml import etreeimport pandas as pdurl = '/'#请求头headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36'}response = requests.get(url, headers=headers)data = response.content.decode('utf-8')with open('newsbaidu.html', 'w',encoding='utf-8') as f:f.write(data)
先把爬取的数据保存为html网页格式，查看爬取的数据是否正常
通过爬取的网页信息可以看到只有前面的信息，后面的是动态信息，通过get请求无法爬取，这里我们只爬取静态信息。
接下来是解析数据，这里使用xpath解析数据。通过浏览器的右击检查选项定位到新闻标题处。
我们可以看到新闻标题链接都在a标签内,它们都有 一个target属性 ,将属性值作为筛选条件。
#解析数据xpath_data = etree.HTML(data)#跨节点取href标签内容title_url = xpath_data.xpath('//a[@target="_blank"]/@href')#取a标签内容title = xpath_data.xpath('//a[@target="_blank"]/text()')result = []for index,title in enumerate(title):dict1 = {}dict1['title'] = titledict1['url'] = title_url[index]result.append(dict1)print(result)
输出结果
写入文件
title_list = []url_list = []for i in range(len(result)):title_list.append(result[i]['title'])url_list.append(result[i]['url'])dict1 = {'标题': title_list,'链接': url_list,}# 建立DataFrame对象file = pd.DataFrame(dict1)#写入文件file.to_excel('./newsbaidu.xlsx', encoding='gbk',index=False)
最后爬取的数据
如果觉得《爬取百度新闻标题和链接》对你有帮助，请点赞、收藏，并留下你的观点哦！
