博客
关于我
Python 爬取起点的小说(非vip)
阅读量:357 次
发布时间:2019-03-04

本文共 738 字,大约阅读时间需要 2 分钟。

                  Python 爬取起点的小说(非vip)

起点小说网是一个小说种类比较全面的网站,当然,作为收费类网站,VIP类的小说也很多,章节是VIP的话,有一个动态加载,也就是ajax,需要抓包分析网址,由于我没有VIP账号,所以只能爬取非VIP章节,这个爬虫就以爬取一部小说 冒牌大英雄为例,首先,我们可以打开冒牌大英雄所在的网址,也就是 以 这个网址为起点,依次取出各个章节的网址,在取出网址的同时,选取文章的标题和内容,写入本地硬盘,每一个章节为一个文件,保存格式为html格式,技术选型方面,使用第三方库requests。

爬取流程:起始网址 的网页源代码内带有所有章节的链接网址,首先,解析起始网址,取得起始网址源代码,编写正则提取章节链接,然后循环读取章节链接,正则提取标题和内容,每次循环,将标题加时间戳设为文件名称,内容写入文件中,爬虫就算结束了。下面。上代码:

import timeimport requestsimport reurl='https://book.qidian.com/info/131957'headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',    'accept-encoding': 'gzip, deflate, sdch, br',    'accept-language': 'zh-CN,zh;q=0.8'}data=requests.get(url,headers=headers).textpat=' 
  •  

    转载地址:http://kokr.baihongyu.com/

    你可能感兴趣的文章
    Mysql学习总结(68)——MYSQL统计每天、每周、每月、每年数据 SQL 总结
    查看>>
    Mysql学习总结(69)——Mysql EXPLAIN 命令使用总结
    查看>>
    Mysql学习总结(6)——MySql之ALTER命令用法详细解读
    查看>>
    Mysql学习总结(70)——MySQL 优化实施方案
    查看>>
    Mysql学习总结(71)——MySQL 重复记录查询与删除总结
    查看>>
    Mysql学习总结(71)——数据库介绍(MySQL安装 体系结构、基本管理)再回顾
    查看>>
    Mysql学习总结(72)——MySQL 开发者开发,设计规范再总结
    查看>>
    Mysql学习总结(73)——MySQL 查询A表存在B表不存在的数据SQL总结
    查看>>
    Mysql学习总结(74)——慢SQL!压垮团队的最后一根稻草!
    查看>>
    Mysql学习总结(75)——并发量大、数据量大的互联网业务数据库设计军规
    查看>>
    Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
    查看>>
    Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
    查看>>
    Mysql学习总结(78)——MySQL各版本差异整理
    查看>>
    Mysql学习总结(79)——MySQL常用函数总结
    查看>>
    Mysql学习总结(7)——MySql索引原理与使用大全
    查看>>
    Mysql学习总结(80)——统计数据库的总记录数和库中各个表的数据量
    查看>>
    Mysql学习总结(81)——为什么MySQL不推荐使用uuid或者雪花id作为主键?
    查看>>
    Mysql学习总结(82)——MySQL逻辑删除与数据库唯一性约束如何解决?
    查看>>
    Mysql学习总结(83)——常用的几种分布式锁:ZK分布式锁、Redis分布式锁、数据库分布式锁、基于JDK的分布式锁方案对比总结
    查看>>
    Mysql学习总结(84)—— Mysql的主从复制延迟问题总结
    查看>>