Scrapy打造搜索引擎（新版） 畅销3年的Python分布式爬虫课程

Scrapy打造搜索引擎（新版）畅销3年的Python分布式爬虫课程课程介绍（A000027）：

Scrapy打造搜索引擎（新版）畅销3年的Python分布式爬虫课程（2020升级版）

360高级工程师亲授，遵循一线互联网公司的实际开发流程，从更高级的层面，带你掌握项目功能设计优化、架构设计优化等更高级的技术，深入浅出地讲解实际开发难题和项目优化解决方案，

课程目录：

第1章Scrapy打造搜索引擎（新版）畅销3年的Python分布式爬虫课程课程介绍试看1节|8分钟

介绍课程目标、通过课程能学习到的内容、和系统开发前需要具备的知识

视频：1-1python分布式爬虫打造搜索引擎简介(07:23)试看

第2章windows下搭建开发环境4节|64分钟

介绍项目开发需要安装的开发软件、python虚拟virtualenv和virtualenvwrapper的安装和使用、最后介绍pycharm和navicat的简单使用

视频：2-1pycharm的安装和简单使用(09:07)

视频：2-2mysql和navicat的安装和使用(16:20)

视频：2-3windows和linux下安装python2和python3(06:49)

视频：2-4虚拟环境的安装和配置(30:53)

第3章爬虫基础知识回顾7节|120分钟

介绍爬虫开发中需要用到的基础知识包括爬虫能做什么，正则表达式，深度优先和广度优先的算法及实现、爬虫url去重的策略、彻底弄清楚unicode和utf8编码的区别和应用

视频：3-1技术选型爬虫能做什么(09:50)

视频：3-2正则表达式-1(18:31)

视频：3-3正则表达式-2(19:04)

视频：3-4正则表达式-3(20:16)

视频：3-5深度优先和广度优先原理(25:15)

视频：3-6url去重方法(07:44)

视频：3-7彻底搞清楚unicode和utf8编码(18:31)

第4章新：scrapy爬取知名技术文章网站25节|402分钟

搭建scrapy的开发环境，本章介绍scrapy的常用命令以及工程目录结构分析，本章中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及itemloader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中。…

视频：4-1重录说明(很重要！！！)(04:47)

视频：4-2scrapy安装和配置(30:30)

视频：4-3需求分析(13:53)

视频：4-4pycharm中调试scrapy源码(10:13)

视频：4-5xpath基础语法(19:02)

视频：4-6xpath提取元素(28:48)

视频：4-7css选择器(17:54)

视频：4-8.cnblogs模拟登录(新增内容)(22:23)

视频：4-9编写spider完成抓取过程–1(19:38)

视频：4-10编写spider完成抓取过程–2(20:47)

视频：4-11scrapy中为什么要使用yield(09:49)

视频：4-12提取详情页信息(23:16)

视频：4-13提取详情页信息(18:13)

视频：4-14items的定义和使用–1(16:21)

视频：4-15items的定义和使用–2(13:30)

视频：4-16scrapy配置图片下载(18:20)

视频：4-17items数据写入到json文件中(09:27)

视频：4-18mysql表结构设计(13:21)

视频：4-19pipeline数据库保存(20:16)

视频：4-20异步方式入库mysql(12:37)

视频：4-21数据插入主键冲突的解决方法(04:40)

视频：4-22itemloader提取信息(21:41)

视频：4-23itemloader提取信息(19:06)

视频：4-24大规模抓取图片下载出错的问题(12:45)

作业：4-25有没有方法可以比较准确的解析出title和正文内容

第5章网站模拟登陆和滑动验证码识别（2021.6月更新）7节|123分钟

本章节我们将解决两个问题：1.防止selenium被网站识别出来2.滑动验证码识别，滑动验证码识别我们将采用opencv识别和机器学习平台识别。滑动验证码作为当前最流行的验证码，识别滑动验证码将使得我们能解决绝大部分网站的模拟登陆…

视频：5-1session和cookie自动登录机制(20:10)

视频：5-2课程如何应对网站反爬变化？(08:03)

视频：5-3使用opencv识别滑动验证码的环境准备(15:59)

视频：5-4opencv滑动验证码识别原理(26:19)

视频：5-5滑动验证码识别集成到scrapy中(10:02)

视频：5-6通过机器学习平台训练滑动验证码模型(15:23)

视频：5-7发布训练模型并远程调用识别(26:53)

第6章scrapy爬取知名问答网站11节|150分钟

通过上一章节的学习，本章节我们将对具体的网站进行需求分析、表结构设计等、本章详细的分析了网站的网络请求并分别分析出了网站问题回答的api请求接口并将数据提取出来后保存到mysql中

视频：6-1知乎分析以及数据表设计1(15:17)

视频：6-2知乎分析以及数据表设计–2(13:35)

视频：6-3itemloder方式提取question–1(14:57)

视频：6-4itemloder方式提取question–2(15:20)

视频：6-5itemloder方式提取question–3(06:45)

视频：6-6知乎spider爬虫逻辑的实现以及answer的提取–1(15:54)

视频：6-7知乎spider爬虫逻辑的实现以及answer的提取–2(17:04)

视频：6-8保存数据到mysql中-1(17:27)

视频：6-9保存数据到mysql中-2(17:22)

视频：6-10保存数据到mysql中-3(16:09)

作业：6-11如何将数据的保存和抓取独立出来？

第7章通过CrawlSpider对招聘网站进行整站爬取9节|167分钟

本章完成招聘网站职位的数据表结构设计，并通过linkextractor和rule的形式并配置CrawlSpider完成招聘网站所有职位的爬取，本章也会从源码的角度来分析CrawlSpider让大家对CrawlSpider有深入的理解。

视频：7-1数据表结构设计(15:33)

视频：7-2CrawlSpider源码分析-新建CrawlSpider与settings配置(12:50)

视频：7-3CrawlSpider源码分析(25:29)

视频：7-4Rule和LinkExtractor使用(14:28)

视频：7-5网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程)(32:11)

视频：7-6itemloader方式解析职位(24:46)

视频：7-7职位数据入库-1(19:01)

视频：7-8职位信息入库-2(11:19)

视频：7-9网站反爬突破(10:58)

第8章Scrapy突破反爬虫的限制试看10节|159分钟

本章会从爬虫和反爬虫的斗争过程开始讲解，然后讲解scrapy的原理，然后通过随机切换user-agent和设置scrapy的ip代理的方式完成突破反爬虫的各种限制。本章也会详细介绍httpresponse和httprequest来详细的分析scrapy的功能，最后会通过云打码平台来完成在线验证码识别以及禁用cookie和访问频率来降低爬虫被屏蔽的可能性。…

视频：8-1爬虫和反爬的对抗过程以及策略(20:17)试看

视频：8-2scrapy架构源码分析(10:45)

视频：8-3Requests和Response介绍(10:18)

视频：8-4通过downloadmiddleware随机更换user-agent-1(17:00)

视频：8-5通过downloadmiddleware随机更换user-agent–2(17:13)

视频：8-6scrapy实现ip代理池–1(16:51)

视频：8-7scrapy实现ip代理池–2(17:39)

视频：8-8scrapy实现ip代理池–3(18:46)

视频：8-9云打码实现验证码识别(22:37)

视频：8-10cookie禁用、自动限速、自定义spider的settings(07:22)

第9章scrapy进阶开发12节|152分钟

本章将讲解scrapy的更多高级特性，这些高级特性包括通过selenium和phantomjs实现动态网站数据的爬取以及将这二者集成到scrapy中、scrapy信号、自定义中间件、暂停和启动scrapy爬虫、scrapy的核心api、scrapy的telnet、scrapy的webservice和scrapy的log配置和email发送等。这些特性使得我们不仅只是可以通过scrapy来完成…

视频：9-1selenium动态网页请求与模拟登录知乎(21:24)

视频：9-2selenium模拟登录微博，模拟鼠标下拉(11:06)

视频：9-3chromedriver不加载图片、phantomjs获取动态网页(09:59)

视频：9-4selenium集成到scrapy中(19:43)

视频：9-5其余动态网页获取技术介绍-chrome无界面运行、scrapy-splash、selenium-grid,splinter(07:50)

视频：9-6scrapy的暂停与重启(12:58)

视频：9-7scrapyurl去重原理(05:45)

视频：9-8scrapytelnet服务(07:37)

视频：9-9spidermiddleware详解(15:25)

视频：9-10scrapy的数据收集(13:44)

视频：9-11scrapy信号详解(13:05)

视频：9-12scrapy扩展开发(13:16)

第10章scrapy-redis分布式爬虫9节|125分钟

Scrapy-redis分布式爬虫的使用以及scrapy-redis的分布式爬虫的源码分析，让大家可以根据自己的需求来修改源码以满足自己的需求。最后也会讲解如何将bloomfilter集成到scrapy-redis中。

视频：10-1分布式爬虫要点(08:39)

视频：10-2redis基础知识–1(20:31)

视频：10-3redis基础知识–2(15:58)

视频：10-4scrapy-redis编写分布式爬虫代码(21:06)

视频：10-5scrapy源码解析-connection.py、defaults.py-(11:05)

视频：10-6scrapy-redis源码剖析-dupefilter.py-(05:29)

视频：10-7scrapy-redis源码剖析-pipelines.py、queue.py-(10:41)

视频：10-8scrapy-redis源码分析-scheduler.py、spider.py-(11:52)

视频：10-9集成bloomfilter到scrapy-redis中(19:30)

第11章cookie池系统设计和实现15节|175分钟

为了让爬取代码和解析代码不会受到模拟登录的影响，将模拟登录独立成独立的服务变得很重要，cookie池就是为了解决这类问题而生，多账号登录管理、如何让网站接入变得容易都会是cookie池需要解决的问题。本章节就重点解决cookie池设计和开发的细节问题。…

视频：11-1什么是cookie池？(11:27)

视频：11-2cookie池系统设计(09:23)

视频：11-3实现cookie池-1(10:12)

视频：11-4实现cookie池-2(12:39)

视频：11-5改造login方法–1(09:58)

视频：11-6改造login方法–2(09:36)

视频：11-7改造login方法-3(08:43)

视频：11-8改造login方法-4(10:37)

视频：11-9通过抽象基类实现网站轻松接入(15:00)

视频：11-10实现检测网站cookie是否有效(08:06)

视频：11-11如何选择redis的数据结构来保存cookie(10:59)

视频：11-12cookie管理器的实现(22:10)

视频：11-13启动cookie池服务(12:35)

视频：11-14将cookie集成到爬虫项目中(15:34)

视频：11-15cookie架构设计改进意见(07:36)

第12章各种验证码的识别5节|77分钟

滑动验证码变得越来越流行，如何解决滑动验证码就成为了模拟登录中重要的一个环节，本章节聚焦解决滑动验证码的各种细节问题。

视频：12-1滑动验证码的识别思路(15:17)

视频：12-2验证码截屏-1(11:42)

视频：12-3验证码截屏-2(14:03)

视频：12-4计算出滑动的距离(17:37)

视频：12-5计算滑动轨迹(18:00)

第13章增量抓取4节|50分钟

增量抓取和数据更新是爬虫运行中经常遇到的问题，比如当前爬虫正在运行，但是新增的数据如何及时发现，如何将后来的url先进行抓取，如何发现新数据都是实际开发中经常原道的问题，本章节通过修改scrapy-redis的源码以最小的代价来解决上诉问题，通过本章节的学习我们将会更加懂得如何去控制爬虫的运行环节。…

视频：13-1增量爬虫需要解决的问题(09:36)

视频：13-2通过修改scrapy-redis完成增量抓取-1(16:11)

视频：13-3通过修改scrapy-redis完成增量抓取-2(14:13)

视频：13-4爬虫数据更新(09:23)

第14章elasticsearch搜索引擎的使用13节|207分钟

本章将讲解elasticsearch的安装和使用，将讲解elasticsearch的基本概念的介绍以及api的使用。本章也会讲解搜索引擎的原理并讲解elasticsearch-dsl的使用，最后讲解如何通过scrapy的pipeline将数据保存到elasticsearch中。

视频：14-1elasticsearch介绍(18:21)

视频：14-2elasticsearch安装(13:24)

视频：14-3elasticsearch-head插件以及kibana的安装(24:09)

视频：14-4elasticsearch的基本概念(12:15)

视频：14-5倒排索引(11:24)

视频：14-6elasticsearch基本的索引和文档CRUD操作(18:44)

视频：14-7elasticsearch的mget和bulk批量操作(12:36)

视频：14-8elasticsearch的mapping映射管理(21:03)

视频：14-9elasticsearch的简单查询–1(14:56)

视频：14-10elasticsearch的简单查询–2(11:12)

视频：14-11elasticsearch的bool组合查询(22:58)

视频：14-12scrapy写入数据到elasticsearch中–1(14:16)

视频：14-13scrapy写入数据到elasticsearch中–2(11:15)

第15章django搭建搜索网站9节|131分钟

本章讲解如何通过django快速搭建搜索网站，本章也会讲解如何完成django与elasticsearch的搜索查询交互。

视频：15-1es完成搜索建议-搜索建议字段保存–1(13:45)

视频：15-2es完成搜索建议-搜索建议字段保存–2(13:34)

视频：15-3django实现elasticsearch的搜索建议–1(19:57)

视频：15-4django实现elasticsearch的搜索建议–2(18:15)

视频：15-5django实现elasticsearch的搜索功能-1(14:06)

视频：15-6django实现elasticsearch的搜索功能-2(13:14)

视频：15-7django实现搜索结果分页(09:12)

视频：15-8搜索记录、热门搜索功能实现–1(14:34)

视频：15-9搜索记录、热门搜索功能实现–2(14:04)

第16章scrapyd部署scrapy爬虫1节|25分钟

本章主要通过scrapyd完成对scrapy爬虫的线上部署。

视频：16-1scrapyd部署scrapy项目(24:39)

第17章课程总结4节|6分钟

重新梳理一遍系统开发的整个过程，让同学对系统和开发过程有一个更加直观的理解

视频：17-1课程总结(05:55)

作业：17-2【讨论题】你认为什么是JS逆向？

作业：17-3如何将nodejs服务集成进来呢？

作业：17-4【讨论题】字体反爬应该如何解析？