网络爬虫

课程内容：

爬虫与数据

Scrapy框架

Mongodb+Redis

Scrapy-redis框架

培养目标：

可掌握的核心能力： 1.掌握爬虫的工作原理和设计思想；2.掌握反爬虫机制； 3.通过学习NoSql数据库和Scrapy-redis框架，可以独立运用分布式爬虫框架实现海量数据的爬取。

任老师  

优就业Python+人工智能高级讲师

原大型项目Python开发工程师

8年Python教学经验，3年项目开发经验，负责过大型婚庆、宠物商城、妇婴商城、律师事务所、房产、装修公司等项目的开发工作。熟悉项目开发流程，精通ThinkPHP5、Yii、CI、Laravel、Django、Flask等主流开发框架。

授课风格：思维严谨，条理清晰，风趣幽默，及时的和学员沟通并耐心的解决学生的各种学习问题，深受学员信任。

教学环境

优就业拥有全国500多家直营分部，为学员提供便捷的面授服务，优美的学习环境。教室环境、实训环境、培训基地均设施完善、环境优美。

计算技巧：

#向下取整

print 5.0//2

>>> 2

# 2的5次方

print 2**5

>> 32

从字典中获取元素

不要用下列的方式

data = {'user': 1, 'name': 'Max', 'three': 4}

try:

is_admin = data['admin']

except KeyError:

is_admin = False

替换为

data = {'user': 1, 'name': 'Max', 'three': 4}

is_admin = data.get('admin', False)