爬虫就是请求网站并提取数据的洎动化程序
网络爬虫（Web Spider）又被称为网页蜘蛛，是一种按照一定的规则自动地抓取网站信息的程序或者脚本。
网络蜘蛛是通过网页的链接地址来寻找网页从网站某一个页面开始，读取网页的内容找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页這样一直循环下去，直到把这个网站所有的网页都抓取完为止
②浏览器打开网页源代码分析元素节点
③通过Beautiful Soup或则正则表达式提取想要的數据
④存储数据到本地磁盘或数据库（抓取，分析存储）
篮球鞋 |
电子竞技 |
梅西(lionelmessi) |
自行车运动 |
日本文化 |
机械 |
德国足球甲级联赛 |
宠物医生 |
中国足球 |
用户界面设计师 |
滑雪 |
自行车选购 |
acg |
高考志愿 |
国家队 |
汽车购买 |
运动损伤 |
欧美明星 |
设计 |
大数据 |
肖战 |
中药 |
哲学 |
直播 |
3D |
电视节目 |
理科 |
欧洲 |
NBA 2K |
拜仁慕尼黑足球俱乐部 |
ps4 |
捷安特 |
大学专业 |
巴塞罗那足球俱乐部 |
香港购物 |
玄幻小说 |
跑鞋 |
pmp |
欧洲冠军联赛 |
土拨鼠 |
aj1 |
牙齿 |
尤文图斯 |
女同性恋 |
天气 |
口臭 |
足球鞋 |
户外运动 |
少帅 |
亲子鉴定 |
配音 |
角色扮演 |
手机游戏 |
旅游线路 |
郭德纲 |
旅游推荐 |
梦想改造家 |
中学 |
北京国安 |
ISIS（伊斯兰国） |
一级方程式赛车（f1） |
iPhone |
拼多多 |
户外 |
罗兰 |
中国 |
电源 |
金蝶 |
百度知道 |
用户界面设计 |
女排 |
城市 |
电脑 |
QQ音乐 |
复仇者联盟（电影） |
室内设计 |
政府 |
人生 |
三国杀 |
韩国旅游 |
微博 |
有机化学 |
我的世界（minecraft） |
鉴定 |
汽车维修 |
戚继光 |
古汉语 |
akb48 |
科幻小说 |
建筑设计 |
梵蒂冈 |
张帅 |
完美世界（游戏） |
电吉他 |
北京 |
眼镜 |
昆山 |
美容护肤 |
足球规则 |
多肉植物 |
荷兰 |
macos |
昌平区 |
对联 |
曼彻斯特联 |
南京 |
实况足球（游戏） |
鹿晗 |
新闻 |
西藏大学 |
貂蝉 |
湖北 |
网易 |
借记卡 |
剧场版 |
安踏体育 |
网球王子 |
住宅风水 |
汉语 |
广播体操 |
营销策划 |
用户界面 |
武侠小说 |
汽车改装 |
张璐 |
高三 |
海军工程大学 |
诗歌 |
富平县 |
盗墓笔记（小说） |
高速公路 |
青年旅舍 |
离婚 |
相声演员 |
阿迪达斯(adidas) |
中国足球协会超级联赛（csl） |
烹饪学校 |
婚纱照 |
发烧 |
流星花园 |
动车 |
赚钱 |
爱奇艺 |
铜陵市 |
澳大利亚 |
头发 |
环境保护 |
跑步爱好者 |
后宫·甄嬛传（书籍） |
书法 |
#全民答题# |
阿迪达斯 |
外星人 |
象棋 |
牛皮癣 |
动画电影 |
眼睛 |
平面设计 |
运动会 |
adidas阿迪达斯 |
诸葛亮 |
云南旅游 |
巴黎 |
少数民族 |
云南 |
小品 |
跑步鞋 |
性价比 |
减脂 |
巴西 |
葡萄酒 |
非洲 |
考研 |
美容 |
张继科 |
挖掘机 |
红酒 |
淘宝网 |
战斗机 |
郭富城 |
曼彻斯特联（Manchester United） |
音乐剧 |
年会 |
易烊千玺 |
骨折 |
传统武术 |
模特 |
平板电脑 |
家用电器 |
华为手机 |
双眼皮手术 |
钢笔 |
娱乐圈 |
游泳馆 |
腾讯产品 |
法国足球甲级联赛 |
趣味 |
身高 |
日语歌曲 |
支付宝 |
