图片 47

利用Python爬取淘宝商品信息并进行数据可视化,IT前辈给出Python这五个就业方向最有钱途和发展

现在人们哪怕是买个牙刷可能都会在淘宝上面,而且在买东西的时候每个人都会做的一件事情就是看评论,看看之前买家评论了解商品质量,外观是不是和图片一样等等。但是如果真的想要一条一条去看的话,那时间是真的要很多,当然了如果买的小物件那倒无所谓,如果是比较贵重的物品就必须得好好看了(PS:在小编心里100以上就是贵重物品,哈哈哈哈)

从2015开始国内就开始慢慢接触Python了,从16年开始Python就已经在国内的热度更高了,目前也可以算的上”全民Python”了。

图片 1

图片 2

众所周知小学生的教材里面已经有Python了,国家二级计算机证也需要学习Python了!

先说明,老年人才过三八妇女节!

 

因为Python简单、入门快,是不少程序员入门的首选语言。

图片 3

如果是一般人为了让自己买的东西放心当然是选择一条一条看,或者直接去实体店买。但是身为技(chui)术(niu)人(zhuang)员(bi)的小编,肯定是用Python批量爬取淘宝商品信息并进行简单的数据分析啦~~~~

图片 4

像我们小仙女,只过3月7日女生节~

图片 5

 

图片 6图片 7图片 8Python爬取
2019 款口红,告诉你女王节该如何保命

 

那么学习Python后可以有哪些方面的发展呢?

俗话说,

想要爬取评论第一件事就是找到真实的URL地址,具体步骤:

web开发

图片 9

 

豆瓣、知乎、拉勾网等都是用的Python,web开发在国内的发展也是很不错的

因为Python的web开发框架是最大的一个优势,如果你用Python搭建一个网站只需要几行的代码:

图片 10

 

非常的简洁

没有一只口红解决不了的事情,

  1. F12(开发者选项)
  2. Notework
  3. F5(刷新)
  4. feedRateList(文件名)
  5. Headers
  6. 复制Request URL

web开发的薪资

图片 11

 

如果有,那就是两只。

然后去除不必要的字段,获取自己想要的内容

网络爬虫

图片 12

 

现在学习Python的人员当中很大一部分的人是在学习爬虫,这也是Python的一大优势之一,最早用Python做网络爬虫的是谷歌。

为什么要用Python写爬虫

  1. 跨平台,对Linux和windows都有不错的支持。
  2. 科学计算,数值拟合:Numpy,Scipy
  3. 可视化:2d:Matplotlib(做图很漂亮), 3d: Mayavi2
  4. 复杂网络:Networkx
  5. 统计:与R语言接口:Rpy
  6. 交互式终端

和其他语言的对于

  • C,C++。高效率,快速,适合通用搜索引擎做全网爬取。缺点,开发慢,写起来又臭又长,例如:天网搜索源代码。
  • 脚本语言:Perl, Python, Java,
    Ruby。简单,易学,良好的文本处理能方便网页内容的细致提取,但效率往往不高,适合对少量网站的聚焦爬取
  • C#?(貌似信息管理的人比较喜欢的语言)

但也不全对,你送死亡芭比粉试试??

图片 13

爬虫的薪资

图片 14

 

图片 15

 

人工智能

图片 16

 

人工智能的发展潜力和钱途就不说了吧,这个都是大家都知道的东西,但是目前的话,人工智能方面的工作还是比较少的,而且都是高学历人士,以后的话肯定是最具有发展潜力的方向了。

(不是每个人都有朱迅的美貌)

看看运行后的效果图

人工智能薪资

图片 17

 

那送啥口红呢?

图片 18

服务器运维

图片 19

 

运维也不陌生,最开始一批学习Python的人,就是运维和测试的在职人员,因为Python对于他们的工作起到很大的作用,因为使用Python脚本进行批量化的文件部署和运行调整都成了Linux服务器上很不错的选择。

图片 20

 

直接问女神吗??

 

数据分析

图片 21

 

在互联网上面,你可以知道很多的东西,都会根据你看的东西,买的东西分析并推荐给你想要的东西。比如:

淘宝:会推荐你看过的商品或者你想要买的喜欢的商品给你。

头条:根据你看文章的类目,推荐相关的文章给你。

Python所拥有的完整的生态环境十分有利于进行数据分析处理,比如,”大数据”分析所需要的分布式计算、数据可视化、数据库操作等,都可以通过Python中的十分成熟的模块完成。

图片 22

那一点惊喜都没了…

如果你想要进行简单数据分析的话,那可以把爬取下来的评论保存下来。

Python这五个就业方向最有钱途和发展,如果是你会怎么选择

图片 23

然后用Python对其进行数据分析,对于数据可视化小编比较推荐pyecharts

还不如来问我呢~

它可以是这样的

但是我说了也不算哇…

图片 24

那就看看众多仙女的选择

 

在这种方面跟大流,总是没错滴!

也可以是这样的

图片 25

图片 26

数据获取与处理

本次按销量爬取淘宝2019款口红产品,包括店铺名称、商品标题、价格、地址、商品编号、收货人和商品详情页链接,共2019条数据。

图片 27

产品数据部分展示

淘宝有一点很奇怪,搜索产品的时候只显示“收货人”,并不是真正的“销量”。于是我通过爬取每个产品页的信息获取了“销量”字段。“价格”和“销量”乘一乘,销售额也就出来啦。

除此之外,我还爬取了销售TOP3产品的100页评论,主要是想借由评论者的的产品属性来看看大家都喜欢什么色号,这个会在后续分析。

图片 28图片 29

MAC口红部分评价展示

数据分析

淘宝店铺可分为旗舰店、专卖店、专营店、天猫超市和其他,看看销量TOP2019的口红的店铺都是什么类型:

图片 30

从口红分布的店铺来看,68%的产品是在C店,其次是旗舰店,占比23%。但是,不要急!看看销售额分布:

图片 31

我们看到,旗舰店果然是专业认证的,65%的销售额都在旗舰店那儿。

按我的购物经验来说,除非在活动期间,否则旗舰店价格就是平时的专柜价,通常比代购贵。

但是它的销售额却最高,其实也很合常理。因为淘宝的各种店铺良莠不齐,口红这玩意儿又是涂在嘴巴上的,一不小心还会被吃进去,当然是正品为首要。

再看到销售额最高的店铺,清一色,百分之一百,都是旗舰店!

图片 32

那有人问了,旗舰店这么多,我选哪个品牌呀?

图片 33

手动判断了一下TOP50产品的品牌,发现MAC魅可、美康粉黛和稚优泉均出现了4次,并列第一,其次是完美日记。

再看一下销量TOP3的产品分别是什么?

TOP1 稚优泉唇釉,单价59.9元,可谓是非常良心了。

最近活动价格是居然是44.9?快拦住我!

那通过这款产品的评论,我们看一下大家都买了什么色号?

图片 34

稚优泉唇釉TOP5色号

由于淘宝网页机制,评论爬取数量不全,而且并不是所有收货买家都会评论。

因此从评论的SKU数据只能看出大致的色号分布。

从上面来看,番茄红最受大家欢迎,其销量约碾压后面4款产品!

那大家对这款产品是什么评论的呢?

图片 35

去除“口红”“不错”“喜欢”等关键词之后,你敢相信出现频率最高的词是“666”嘛??

在这款产品的2122条评论中,这个词语居然出现了622次!

除了“666”,“哑光”“唇釉”这类属性词出现频率也比较高,毕竟这款产品就叫“哑光唇釉”。

“显白“”性价比“和”质地“也是买家比较关注的。还有,”干“出现的频率比较高,可能是产品本身不够滋润。

TOP2:MAC子弹头口红

看看MAC啥色号受人欢迎:

图片 36图片 37

CHILI是偏橘调,OMG!显白!好看!买!

图片 38

这款产品有个高频词是“女朋友”,可见是赠女友佳品了。“易上色”“味道好闻”也是这个产品的一大特色。

TOP3:完美日记口红

跟稚优泉一样,也是国产滴,看包装还是蛮精美的。活动价格也很实惠,只要39.9元。真“买不了吃亏,买不了上当”。

图片 39图片 40

这款产品各个颜色都卖得蛮好的,“砖红色”最受欢迎,其次是“浆果色”,然后是“枫叶色”“南瓜色”和“奶油橘”这三类偏橘调的颜色。

图片 41

果然,便宜一点的东西,如果质量又好,那肯定就是“高性价比“了。”便宜“”价格“都出现了较多次数。”滋润“”持久“”很快“也是对产品质量的肯定。

总结刚刚的三款产品,敲黑板,划重点:

图片 42

刚刚多次提到了价格,这可能也是让男同胞们不禁要掂量一下钱包的问题。

我们再来看看口红价格大概都是多少?

图片 43

可以看到,大部分产品的价格分布在5元-69元之间,然后是69元-101元。197元到229元的这个档次的数量也有略微上升,这应该是产品档次上升了一个level吧。看大家预算,可是买几十到一百多的,也可以选两百多这档滴~

最后

爬取的2019款产品,最便宜的是某不知名杂牌,8.8元居然还有3只!

图片 44

更可怕的是近30天居然卖出去了960件???我只能说,谁用谁知道了……

图片 45

不考虑口红套装,最贵的口红是萝卜丁

图片 46

为什么这么贵呢?我也不知道。只能再次说,谁用谁知道了。

不过说实话哦,男生们,女生应该不会奢求你们买最贵的CL口红,但是拜托你们一定一定不要买最便宜的那款。

这里有我自己整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。送给正在学习python的小伙伴!这里是python学习者聚集地,欢迎初学和进阶中的小伙伴!小编的交流群:556370268

图片 47

发表评论

电子邮件地址不会被公开。 必填项已用*标注