工具:Excel2013(任何版本都可以)
语言:Visual Basic for Applications(简称VBA,集成在Office套件中的开发程序,一些精简版本或者用户在安装过程中取消了VBA套件,则无法启动)
我本来是学硬件开发的,只知道汇编。写这样的程序不是我的专长,自学也只是半途而废。我写的程序还有很大的优化空间。如果有更有效的方法,请不吝赐教。
示例1:获取淘宝搜索结果页面的宝贝信息
如下图所示,搜索关键词“T恤”后,你会看到类似这样的结果。我想将产品标题、价格、排名位置等信息捕获到本地数据库或表格中。
让我们右键单击页面并单击查看源文件
您看到的结果如下
这是一个网页的源代码。我要介绍的方法是通过网页请求获取这里的源码,然后解析源码。
观察源代码非常重要,因为这一步将决定如何获取数据。
例如,删除标题
标题是title=之后的一串字符,以符号结尾。如果将这两个视为分隔符,那么标题就隐藏在两个分隔符的中间。
所以,想了想,只要知道这两个分隔符的位置,就可以取出标题了。
接下来我们开始练习
首先我们准备好工具,进入excel的文件–选项–自定义功能区–主选项卡,勾选开发工具。
然后进入vba编程环境
插入模块
您可以在这些模块中编写程序。下图中,我一次性插入了4个模块。我只是在其中一个模块上编写了代码。
然后编写代码(这里是截图,文末会附上文字版代码)
大家注意到第四行,有一个很长的字符串
URL=’http://s.taobao.com/search?q=T%D0%F4commend=allssid=s5-esearch_type=itemsourceId=tb.indexspm=1.6659421.754896237.1initiative_id=tbindexz_20140301′
您所需要做的就是替换此链接。该链接是搜索后的结果页面。输入淘宝上的关键字,然后选择属性或排序方法,粘贴URL,然后运行此代码。下图是运行按钮的位置
运行后得到的结果
我已经在代码中注释了这段代码的解释。其实这个过程可以写得更加智能。 URL中q=后面的T%D0%F4是T恤的uncode码。其实只要额外编写一个转码程序,就可以直接在excel工作表或表单中输入关键字进行搜索。
另外,使用sort参数指定排序类型,如
sort=默认为综合排名
sort=renqi-desc 为人气排名
sort=sale-desc 是销量排名
s=40为页码,计算公式为40*(页码-1)。很明显s=40是第2页。
这是T恤下人气排行第二页的搜索结果
再做一个查询按钮,它就变成了软件。
如果用时间来控制的话,程序可以每隔几分钟或几小时运行一次,以达到自动爬取数据的目的。
这部分我就不详细说了,有兴趣的可以自己研究一下。
示例2:如何使用API获取数据
首先,您需要在api.taobao.com 注册成为开发者,并获取App Key 和App Secret。
然后根据开发文档的API列表:open.taobao.com/api/api_list.htm,找到对应功能的API。那么下面我就以taobao.itemcats.get为例。
首先,您必须阅读该API的文档并了解该接口的调用参数。
然后可以去沙箱测试http://api.taobao.com/apitools/apiTools.htm?catId=3apiName=taobao.itemcats.get,可以观察返回的结果。我们想要的数据也在两个分隔符中间,只要提取出来就可以了。
最后直接写代码就可以了。对于此代码,只需将app_key 和Secret 替换为您自己的,它就会运行。
运算结果是获取女装的子类目代码和对应的子类目名称(parent_cid为16)
用户评论
安之若素
这文章太实用了,刚刚开始做电商数据分析,看到这个方法简直救星啊!附的淘宝API调用示例也很详细,学到了很多新知识。
有8位网友表示赞同!
↘▂_倥絔
代码爬取电商数据听起来好复杂,但是看了这个教程感觉也不是那么难懂,感谢作者的耐心讲解。
有20位网友表示赞同!
一别经年
淘宝API调用示例好棒,但是我觉得文章里可以再加点错误处理的方法,毕竟爬取数据的时候总会遇到点问题。
有12位网友表示赞同!
巷口酒肆
零一数据的这篇教程写得真不错,对于新手来说太有帮助了,尤其是那些示例代码,一看就懂。
有19位网友表示赞同!
﹎℡默默的爱
这篇文章对于电商数据分析的人来说太有价值了,尤其是那些API调用示例,让我对电商数据有了更深的认识。
有9位网友表示赞同!
﹏櫻之舞﹏
看了这篇文章,感觉爬取电商数据也不是那么遥不可及,感谢作者分享这么实用的技巧。
有8位网友表示赞同!
念旧是个瘾。
这篇文章让我对电商数据爬取有了新的认识,不过我还是觉得需要更多的实战经验来巩固这些知识。
有6位网友表示赞同!
寂莫
零一数据的这篇教程太详细了,尤其是对于淘宝API的调用,让我对电商数据爬取有了更深的理解。
有19位网友表示赞同!
逾期不候
虽然文章里提到的代码看起来挺复杂,但是我相信跟着教程一步一步来,肯定能学会的。
有17位网友表示赞同!
水波映月
这篇文章对于电商行业的人来说非常有帮助,尤其是对于数据分析方面的工作,感谢作者的分享。
有14位网友表示赞同!
夏日倾情
零一数据的这篇教程让我对电商数据爬取有了新的认识,不过我觉得可以增加一些不同电商平台的API示例。
有17位网友表示赞同!
封锁感觉
刚刚开始学习电商数据分析,这篇教程正好解决了我的难题,特别是淘宝API调用示例,太实用了。
有10位网友表示赞同!
孤败
这篇文章让我对电商数据爬取有了全新的理解,尤其是附带的代码,让我对编程有了更浓厚的兴趣。
有16位网友表示赞同!
軨倾词
感谢零一数据的分享,这篇文章让我对电商数据爬取有了更深入的了解,对于我的工作帮助很大。
有14位网友表示赞同!
抚笙
虽然文章里提到的代码比较复杂,但是我相信只要认真看,肯定能学会的,加油!
有8位网友表示赞同!
迷路的男人
这篇文章对于电商行业的人来说非常有价值,尤其是那些API调用示例,让我对电商数据有了更全面的了解。
有12位网友表示赞同!
病态的妖孽
零一数据的这篇教程太棒了,尤其是对于初学者来说,能够通过这些示例代码快速入门。
有10位网友表示赞同!
别留遗憾
这篇文章让我对电商数据爬取有了全新的认识,尤其是那些实战技巧,让我受益匪浅。
有17位网友表示赞同!
怪咖
这篇文章对于电商数据分析的人来说太有帮助了,尤其是那些API调用示例,让我对电商数据有了更深的理解。
有13位网友表示赞同!