零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)

没办法很详细地讲,只能大致上讲解一下,然后给个实例。工具:Excel2013(用哪个版本都是可以的)语言:VisualBasicforApplications(

工具:Excel2013(任何版本都可以)

语言:Visual Basic for Applications(简称VBA,集成在Office套件中的开发程序,一些精简版本或者用户在安装过程中取消了VBA套件,则无法启动)

我本来是学硬件开发的,只知道汇编。写这样的程序不是我的专长,自学也只是半途而废。我写的程序还有很大的优化空间。如果有更有效的方法,请不吝赐教。

示例1:获取淘宝搜索结果页面的宝贝信息

如下图所示,搜索关键词“T恤”后,你会看到类似这样的结果。我想将产品标题、价格、排名位置等信息捕获到本地数据库或表格中。

让我们右键单击页面并单击查看源文件

您看到的结果如下

这是一个网页的源代码。我要介绍的方法是通过网页请求获取这里的源码,然后解析源码。

观察源代码非常重要,因为这一步将决定如何获取数据。

例如,删除标题

标题是title=之后的一串字符,以符号结尾。如果将这两个视为分隔符,那么标题就隐藏在两个分隔符的中间。

所以,想了想,只要知道这两个分隔符的位置,就可以取出标题了。

接下来我们开始练习

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)

首先我们准备好工具,进入excel的文件–选项–自定义功能区–主选项卡,勾选开发工具。

然后进入vba编程环境

插入模块

您可以在这些模块中编写程序。下图中,我一次性插入了4个模块。我只是在其中一个模块上编写了代码。

然后编写代码(这里是截图,文末会附上文字版代码)

大家注意到第四行,有一个很长的字符串

URL=’http://s.taobao.com/search?q=T%D0%F4commend=allssid=s5-esearch_type=itemsourceId=tb.indexspm=1.6659421.754896237.1initiative_id=tbindexz_20140301′

您所需要做的就是替换此链接。该链接是搜索后的结果页面。输入淘宝上的关键字,然后选择属性或排序方法,粘贴URL,然后运行此代码。下图是运行按钮的位置

运行后得到的结果

我已经在代码中注释了这段代码的解释。其实这个过程可以写得更加智能。 URL中q=后面的T%D0%F4是T恤的uncode码。其实只要额外编写一个转码程序,就可以直接在excel工作表或表单中输入关键字进行搜索。

另外,使用sort参数指定排序类型,如

sort=默认为综合排名

sort=renqi-desc 为人气排名

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)

sort=sale-desc 是销量排名

s=40为页码,计算公式为40*(页码-1)。很明显s=40是第2页。

这是T恤下人气排行第二页的搜索结果

再做一个查询按钮,它就变成了软件。

如果用时间来控制的话,程序可以每隔几分钟或几小时运行一次,以达到自动爬取数据的目的。

这部分我就不详细说了,有兴趣的可以自己研究一下。

示例2:如何使用API获取数据

首先,您需要在api.taobao.com 注册成为开发者,并获取App Key 和App Secret。

然后根据开发文档的API列表:open.taobao.com/api/api_list.htm,找到对应功能的API。那么下面我就以taobao.itemcats.get为例。

首先,您必须阅读该API的文档并了解该接口的调用参数。

然后可以去沙箱测试http://api.taobao.com/apitools/apiTools.htm?catId=3apiName=taobao.itemcats.get,可以观察返回的结果。我们想要的数据也在两个分隔符中间,只要提取出来就可以了。

最后直接写代码就可以了。对于此代码,只需将app_key 和Secret 替换为您自己的,它就会运行。

运算结果是获取女装的子类目代码和对应的子类目名称(parent_cid为16)

用户评论

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
安之若素

这文章太实用了,刚刚开始做电商数据分析,看到这个方法简直救星啊!附的淘宝API调用示例也很详细,学到了很多新知识。

    有8位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
↘▂_倥絔

代码爬取电商数据听起来好复杂,但是看了这个教程感觉也不是那么难懂,感谢作者的耐心讲解。

    有20位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
一别经年

淘宝API调用示例好棒,但是我觉得文章里可以再加点错误处理的方法,毕竟爬取数据的时候总会遇到点问题。

    有12位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
巷口酒肆

零一数据的这篇教程写得真不错,对于新手来说太有帮助了,尤其是那些示例代码,一看就懂。

    有19位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
﹎℡默默的爱

这篇文章对于电商数据分析的人来说太有价值了,尤其是那些API调用示例,让我对电商数据有了更深的认识。

    有9位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
﹏櫻之舞﹏

看了这篇文章,感觉爬取电商数据也不是那么遥不可及,感谢作者分享这么实用的技巧。

    有8位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
念旧是个瘾。

这篇文章让我对电商数据爬取有了新的认识,不过我还是觉得需要更多的实战经验来巩固这些知识。

    有6位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
寂莫

零一数据的这篇教程太详细了,尤其是对于淘宝API的调用,让我对电商数据爬取有了更深的理解。

    有19位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
逾期不候

虽然文章里提到的代码看起来挺复杂,但是我相信跟着教程一步一步来,肯定能学会的。

    有17位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
水波映月

这篇文章对于电商行业的人来说非常有帮助,尤其是对于数据分析方面的工作,感谢作者的分享。

    有14位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
夏日倾情

零一数据的这篇教程让我对电商数据爬取有了新的认识,不过我觉得可以增加一些不同电商平台的API示例。

    有17位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
封锁感觉

刚刚开始学习电商数据分析,这篇教程正好解决了我的难题,特别是淘宝API调用示例,太实用了。

    有10位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
孤败

这篇文章让我对电商数据爬取有了全新的理解,尤其是附带的代码,让我对编程有了更浓厚的兴趣。

    有16位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
軨倾词

感谢零一数据的分享,这篇文章让我对电商数据爬取有了更深入的了解,对于我的工作帮助很大。

    有14位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
抚笙

虽然文章里提到的代码比较复杂,但是我相信只要认真看,肯定能学会的,加油!

    有8位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
迷路的男人

这篇文章对于电商行业的人来说非常有价值,尤其是那些API调用示例,让我对电商数据有了更全面的了解。

    有12位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
病态的妖孽

零一数据的这篇教程太棒了,尤其是对于初学者来说,能够通过这些示例代码快速入门。

    有10位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
别留遗憾

这篇文章让我对电商数据爬取有了全新的认识,尤其是那些实战技巧,让我受益匪浅。

    有17位网友表示赞同!

零一数据:如何使用代码爬取电商数据(附淘宝API调用示例)
怪咖

这篇文章对于电商数据分析的人来说太有帮助了,尤其是那些API调用示例,让我对电商数据有了更深的理解。

    有13位网友表示赞同!

综合资源

两行代码可以输出所有汉字,其中大部分你可能从未见过

2024-11-1 20:14:48

综合资源

如何了解直通车的搜索方式、热门度以及作弊方式!

2024-11-1 20:18:24

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索