您现在的位置是:福州网站建设 > 网站建设
用 Excel 竟然也能实时自动抓取竞价广告排名!黑科技get
福州网站建设2024-09-08 09:01:10【网站建设】3人已围观
简介
点击关注▲艾奇SEM
知识 |经验|资讯|资料四大版块
专注SEM与信息流广告
作者:王文涛(QQ:2774150789)
投稿邮箱:tougao@27sem.com
商务合作:微信 aiqijun02
本人纯屌丝竞价猿一枚,用n也上班就查排名啊!竟然竞价技查排名啊!自动抓查排名啊!广告蛋甚是排名疼,就想着有没有办法实时自动抓取百度(当然搜狗、黑科360、用n也神马啥的竟然竞价技都可以)竞价排名,那就不用自己手动来查排名了!
还别说,自动抓真的广告有!
大家可以先看视频感受一下这种自动抓取排名的排名酷炫感(视频开始后请静候10秒,小程序运行需要一点时间……)
这边放一张最后抓取到EXCEL报表的黑科示例图:
这个东西都能用来做些什么工作呢?比如:
1、采集创意,用n也研究对手创意(代码只能获取标题,竟然竞价技没有添加获取两个描述的自动抓代码);
2、排查排名情况(可以修改代码,只监视我们关注的对手的排名情况);
3、根据excel中的查询记录能查到 对手下线上线时间 ;
4、调整查询的关键词可以了解对手推广重点(需要添加多关键词查询功能,很简单)
5、不用点击进去就能获取真实着陆页链接;
6、通过观察对方着陆页链接的后缀可以大致摸清其账户结构(需要查询足够多,足够广泛的的关键词及知道其陆页链接后缀意思的情况下才可以);
7、研究对手匹配方式设置情况(通过查询多次,对比搜索词与账户触发词,此代码没有添加此功能,有兴趣的童鞋可以自己添加上去,很简单);
8、研究对手分地域推广情况(需要设置代理,我没有添加此功能,有点麻烦);
9、除查询竞价排名情况外,稍微修改一下还可以查询自然排名情况,用处大家自己想哈;
下面教程开始:
1、 环境搭建
人生苦短,我用python
备注:装轮子的时候推荐使用pip或者easy_install,以下环境搭建非本文重点,请各位童鞋找度娘帮忙,实在实在搞不定的话也可以联系我,不要看要安装那么多东西太麻烦,其实这只是冰山的一个小角,要学的还有很多呢!
1)python2.7(我是用的python,当然需要安装python环境了,为什么不选py3呢?因为py2的轮子比较丰富,可能有的在py3上面不支持,而且py3的部分语法跟py2有点区别,特别是print函数)
下载地址:https://www.python.org/downloads/(复制链接到浏览器打开即可)
2)使用python现成的轮子:
A、requests库(python爬虫经典库,当然也有很多别的,比如urllib、Scrapy框架等,但是我感觉requests用的比较顺手)
安装教程:http://www.python-requests.org/en/master/user/install/#install
B、xlwings库(操作excel的库,把获取到的排名情况写到Excel,其他的比如xlrd、xlwt,一个只能读,一个只能写,还不能覆盖了写,好像有点操蛋哈。其实也可以把结果直接打印在控制台或是存在文档里面,都可以的)
安装教程:http://docs.xlwings.org/en/stable/installation.html
C、 lxml库(这个库用来使用XPath获取爬到的页面内容,比如竞价位的标题和url,我已经抛弃了Beautiful Soup了,因为感觉它有点笨拙,个人见解,不喜勿喷)
安装教程:http://lxml.de/installation.html#installation
3)Excel2016(我是用的这个版本,其他版本也可以兼容xlwings)
4)Sublime Text3(用来编写和运行python代码的,为什么用这个,个人喜好)
安装及配置python环境教程:https://www.zhihu.com/question/22904994
2、连接python和excel
现在基本的环境都配置好了,下面要开始连接python和Excel了,在Excel里面跑python代码,从此告别VBA,是不是很酷啊!
最简单的方法就是打开cmd(开始-运行-输入cmd回车或者win键+R打开运行输入cmd并回车),打开cmd后默目录如图是C:\Users\Administrator(不同电脑这个目录可能不同);
我现在要把当前目录切换到C盘根目录,输入下面命令并回车:
出现如图所示,则表明运行成功:
然后在C盘会生成一个以wwt命名的文件夹,里面有两个文件:一个是wwt.xlsm文件,这是打开宏的excel格式,爬取到的数据就写入到该文件;另外一个是wwt.py文件,python命令就写在这个文件。
备注:链接excel和python有多种方法,具体见xlwings官网使用文档。
打开wwt.xlsm,然后打开vba代码编辑窗口(Alt+F11),如图所示:
双击Module1模块,复制下面代码进去,
1
2
3
SubGetSEM()
RunPython ("import wwt; wwt.main()")
EndSub
备注:以上代码是在VBA中自定义一个以GetSEM()命名的宏,该宏会出现在Excel中的开发工具—宏模块中。
RunPython ("import wwt; wwt.main()")是xlwings提供的代码,意思是运行python代码,“import wwt”是导入wwt.py文件,“wwt.main()”是运行wwt.py文件中的main()函数,这个宏是连接python和Excel的桥梁。
至此,连接python与Excel2016完成,可以在Excel中跑python代码了!保存退出,OK!
3、 复制代码到wwt.py
由于微信编辑功能限制(其实是艾奇菌不知道怎么把代码完完整整放进来……),我们为大家打包了源代码和EXCEL文档,大家点击“阅读原文”即可下载源代码,将代码复制之前生成的wwt.py中即可。
这里的代码只是实现了一个最简单的查排名的功能,可以根据自己需要修改。
注意:python是一门有强迫症的语言,上下前后左右缩进一定要对其,否则会报错!
4、运行wwt.xlsm
万事俱备,只欠东风,我们什么都不欠了,就欠你打开wwt.xlsm,然后点几下了!
按照如图箭头所示顺序,执行以下,排名情况就会展现在你面前!最后贴上运行结果供大家参考!什嘛?竟然有的着陆页没添加跟踪后缀,太不专业啦!!
代码纯手敲,文字纯手打,累了!DONE!
以上程序代码只做了简单的异常处理,运行时可能会无故中断,并且只获取PC端的排名情况,代码也比较丑,请大家不要笑话俺,此文仅为各位童鞋提供一个大体思路,具体细节请各位自行斟酌。
▼ 点击原文,立即下载
很赞哦!(8)
上一篇: 网站排名差是哪些原因造成的?
下一篇: 企业网站建设中的详细法则
站长推荐
友情链接
- 株洲网站制作需要多少钱?
- 中小企业应该如何选择网站建设公司?
- 东莞网站建设:为什么要尽快建立网站?
- 中山网站建设报价一般是多少?
- 抖音小程序—流量实现新通道
- 株洲网站制作需要多少钱?
- 网站改版过程中需要注意的几点
- 长沙网站建设常见的五种类型
- 创新网站建设策略:深圳企业拓展市场竞争优势
- 湖南网站建设的基本流程是怎样的
- SEO友好的长沙网站设计:关键步骤和策略
- 长沙网站建设为什么选择定制建站
- 企业网站如何设计出有吸引人网站界面呢?
- 深圳网站建设的流程包含哪些步骤
- 什么是响应式网站以及响应式优缺点是什么?
- 佛山网站建设需要注意哪几点?
- 邵阳响应式网站的设计优势
- 【长沙建站公司】网站地图的作用
- 湖南网站建设的基本流程是怎样的
- 广东网站设计:高端网站设计要了解哪些技巧?