120项改进：开源超级爬虫Hawk 2.0 重磅发布！

沙漠君在历时半年，修改无数bug，更新一票新功能后，在今天隆重推出最新改进的超级爬虫Hawk 2.0!

啥？你不知道Hawk干吗用的？ 这是采集数据的挖掘机，网络猎杀的重狙！半年多以前，沙漠君写了一篇小软文，推出了Hawk。关注的人超级多有木有！

Github上的小星星一下子增加到400！超多妹子在沙漠君的粉丝应援团里疯狂崇拜！然而这不是重点！重点是Hawk真的好多"小"问题...

有朋友哭诉，刚启动小鹰它就冒烟了，还是烤肉味的！好不容易把小虫虫做好，碰了一下显示器，结果小虫虫就扑街了！

每次听到反馈，我都超想好好地把小鹰改造一番。但是！！你们想不到沙漠君工作有多忙！只有在洗手间的时候，我才空在手纸上写代码！

然而！自己挖的坑，哭着也要把它填完！这不，Hawk 2.0横空出世了！

二鹰新增哪些特性呢？

每当我在妹子们前炫耀Hawk的时候，每点一次鼠标，妹子们就一片赞叹，对，就这个效果。

裹脚布杀手：全面支持动态页面

二鹰全面支持动态网页，ajax和瀑布流。这是啥？你在刷微博看杨臭脚的时候，浏览器的地址显示你家幂幂的名字了吗？ 没有吧？这就是动态网页，地址是隐藏在网页之中的！

怎么办？你只要把随便一条微博的一个关键词输入到“搜索关键字”那里，点“开始”自动嗅探。二鹰就会帮你抓到这个请求。不论再臭再长的裹脚布都不怕。

大家都很喜爱鹰1的“手气不错”功能，但之前只能处理html，而很难处理内嵌js和json， 现在只要你勾选“超级模式”，不论返回的是何种数据类型。直接点“手气不错”，数据表格就完整出来了！其他什么都不用干！

啊啊啊太强大了，理论上没有二鹰抓不到的网站，除非你的关键字实在太蠢，或者网站做得太高级...

反反爬虫：增加代理

诶诶诶，你又被网站封IP了？谁让你这么不温柔？没有关系，在网页采集器里配置代理，小虫虫就又能接着干活了。

我知道你肯定会问，哪里找代理？那沙漠君就不造了。出门淘宝，想免费的话去翻一翻代理网站，或者搜索“ADSL拨号” 。但是不要用Hawk来做任何非法的用途哦（这段好多敏感词，捂脸）

(爬数据适可而止，小心被查水表哦，严肃脸)

120项改进和优化

沙漠君本来在吃着火锅改着代码，但惊讶于Hawk中居然藏了那么多的bug，吓得我火锅里的毛肚都烫老了！ 不过话说回来，只有这样你们才会想起我呀~

于是在发布第一版后的三个月，我断断续续修复了大概120个bug，错误清单上面长长的一片:

在某些win7机器上运行不了啊

开启嗅探再关闭软件，突然上不了网了啦

把爬虫转换拖进去没反应啦，其实就是你没配置好...
...

不好意思，根本列不完，列完你也看不完。

不过，优化了这么多，我还是实现了前向兼容，之前大家设计的工程文件都能继续使用。反正不会随随便便就崩溃了。

其实Hawk的子流系统是个超酷的功能，可惜我觉得100个人里有一个会用就不错了。这是个啥呢？ 简单说，你可以搭积木，先设计小虫虫，再拼成大虫虫。甚至支持自己和自己拼起来(专业点叫尾递归。邪恶点叫69？啊不要想歪)。

借助子流和内置的Python脚本系统，二鹰能达到图灵完备，实现任意复杂的逻辑，甚至能做刷票！反正口说无凭，你仔细去感受一下就是了。

沙漠君写了完整的文档！

大家最多的反馈，是XXX怎么用啊？泥萌也知道对程序猿来说，写文档就像和产品经理吵架一样痛苦。 我还是咬咬牙，决定写完整的文档！

程序员写文档一般都不是给地球人看的。但是沙漠君忍了。 恩，6个完整的手把手的例子，到每个模块的概要说明，想要的基本都能找到。如果有任何问题，直接在GitHub上留言提问，沙漠君实在受不了一个问题重复回答一百遍啊一百遍！

文档也许现在不全，不过没关系，我会慢慢补充的，总得给我点时间啦。如果还有bug捏？我保证一口老血吐在你的屏幕上！ 当然，如果bug够高级，你心爱的沙漠君可能会给你发红包哦。

在哪里获得？~~

Hawk号称是数据界的小确幸，它已经被全国政协，妇联工商联，各大企事业单位和个人广泛使用。

Hawk完全免费开源！ 目前所有的文档和发行版，都在GitHub上能找到，直接搜索Hawk即可。 之前的百度云，CSDN下载都可能不再维护。如果你喜欢它，最少是不是该成为沙漠之鹰微信公号的粉丝呀？是不是该在GitHub上Star一下呀？感兴趣的更多的细节，都可以在GiHub上找到。

下载地址：

https://github.com/ferventdesert/Hawk/releases

百度云地址(方便部分朋友无法访问Github)：

密码：n0bu

录制高清视频地址：

密码：hp8w

如果还找不到？ 沙漠之鹰留言或留邮箱，链接和安装包直接发给你！



posted @