可以看到最后我的体重降低到了69.7公斤，体重大致下降了35斤。很多同事最后看到我都很奇怪我是怎么做到的？其实就是坚持（跑步）加控制（饮食）。从5月16日开始我将工作重心转移到了对Spark的研究上，我将在下面一一道来。
Spark源码研究15年1月，我和其它同事一起在杭州开发《御膳房》的时候，我意外得知负责阿里的实时多维分析平台——Garuda和实时计算平台——Galaxy的和仲就在我们同一办公区的同一楼层，于是我找到了他。他是个看起来已经发了福的中年男人，从他的第一句话开始，我就觉得很开心。他将我带到单独的一间会议室，花了近一个小时为我耐心讲解Galaxy和Garuda的原理，最后还推荐我去研究Spark的源码。当时的我可以说对Spark一窍不通，听到和仲的建议，心想：“有时间就抽空研究下吧！”。在春节期间我查阅各种资料才明白Spark原来是用Scala编写的，可是我也从来没有接触过这门语言，只能从网上下了《快学Scala》这本书的电子书，花了大概10天时间读完整本书，然后见到Scala的语法就不再感到陌生了。Spark是Apache的开源项目，要研究它自然需要得到它的源码，从Spark官网上找到了它的github地址，然后git clone下来。研究任何系统的原理，最好的方式就是去研究源码，而研究源码最不可或缺的方式就是调试，而调试之前你必须做一些准备工作，比如：编译、打包、部署。虽然Spark本身是一个maven项目，但由于国内对外部一些网站资源的屏蔽，导致一开始并不顺利。刚开始的一周时间，我在工作之余就会去尝试编译、打包，但是在踩过很多坑之后曾经一度放弃了研究。还有个客观原因是很多人都推荐IntelliJ ，而我这个老顽固仍然守着Eclipse不放手。有大约一周左右，我没有再去想Spark，可能是太累，也可能是没有精力。在一周后的一天早上，我重新打开了Spark的项目进行尝试，然后很多问题都解决了，后来几天我编译通过了。
自从能够调试Spark的源代码，日子似乎比一开始要好过多了，你不用再去踩坑，你要做的只是一行一行去调试源码，进而理解每一段代码的逻辑意义。事情不可能一直糟糕，但也不可能一直顺利，直到一天我无法理解一些怪异的Scala语法，以至于我又陷入重围。回过头重新去理解Scala的语法，才知道当时花了10天去理解Scala，并不是看上去的那样——我掌握了一门新的语言！很多语法的深层次含义我并未理解，甚至为了快速突破Scala而略过它。除了语法上碰到的问题，对于一些能看懂的语法，我却不知道Spark的原作者为何要这么做？比如为什么要把RDD划分到不同的Stage中。对于不理解的问题，我查找各种资料，有时候能找到，但有时候你会陷入互联网的海洋中，你感觉到自己就像是一个机器人爬虫，永远都在无尽的网上爬啊爬。。。
有时候自己可以跳出这种漩涡，而有时候是因为耗尽了时间，已经到了凌晨1点，我不得不放弃。事实证明，放弃并不意味着失败，也不意味着这是一件坏事。当你重新梳理好自己的思路，喝一杯热茶，曾经的潘多拉魔盒解开了。在程序的世界里，只要你肯研究别人的源码，你就会不断陷入新的漩涡。当我解决了一个又一个难题的时候，一个想法从脑海深处油然而生。。。
写一本书由于自己解决的问题越来越多，所以写一本书的想法就这样诞生了。当我有这个想法的时候，并没有立刻就去联系出版社，因为我怕内容质量不高而被出版社拒绝出版。我打算再继续写一些内容，并对内容进行进一步的整理和浓缩后再联系出版社。我首先写了SparkContext、存储体系、任务提交与执行以及计算引擎部分的内容，在Spark核心内容只剩部署模式的时候开始联系出版社的。我已开始联系的出版社是电子工业出版社，按照网上说的方式给他们发了邮件，但是过了一周都没有反应的时候，我从《深入理解Java虚拟机》一书的最后宣传页中，找到了机械工业出版社的联系电话。跟出版社的工作人员要到了王福川编辑的邮箱，于是我发了第一份邮件询问具体的投稿事宜。王编辑在一个小时之内就回复了我，让我把我的写作选题、思路及大纲发给他。经过多次的邮件往来，王编辑代表机械工业出版社对我说，他们对我的书很感兴趣，愿意合作。按照王编辑和高婧雅编辑的建议，我又扩充了环境准备、Spark设计理念与基本架构、Spark SQL、流式计算、图计算及机器学习等章节的内容。8月初，我赶往出版社，与两位编辑面谈合作细节并签订了出版合同。
9月20日我完成了初稿（总共650多页），按照出版社的要求对格式作了调整后完成交稿。一直到12月份，出版社和我一起对书稿进行了4次的修改和校正。12月初出版社开始排版。12月中旬出版社开始设计书的封皮。12月下旬交给印刷厂印刷。最终于2016年1月1日出版上市。
相关文章
精彩导读
热门资讯
关注我们
