C#码农的大数据之路 - 使用C#编写MR作业 - hystar(2)_H5之家

要运行这个示例，需要在Windows上安装前面提到的Microsoft HDInsight Emulator for Windows Azure。这个工具需要通过Microsoft Web Platform Installer来安装，搜索hdinsight，结果第一项就是我们要安装的工具：

点击添加 - 安装，耐心等候个半小时（需要下载大约1.2G的文件）

这其中最重要的部分就是用于Windows平台的HDP(Hortonworks Data Platform for Windows)，其所使用的是OpenJDK1.7的一个分支 - AZUL公司的Zulu。

安装完成后，桌面会多出3个快捷方式：

Hadoop Command Line是一个命令行的快捷方式，在这个控制台中我们可以直接使用如hadoop fs这样的命令。默认安装下控制台进入后目录为C:\hdp\hadoop-2.4.0.2.1.3.0-1981，hadoop等应用程序就在这个目录下的bin目录中。
这个目录的上级目录中(C:\hdp)包含了一些批处理及PowerShell脚本，我们就使用其中的start_local_hdp_services.cmd和stop_local_hdp_services.cmd来起停这个Windows上的大数据集群。
运行start_local_hdp_services.cmd输入下面的信息表示已经成功启动。

starting zkServer starting namenode starting secondarynamenode starting datanode starting resourcemanager starting timelineserver starting nodemanager starting jobhistoryserver starting hiveserver2 starting metastore starting derbyserver starting templeton starting oozieservice Sent all start commands. total services 13 running services 13

运行另外两个快捷方式分别可以看到HDFS和YARN的状态。
为了运行后面的程序，还需要给HDFS创建一个主目录

hadoop fs -mkdir -p /user/username #username是当前登陆的Windows用户名创建测试数据并运行MR任务

为了运行程序，首先向HDFS中添加测试输入数据。创建一个文本文件input.txt，每行一个数字，类似：

9 16 25 36 81

将该文件上传到FisrtJob中配置的那个目录：

hadoop fs -mkdir input hadoop fs -mkdir input/SqrtJob #如果目录不存在，先创建 hadoop fs -put input.txt input/SqrtJob/input.txt

剩下的就是编译这个程序并通过MRRunner执行，我们测试项目的名字为HadoopNet，编译后得到HadoopNet.exe。
通过代码可以看到，我们没有在Main函数中实现任何代码，我们要介绍的第一种提交作业的方式是使用MRRunner来提交，将输出的exe作为dll使用，运行下面的命令：

MRRunner.exe -dll HadoopNET.exe

不出意外的话，MR会开始执行。输出中的前半部分部分内容是MR执行过程中的日志。最后会打印实际提交的Hadoop平台的命令，MRRunner的作用也就在于生成这样的一条命令并将其提交到Hadoop Streaming来处理：

>>CMD: C:\hdp\hadoop-2.4.0.2.1.3.0-1981\bin\hadoop.cmd jar C:\hdp\hadoop-2.4.0.2.1.3.0-1981\share\hadoop\tools\lib\hadoop-streaming-2.4.0.2.1.3.0-1981.jar -D "mapred.reduce.tasks=0" -D "mapred.map.max.attempts=1" -D "mapred.reduce.max.attempts=1" -files "hdfs:///user/username/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/HadoopNET.exe,hdfs:///user/username/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/Microsoft.Hadoop.MapReduce.dll,hdfs:///username/hystar/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/Microsoft.Hadoop.WebClient.dll,hdfs:///user/username/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/Newtonsoft.Json.dll,hdfs:///user/username/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/Microsoft.Hadoop.MapDriver.exe,hdfs:///user/username/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/Microsoft.Hadoop.ReduceDriver.exe,hdfs:///user/username/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/Microsoft.Hadoop.CombineDriver.exe,hdfs:///user/username/dotnetcli/bbc29713-7dfb-4e33-944e-68a42230383c/app/Microsoft.WindowsAzure.Management.Framework.Threading.dll" -input hdfs:///user/hystar/input/SqrtJob -output hdfs:///user/hystar/output/SqrtJob -mapper Microsoft.Hadoop.MapDriver.exe -reducer NONE -cmdenv "MSFT_HADOOP_MAPPER_DLL=HadoopNET.exe" -cmdenv "MSFT_HADOOP_MAPPER_TYPE=HadoopNET.FirstMapper"

使用代码来提交MR作业

另一个运行MR程序的方式就是使用代码，我们在Main函数中添加如下代码：

var hadoop = Hadoop.Connect(); hadoop.MapReduceJob.ExecuteJob<FirstJob>();

编译生成HadoopNET.exe。这次我们不需要MRRunner可以直接运行Hadoop.exe。
执行过程和执行结果都与使用MRRunner一致。

注意这个测试用途的大数据平台，在MR任务输出目录已存在时会自动将其删除，而不是像原生Hadoop平台那样遇到输出目录存在时报错处理。

Microsoft.Azure.Management.HDInsight.Job

后来，微软技术路线改变，废弃了Azure Service Manager (ASM)-based tools中一列些工具，包括命令行CLI，PowerShell 和HDInsight .NET SDK（上一小节介绍的Microsoft.WindowsAzure.Management.HDInsight和Microsoft.Hadoop.Client都被废弃了）。全面转向Azure Resource Manager所包含的一些列库与工具。
虽然微软总是变来变去，但这也是为了迎合开源社区变化，以及让自身产品更有体系，更有可扩展性的无奈之举。
新的工具中与MapReduce相关的库为Microsoft.Azure.Management.HDInsight.Job下到一系列类。不同于之前的库，新的库只是提供一种通过.NET平台技术（包括C#与PowerShell）来提交MR任务的方法。而没有再提供一些辅助的类用于编写MR任务，新的MR任务编写应该是借鉴了Python等利用Hadoop Streaming进行大数据处理的方法，将Map和Reduce分别编写成可以独立执行的程序，然后提交到Hadoop Streaming去执行。下文会给出一个示例。
使用.NET C#编写的MR任务，需要基于Windows的Azure HDInsight环境来运行。这个目前没有模拟器，所以我们使用真实环境来测试。

这里没有使用世纪互联运营的Azure，而是使用了Azure全球服务，地区选择香港，可以使用大陆的手机号和大陆发行的Visa卡进行验证即可顺利激活1600HKD的试用额度。