canvas教程

【Mac】Hadoop單機版安裝教程

字号+ 作者:H5之家 来源:H5之家 2016-10-30 14:00 我要评论( )

【Mac】Hadoop單機版安裝教程 1. 確保Java已經正確安裝。 查看Java版本:java -version 2. 下載hadoop源程式並解壓到apache的官網下載某一版本的hadoop,不同版本可能會存在較大差異。本教程中使用版本為2.7.1 https://dist.apache.org/repos/dist/relea ...

【Mac】Hadoop單機版安裝教程

1. 確保Java已經正確安裝。 查看Java版本:java -version 2. 下載hadoop源程式並解壓到apache的官網下載某一版本的hadoop,不同版本可能會存在較大差異。本教程中使用版本為2.7.1 https://dist.apache.org/repos/dist/relea ...

1. 確保Java已經正確安裝。

查看Java版本:java -version

2. 下載hadoop源程式並解壓
到apache的官網下載某一版本的hadoop,不同版本可能會存在較大差異。本教程中使用版本為2.7.1 https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.1/, 解壓到某一文件夾位置。

3. 配置MacOS環境
打開終端,輸入 ssh localhost
如果有錯誤信息,多半是因為操作系統為了安全進行的預設設置。更改方法:系統偏好設置-共用-遠程登錄-將當前登錄用戶添加到允許訪問列表中。再次登錄就可以成功了。

4. 在啟動hadoop之前需要將下麵的配置加入到profile中,具體路徑按照各自情況決定。

export HADOOP_HOME=/Users/kaka/Documents/pilot/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin

5. 配置etc/hadoop下的hadoop-env.sh
export JAVA_HOME=${JAVA_HOME} 去掉註釋
export HADOOP_HEAPSIZE=2000 設置為2000
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true" 去掉註釋

6. 配置core-site.xml - 指定NameNode主機名和埠

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/Users/kaka/Documents/pilot/hadoop-2.7.1/tmp/</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>

7. 配置hdfs-site.xml - 配置namenode和datanode

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/kaka/Documents/pilot/hadoop-2.7.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/kaka/Documents/pilot/hadoop-2.7.1/tmp/dfs/data</value>
</property></configuration>

8. 配置mapred-site.xml - 指定了JobTracker的主機名與埠

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>

9. 安裝hdfs
$HADOOP_HOME/bin/hdfs namenode -format

10. 啟動hadoop

$HADOOP_HOME/sbin/start-all.sh

文章來源:

更多相關文章

  • Zookeeper概論(對zookeeper的概論、原理、架構等的理解)

    Zookeeper概論(對zookeeper的概論、原理、架構等的理解) 一、概論 Zookeeper是一個分散式的、開放源碼的分散式應用程式協調服務,是Google的Chubby一個開源的實現,是hadoop和hbase 的重要組件。它是一個為分散式應用提供一致性服務的軟體。提供的功能包括:配置維 ...

  • 二叉排序樹

    定義 若左子樹非空,則左子樹上所有結點關鍵字值均小於根節點關鍵字值 若右子樹非空,則右子樹上所有節點關鍵字值均大於根節點關鍵字值 左,右子樹分別是一顆二叉排序樹 二叉排序樹插入 二查排序樹插入定義:若原二叉樹為空,則直接插入節點。否則,若關鍵字K小於根節點關鍵字,則插入到左子樹中。若關鍵字K大於根節... ...

  • SQL SERVER 資料庫各版本功能對比

    以前寫了篇SQL SERVER 2008資料庫各版本功能對比,官網提供的那個功能確實很好很強大,後面發現那個鏈接失效了。今天又遇到要對比SQL Server 2014資料庫版本功能需求,搜索找了好久才找到,索性將這些鏈接收錄在此,以備不時之需。 SQL Server 2008https://tech... ...

  • Hadoop集群搭建安裝過程(三)(圖文詳解---盡情點擊!!!)

    Hadoop集群搭建安裝過程(三)(圖文詳解 盡情點擊!!!) 一、JDK的安裝 安裝位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安裝在克隆三台機器的時候可以提前安裝,通過scp使安裝文件和環境配置(/etc/profile)都拷貝過去,並使三台機 器都通過(sourc ...

  • sql 查詢結果作為數據進行添加,where in 子查詢

    對於大神來說,不看都知道,但是對於和我一樣的菜鳥,就需要解釋一下了。 a,b是數據表名稱,c,d,e,f是數據。而c,d,e,f這些數據不一定非得來自b表,可以來自left join,right join和內連接查詢出來的結果 個人覺得使用起來還是比較方便的。 1 SELECT c,d,e FROM ...

  • 一周排行

  • Ubuntu 16.10 安裝byzanz截取動態效果圖工具

    1.瞭解byzanz截取動態效果圖工具 byzanz能製作文件小,清晰的GIF動態效果圖,不足就是,目前只能通過輸入命令方式來錄製。 byzanz主要的參數選項有: -d, --duration=SECS 動畫的時間 (預設:10 秒) -e, --exec=COMMAND Command to e ...

  • centos 配置本地 yum源

    修改CentOS-Media.repo時 每行代碼開始不要有空格[c6-media] #庫名稱 name=CentOS-$releasever - Media #名稱描述 baseurl=file:///media/centos/ #yum源目錄,源地址 gpgcheck=1 #檢查GPG-KEY,... ...

  • OutPut子句的使用限制

     

  • 1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

    相关文章
    网友点评