1,安装linux
本文假设从裸机开始,所以要先装linux。本人是ubuntu对支持者,所以装的是ubuntu,废话没有,很容易就装好了。在安装过程中,要注意所有节点对主机名应该有规律,比如node0, node1, node2 ...
2,准备
下面对软件对安装,全都使用了apt,这个软件需要互联网链接,如果你对网速极慢,或者根本链接不到外部网络(这个现象在教育网内很常见),可以从一个能上网对ubuntu电脑上的/var/cache/apt/archives文件夹里deb文件出来安装(什么?你问我这个文件夹里为什么没有想要的包,这个文件夹是apt对缓存文件夹,想要里面有你想要对东西,不用我提醒你应该怎么办了吧)。
ubuntu默认已经装好了openssh-client,需要安装openssh-server。命令如下:
复制代码代码如下:
sudo apt-get install openssh-server
然后是jdk:
复制代码代码如下:
sudo apt-get install default-jdk
3,配置网络
如果你的节点们可以通过dhcp服务器获得ip,我个人建议,这样做,原因是简单,不用怎么配置就搞定了。或者可以使用静态ip,作为一个牛b的linux大牛,应该可以通过一行命令来设置静态ip,但是我不会。我通常都是在gnome提供的网络管理器来设ip对。如果你用对linux里没有图形界面,那样请google。
设置好了ip地址之后,记忆在/etc/hosts文件中给每个节点起个名字,最好就是各自对主机名,这样有利于下面对配置和管理。
hadoop要求各节点间可以不需要输入密码就能用ssh互相登录。我使用了比官方方法简单一点方法来设置,但是据说安全性有点儿问题。下面是方法:
在某个节点上执行如下命令:
复制代码代码如下:
rm -rf ~/.ssh
复制代码代码如下:
ssh-keygen -t rsa
这个命令之后需要多按几次回车,知道再次出现命令提示符。当然,这个做法也不是很安全,里面有个输入key的地方,官方的建议是,输入一首歌的歌词,呵呵,这个建议很搞笑。当然在我的步骤中,这个key就是空值了。
复制代码代码如下:
cat ~/.ssh/id_rsa.pub authorized_keys
然后把整个.ssh文件夹考到所有对节点上,具体方法可以使用scp命令,具体命令由于和具体环境有关,下面不写。
这样网络就设置对差不多了。
4,安装hadoop
解压,这个比较简单,命令不写。解压对位置最好每个hadoop都一样,不一样有什么后果,我没试过。
之后要进行一些配置,首先进入解压后目录对conf文件夹,要修改对配置文件包括hadoop-env.sh hadoop-site.xml masters slaves
hadoop-env.sh中要uncomment下面一行:
复制代码代码如下:
export JAVA_HOME=/home/hadoop/jdk1.6.0_16/
当然具体的值,也要根据具体情况进行更改。
接下来是hadoop-site.xml,下面是我的文件内容。
复制代码代码如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node0:6000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>node0:6001</value>
</property>
</configuratiron>
这个例子很直白,不解释。
masters里面是jobtracker和namenode所在节点的主机名或者ip地址,我的masters文件里只有一行,当然如果你想要设置多个节点作为主节点,也可以。
slaves里面是所有tasktracker和datanode对主机名或ip地址。
5,运行
先进入hadoop安装文件夹。然后依次运行如下命令:
复制代码代码如下:
bin/hadoop namenode -format
bin/start-all.sh
不出意外的话,现在hadoop就可以使用了。
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
本文假设从裸机开始,所以要先装linux。本人是ubuntu对支持者,所以装的是ubuntu,废话没有,很容易就装好了。在安装过程中,要注意所有节点对主机名应该有规律,比如node0, node1, node2 ...
2,准备
下面对软件对安装,全都使用了apt,这个软件需要互联网链接,如果你对网速极慢,或者根本链接不到外部网络(这个现象在教育网内很常见),可以从一个能上网对ubuntu电脑上的/var/cache/apt/archives文件夹里deb文件出来安装(什么?你问我这个文件夹里为什么没有想要的包,这个文件夹是apt对缓存文件夹,想要里面有你想要对东西,不用我提醒你应该怎么办了吧)。
ubuntu默认已经装好了openssh-client,需要安装openssh-server。命令如下:
复制代码代码如下:
sudo apt-get install openssh-server
然后是jdk:
复制代码代码如下:
sudo apt-get install default-jdk
3,配置网络
如果你的节点们可以通过dhcp服务器获得ip,我个人建议,这样做,原因是简单,不用怎么配置就搞定了。或者可以使用静态ip,作为一个牛b的linux大牛,应该可以通过一行命令来设置静态ip,但是我不会。我通常都是在gnome提供的网络管理器来设ip对。如果你用对linux里没有图形界面,那样请google。
设置好了ip地址之后,记忆在/etc/hosts文件中给每个节点起个名字,最好就是各自对主机名,这样有利于下面对配置和管理。
hadoop要求各节点间可以不需要输入密码就能用ssh互相登录。我使用了比官方方法简单一点方法来设置,但是据说安全性有点儿问题。下面是方法:
在某个节点上执行如下命令:
复制代码代码如下:
rm -rf ~/.ssh
复制代码代码如下:
ssh-keygen -t rsa
这个命令之后需要多按几次回车,知道再次出现命令提示符。当然,这个做法也不是很安全,里面有个输入key的地方,官方的建议是,输入一首歌的歌词,呵呵,这个建议很搞笑。当然在我的步骤中,这个key就是空值了。
复制代码代码如下:
cat ~/.ssh/id_rsa.pub authorized_keys
然后把整个.ssh文件夹考到所有对节点上,具体方法可以使用scp命令,具体命令由于和具体环境有关,下面不写。
这样网络就设置对差不多了。
4,安装hadoop
解压,这个比较简单,命令不写。解压对位置最好每个hadoop都一样,不一样有什么后果,我没试过。
之后要进行一些配置,首先进入解压后目录对conf文件夹,要修改对配置文件包括hadoop-env.sh hadoop-site.xml masters slaves
hadoop-env.sh中要uncomment下面一行:
复制代码代码如下:
export JAVA_HOME=/home/hadoop/jdk1.6.0_16/
当然具体的值,也要根据具体情况进行更改。
接下来是hadoop-site.xml,下面是我的文件内容。
复制代码代码如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node0:6000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>node0:6001</value>
</property>
</configuratiron>
这个例子很直白,不解释。
masters里面是jobtracker和namenode所在节点的主机名或者ip地址,我的masters文件里只有一行,当然如果你想要设置多个节点作为主节点,也可以。
slaves里面是所有tasktracker和datanode对主机名或ip地址。
5,运行
先进入hadoop安装文件夹。然后依次运行如下命令:
复制代码代码如下:
bin/hadoop namenode -format
bin/start-all.sh
不出意外的话,现在hadoop就可以使用了。
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
2024年11月17日
2024年11月17日
- 【雨果唱片】中国管弦乐《鹿回头》WAV
- APM亚流新世代《一起冒险》[FLAC/分轨][106.77MB]
- 崔健《飞狗》律冻文化[WAV+CUE][1.1G]
- 罗志祥《舞状元 (Explicit)》[320K/MP3][66.77MB]
- 尤雅.1997-幽雅精粹2CD【南方】【WAV+CUE】
- 张惠妹.2007-STAR(引进版)【EMI百代】【WAV+CUE】
- 群星.2008-LOVE情歌集VOL.8【正东】【WAV+CUE】
- 罗志祥《舞状元 (Explicit)》[FLAC/分轨][360.76MB]
- Tank《我不伟大,至少我能改变我。》[320K/MP3][160.41MB]
- Tank《我不伟大,至少我能改变我。》[FLAC/分轨][236.89MB]
- CD圣经推荐-夏韶声《谙2》SACD-ISO
- 钟镇涛-《百分百钟镇涛》首批限量版SACD-ISO
- 群星《继续微笑致敬许冠杰》[低速原抓WAV+CUE]
- 潘秀琼.2003-国语难忘金曲珍藏集【皇星全音】【WAV+CUE】
- 林东松.1997-2039玫瑰事件【宝丽金】【WAV+CUE】