您的位置:1010cc时时彩经典版 > 操作系统 > 1010cc时时彩经典版:集群搭建与环境配置,环境

1010cc时时彩经典版:集群搭建与环境配置,环境

发布时间:2019-08-28 13:25编辑:操作系统浏览(82)

    一、问题症状:

    Linux下执行Hadoop WordCount.jar

    Linux执行 Hadoop WordCount

    Ubuntu 终端进入快捷键 :ctrl Alt t

    hadoop启动命令:start-all.sh

     

    正常执行效果如下:

    [email protected]:~$ start-all.sh

    Warning: $HADOOP_HOME is deprecated.

     

    starting namenode, logging to /home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-namenode-HADOOP.MAIN.out

    HADOOP.MAIN: starting datanode, logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-HADOOP.MAIN.out

    HADOOP.MAIN: starting secondarynamenode,logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-secondarynamenode-HADOOP.MAIN.out

    starting jobtracker, logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-jobtracker-HADOOP.MAIN.out

    HADOOP.MAIN: starting tasktracker, loggingto /home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-tasktracker-HADOOP.MAIN.out

     

    jps命令查看启动的hadoop服务

    [email protected]:~$ jps

    3615 Jps

    2699 NameNode

    3461 TaskTracker

    2922 DataNode

    3137 SecondaryNameNode

    3231 JobTracker

     

    本地创建一个文件夹

    [email protected]:~$ mkdir ~/file

     

    在file文件创建两个txt文件

    [email protected]:~$ cd file

    [email protected]:~/file$ echo "Hello World" > file1.txt

    [email protected]:~/file$ echo "Hello Hadoop" > file2.txt

    [email protected]:~/file$ ls

    file1.txt file2.txt

    [email protected]:~/file$

     

    在HDFS上创建一个输入文件夹

    [email protected]:~/file$ hadoop fs -mkdir input

    查看创建的input文件夹路径

    [email protected]:~$ hadoop fs -ls

    Warning: $HADOOP_HOME is deprecated.

     

    Found 5 items

    -rw-r--r--  3 Administrator supergroup   6296230 2014-09-03 10:38 /user/hadoop/cloud.txt

    drwxr-xr-x  - hadoop        supergroup          0 2014-09-02 16:31/user/hadoop/hadi_curbm

    drwxr-xr-x  - hadoop        supergroup          0 2014-09-04 09:59 /user/hadoop/input

    drwxr-xr-x  - hadoop        supergroup          0 2014-09-02 16:31/user/hadoop/pegasus

    [email protected]:~$

     

    可以看到目录被创建到 /user/hadoop/input 目录

     

    上传本地file文件到input目录

    [email protected]:~$hadoop fs put ~/file/*.txt  /user/hadoop/input

     

    找到hadoop目录下的examples.jar 程序包

    [email protected]:~$ cd hadoop-1.1.2

    [email protected]:~/hadoop-1.1.2$ ls

    bin         docs                         hadoop-test-1.1.2.jar  LICENSE.txt src

    build.xml   hadoop-ant-1.1.2.jar         hadoop-tools-1.1.2.jar  logs        webapps

    c          hadoop-client-1.1.2.jar      ivy                    NOTICE.txt  wordcount.jar

    CHANGES.txt hadoop-core-1.1.2.jar        ivy.xml                README.txt

    conf        hadoop-examples-1.1.2.jar    lib                    sbin

    contrib     hadoop-minicluster-1.1.2.jar libexec                share

    [email protected]:~/hadoop-1.1.2$

     

    执行jar程序代码 统计input目录下文件的Wordcount

    [email protected]:~$ hadoop jar /home/hadoop/hadoop-1.1.2/hadoop-examples-1.1.2.jar wordcount  /user/hadoop/input output

    Warning: $HADOOP_HOME is deprecated.

     

    14/09/04 10:10:44 INFOinput.FileInputFormat: Total input paths to process : 0

    14/09/04 10:10:45 INFO mapred.JobClient:Running job: job_201409040943_0001

    14/09/04 10:10:46 INFOmapred.JobClient:  map 0% reduce 0%

    14/09/04 10:10:54 INFOmapred.JobClient:  map 0% reduce 100%

    14/09/04 10:10:55 INFO mapred.JobClient:Job complete: job_201409040943_0001

    14/09/04 10:10:55 INFO mapred.JobClient:Counters: 18

    14/09/04 10:10:55 INFOmapred.JobClient:  Job Counters

    14/09/04 10:10:55 INFOmapred.JobClient:    Launched reducetasks=1

    14/09/04 10:10:55 INFOmapred.JobClient:    SLOTS_MILLIS_MAPS=4087

    14/09/04 10:10:55 INFOmapred.JobClient:    Total time spent byall reduces waiting after reserving slots (ms)=0

    14/09/04 10:10:55 INFOmapred.JobClient:    Total time spent byall maps waiting after reserving slots (ms)=0

    14/09/04 10:10:55 INFO mapred.JobClient:    SLOTS_MILLIS_REDUCES=4068

    14/09/04 10:10:55 INFOmapred.JobClient:  File Output FormatCounters

    14/09/04 10:10:55 INFOmapred.JobClient:    Bytes Written=0

    14/09/04 10:10:55 INFOmapred.JobClient:  FileSystemCounters

    14/09/04 10:10:55 INFO mapred.JobClient:    FILE_BYTES_WRITTEN=55309

    14/09/04 10:10:55 INFOmapred.JobClient:  Map-Reduce Framework

    14/09/04 10:10:55 INFOmapred.JobClient:    Reduce inputgroups=0

    14/09/04 10:10:55 INFOmapred.JobClient:    Combine outputrecords=0

    14/09/04 10:10:55 INFOmapred.JobClient:    Reduce shufflebytes=0

    14/09/04 10:10:55 INFOmapred.JobClient:    Physical memory(bytes) snapshot=35037184

    14/09/04 10:10:55 INFOmapred.JobClient:    Reduce outputrecords=0

    14/09/04 10:10:55 INFO mapred.JobClient:     Spilled Records=0

    14/09/04 10:10:55 INFOmapred.JobClient:    CPU time spent(ms)=120

    14/09/04 10:10:55 INFOmapred.JobClient:    Total committedheap usage (bytes)=15925248

    14/09/04 10:10:55 INFOmapred.JobClient:    Virtual memory(bytes) snapshot=377499648

    14/09/04 10:10:55 INFOmapred.JobClient:    Combine inputrecords=0

    14/09/04 10:10:55 INFOmapred.JobClient:    Reduce inputrecords=0

    [email protected]:~$

     

     

    显示结果

    [email protected]:~$ hadoop fs -ls output

    Warning: $HADOOP_HOME is deprecated.

     

    Found 3 items

    -rw-r--r--  1 hadoop supergroup          02014-09-04 10:10 /user/hadoop/output/_SUCCESS

    drwxr-xr-x  - hadoop supergroup          02014-09-04 10:10 /user/hadoop/output/_logs

    -rw-r--r--  1 hadoop supergroup          02014-09-04 10:10 /user/hadoop/output/part-r-00000

    [email protected]:~$

     

    查看执行结果

    [email protected]:~$ hadoop fs -cat output/part-r-00000

    Hadoop 1

    Hello   2

    World  1

    Ubuntu 13.04上搭建Hadoop环境

    Ubuntu 12.10 Hadoop 1.2.1版本集群配置

    Ubuntu上搭建Hadoop环境(单机模式 伪分布模式)

    Ubuntu下Hadoop环境的配置

    单机版搭建Hadoop环境图文教程详解

    搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

    WordCount.jar Linux执行 Hadoop WordCount Ubuntu 终端进入快捷键 :ctrl Alt t hadoop启动命令:start-all.sh 正常执行效果如下: [email protected]

    一、虚拟机环境

    我的运行环境:JDK1.6、RedHat6 32bit、apache Hadoop1.X(社区版本)--Hadoop CDH3、4版本也适用.如有差异文中会特别注明。

    在安装Hadoop的时候报类似如下的错误:

    见我的另一篇 http://www.linuxidc.com/Linux/2016-12/137955.htm

    在没有特别指出的话,所有操作都是在Namenode中进行的.安装完成后最后同步到集群其它节点,当然你也可以根据实际环境做相应删减。

    # A fatal error has beendetected by the Java Runtime Environment:

    需要安装JDK环境,CentOS下安装JDK可参考:http://www.linuxidc.com/Linux/2016-12/137956.htm

    一、前提

    因为安装Lzo及Lzop需要本地编译,所以需要安装编译环境,像Gcc , Ant , Maven

    1、gcc的安装

    主要是后面编译Lzo时用到,如果有安装就略过

    1. yum install lib* glibc* gcc*

      yum install lib glibc gcc*

     

    2、Ant、Maven的安装

    如果使用Twitter的hadoop-lzo只需要安装Maven就行,如果使用kevinweil的hadoop-lzo则需要安装Ant,并且最好1.8.2及以上版本,并设置好环境变量,两者选其一,安装都比较简单。

    1).ant的安装:
    删除旧版本:yum remove ant
    安装新版本:

    1. wget
    2. tar -jxvf apache-ant-1.9.2-bin.tar.bz2

      wget tar -jxvf apache-ant-1.9.2-bin.tar.bz2

     

    添加ANT环境变量:

    1. vi /etc/profile.d/dev.sh
    2. export ANT_HOME=/usr/local/apache-ant-1.9.2
    3. export PATH=$PATH:$ANT_HOME/bin
    4. source /etc/profile 使配置文件生效

      vi /etc/profile.d/dev.sh export ANT_HOME=/usr/local/apache-ant-1.9.2 export PATH=$PATH:$ANT_HOME/bin source /etc/profile 使配置文件生效

    2) Maven安装

    maven安装与Ant安装差不多,解压,然后配置环境变量,如:

    1. export MAVEN_HOME=/opt/modules/apache-maven-2.2.1
    2. export PATH=$MAVEN_HOME/bin:$PATH
    3. export ANT_HOME=/opt/modules/apache-ant-1.9.2
    4. export PATH=$ANT_HOME/bin:$PATH

      export MAVEN_HOME=/opt/modules/apache-maven-2.2.1 export PATH=$MAVEN_HOME/bin:$PATH export ANT_HOME=/opt/modules/apache-ant-1.9.2 export PATH=$ANT_HOME/bin:$PATH

    说明:$MAVEN_HOME/conf/setting.xml文件需要配置正常的仓库路径,以及本地路径。

     

    #

    注意三台机器均要配置,因为启动时,namenode会启动其它机器。

    二、安装LZO

    操作如下:

    1. wget
    2. export CFLAGS=-m32
    3. ./configure -enable-shared
    4. make && make install

      wget export CFLAGS=-m32 ./configure -enable-shared make && make install

     

    完成之后,lib库文件被默认安装到了/usr/local/lib,我们需要进一步指定lzo库文件的路径,两个方法都可以:

    1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib(32位平台),或/usr/lib64(64位平台)

    2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件,只需写入lzo库文件的路径(/usr/local/lib),然后运行以下命令使配置生效:

    1. /sbin/ldconfig -v

      /sbin/ldconfig -v

     

    # SIGFPE (0x8) atpc=0x40008026, pid=31393, tid=2283477936

    二、Hadoop环境

    三、安装hadoop-LZO

     

    提醒:lzo目前有大概2个版本可选,Hadoop 1.x的时候可以按照cloudera的文档在 0.20去编译的,也不能用于Hadoop2.x。而twitter hadoop-lzo在最近将Ant的编译方式切换为Maven,默认的dependency中Hadoop jar包就是2.x的,所以要clone twitter的hadoop-lzo,用Maven编译jar包和native library。

     

    1.下载源码

     

     

    https://github.com/twitter/hadoop-lzo

     

     

     

    2.解压缩、进入项目目录

     

     

    3.编译

     

    编译分kevinweil和twitter两个版本分别说明。主要是编译方式不同,一个使用ant,twitter使用maven。

     

    kevinweil:

     

    1. # 32位OS
    2. export CFLAGS=-m32
    3. export CXXFLAGS=-m32
    4. ant compile-native tar
      1. # 64位OS
    5. export CFLAGS=-m64
    6. export CXXFLAGS=-m64
    7. ant compile-native tar

     

    # 32位OS
    export CFLAGS=-m32
    export CXXFLAGS=-m32
    ant compile-native tar
    
    # 64位OS
    export CFLAGS=-m64
    export CXXFLAGS=-m64
    ant compile-native tar
    

     

     

    1. #将本地库以及Jar包拷贝到hadoop对应的目录下,并分发到各节点上
    2. cd build
    3. cp hadoop-lzo-0.4.18.jar /opt/modules/hadoop/hadoop-1.0.3/lib/
    4. cp –r native/Linux-i386-32/* /opt/modules/hadoop/hadoop-1.0.3/lib/native/Linux-i386-32/ #64位系统则是64位的路径目录Linux-amd64-64
    5. #或者用命令:tar -cBf - -C native . | tar -xBvf - -C /opt/modules/hadoop/hadoop-1.0.3/lib/native

     

    #将本地库以及Jar包拷贝到hadoop对应的目录下,并分发到各节点上
    cd build
    cp hadoop-lzo-0.4.18.jar /opt/modules/hadoop/hadoop-1.0.3/lib/
    cp –r native/Linux-i386-32/* /opt/modules/hadoop/hadoop-1.0.3/lib/native/Linux-i386-32/  #64位系统则是64位的路径目录Linux-amd64-64
    #或者用命令:tar -cBf - -C  native . | tar -xBvf - -C /opt/modules/hadoop/hadoop-1.0.3/lib/native
    

     

    Twitter:

     

    1. export CFLAGS=-m32 #64位的使用m64
    2. export CXXFLAGS=-m32
    3. export C_INCLUDE_PATH=/usr/local/include/lzo
    4. export LIBRARY_PATH=/usr/local/lib
    5. mvn clean package -Dmaven.test.skip=true
      1. tar -cBf - -C native/Linux-i386-32/lib . | tar -xBvf - -C /opt/modules/hadoop/hadoop-1.0.3/lib/native/
    6. cp target/hadoop-lzo-0.4.19-SNAPSHOT.jar /opt/modules/hadoop/hadoop-1.0.3/lib

     

    export CFLAGS=-m32  #64位的使用m64
    export CXXFLAGS=-m32
    export C_INCLUDE_PATH=/usr/local/include/lzo
    export LIBRARY_PATH=/usr/local/lib
    mvn clean package -Dmaven.test.skip=true
    
    tar -cBf - -C native/Linux-i386-32/lib . | tar -xBvf - -C /opt/modules/hadoop/hadoop-1.0.3/lib/native/
    cp target/hadoop-lzo-0.4.19-SNAPSHOT.jar /opt/modules/hadoop/hadoop-1.0.3/lib
    

     

    最终确保$HADOOP_HOME/lib/native/Linux-i386-32/目录下有libhadoop.*、及libgplcompression.*

     

    注:如果编译不过,尝试执行:

     

    1. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/

     

    相关阅读

    Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

    Ubuntu 12.10 Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

    Ubuntu上搭建Hadoop环境(单机模式 伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

    Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

    单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

    搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

    更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

    1010cc时时彩经典版 1

    #

    hadoop1.2.1

    # JRE version:6.0_29-b08

    idk7u79-linux-i586.tar.gz

    # Java VM: JavaHotSpot(TM) Client VM (20.4-b01 mixed mode linux-x86 )

    三、开始搭完全分布式hadoop

    # Problematic frame:

    三台机器,角色配置如下

    # C [ld-linux.so.2 0x8026] double 0xb6

    hostname 角色配置
    centos1 namenode
    centos2 datanode, secondaryNameNode
    centos3 datanode

    #

    1、hadoop配置

    # If you would like tosubmit a bug report, please visit:

    分别在三台虚拟机内拷贝hadoop-1.2.1.tar.gz,并解压: tar -zxvf hadoop-1.2.1.tar.gz

    #

    conf目录文件配置

    # The crash happenedoutside the Java Virtual Machine in native code.

    conf目录下文件 配置项 备注
    core-site.xml

    <configuration>

        <property>

            <name>fs.default.name</name>

            <value>hdfs://centos:9000</value>

        </property>

        <property>

            <name>hadoop.tmp.dir</name>

            <value>/opt/hadoop-tmp</value>

        </property>

    </configuration>

    1、fs.default.name:配置namenode站点地址。需要注意。9000端口是hdfs rpc协议端口,如果从浏览器访问,则是http协议,端口号是50070.例:http://cetnos:50070
    2、hadoop.tmp.dir默认配置/tmp/hadoop-${user.name},hadoop文件数据会默认配置在此目录,由于tmp目录,linux重启后自动清空,因此这里对hadoop.tmp.dir进行手动指定。

    hadoop-env.sh export JAVA_HOME=/usr/local/java/jdk1.7.0_79

    配置jdk时在系统配置了JAVA_HOME,但是hadoop不认,必须要在这里修改成你现在的路径。

    hdfs-site.xml

    <configuration>

        <property>

            <name>dfs.replication</name>

            <value>2</value>

        </property>

    </configuration>

    lock最大附本数,配置2台dataNode,此处填2.
    masters centos1 master文件用来配置secondaryNameNod, 注意是secondaryNameNode,不是nameNode
    slaves

    centos1
    centos2  (一个节点一行)

    slaves用来配置dataNode

    # See problematic framefor where to report the bug.

    2、格式化dfs

     

    cd /home/hadoop-1.2/bin/

    二、问题原因:

    ./hadoop namenode -format    (格式化成功后会在/opt/hadoop-tmp/dfs/name/下生成格式化文件)

    Hadoop依赖的本地库与操作系统不兼容,需要在本地重新编译依赖的so包。

    3、hadoop路径每台机器要保持一致

     

    配置完成后,NameNode机器上输入命令,即可完成hadoopo的hdfs分布式服务的启动。

    三、解决过程:

    root@centos bin]# ./start-dfs.sh

    1. 在$HADOOP_HOME目录下执行以下语句来编译:

    4、启动后结果

    ant -Dcompile.native=true compile-native

    在浏览器中输入 IP}:50070即可访问配置的hdfs环境

    本文由1010cc时时彩经典版发布于操作系统,转载请注明出处:1010cc时时彩经典版:集群搭建与环境配置,环境

    关键词: