您的位置:1010cc时时彩经典版 > 操作系统 > 1010cc时时彩经典版Hadoop基础教程,使用Ambari快速

1010cc时时彩经典版Hadoop基础教程,使用Ambari快速

发布时间:2019-08-08 08:50编辑:操作系统浏览(144)

    了解Hadoop生态圈

    近来大家常常看到的一些最重要字有: HDFS,MapReduce,HBase,Hive,ZooKeeper,Pig,Sqoop,Oozie,Ganglia,Nagios,CDH3,CDH4,Flume,Scribe,Fluented,HttpFS等等,其实应当还应该有越来越多,Hadoop生态圈未来进步究竟一定繁荣了,而在这几个如火如荼的骨子里又是什么人在拉动的吗? 读过Hadoop历史的对象大概清楚,Hadoop最早是始于Yahoo,不过未来注重是由 HortonWorks 1010cc时时彩经典版 1和 Cloudera 1010cc时时彩经典版 2 那2家厂家在辅助者,大部分的commiter 都属于那2家集团,所以今后市情上看到的要害有2个本子,CDH种类,和社区版, 小编最早用的是社区版本,后来换来CDH3,未来又换回社区版,因为有Ambari.当然,用怎样和毫无什么,只要自个儿的手艺到家,依然都能改改的跑的符合规律化的.这里就非常少说了. 讲了那般多废话了,先导讲 Ambari安装吧.

     

    --------------------------------------分割线

    Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

    Ubuntu 12.10 Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

    Ubuntu上搭建Hadoop情状(单机形式 伪分布情势) http://www.linuxidc.com/Linux/2013-01/77681.htm

    Ubuntu下Hadoop情况的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

    单机版搭建Hadoop碰到图像和文字化教育程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

    Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

    Hadoop集群上利用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

    5.6 启动HBase

    $ for x in `ls /etc/init.d/|grep hbase` ; do service $x start ; done
    

    千帆竞发安插

    先是驾驭下Ambari, 项目地址在:http://incubator.apache.org/ambari/

    设置文书档案在:

    HortonWorks的人写的一篇介绍安装的小说笔者翻译了下:  http://www.linuxidc.com/Linux/2014-05/101530.htm 安装的时候请我们先看下安装文书档案吧,安装文书档案必须认真看,结合自个儿如今所运用的体系版本,配置不一样的源,而且安装进度中须求的岁月绝相比较长,所以必要认真的盘活安装文书档案的每种步骤. 这里笔者就说作者遇上的片段难点.

    以下说说自身自身的装置进度.

    机械希图:

    本人的测验碰着选拔 9 台 HP 的烂机器,分别是 cloud100 - cloud108 , cloud108做为管理节点.

    Ambari安装的碰着路线:

    各台机器的设置目录:

    /usr/lib/hadoop

    /usr/lib/hbase

    /usr/lib/zookeeper

    /usr/lib/hcatalog

    /usr/lib/hive

    Log路线, 这里须要看出错音信都足以在目录下找到相关的日志

    /var/log/hadoop

    /var/log/hbase

    安排文件的路子

    /etc/hadoop

    /etc/hbase

    /etc/hive

    HDFS的囤积路线

    /hadoop/hdfs

     

    设置进程必要注意的点:

    1, 安装的时候,需求做好每台机械的ssh免密码登入,那篇  http://www.linuxidc.com/Linux/2014-05/101532.htm 中涉嫌了,做好之后,从 管理节点到种种集群节点之间,都能采纳这些登入.

    2, 如果你的机械在此以前设置过 Hadoop的连锁服务,特别是Hbase 里面配备了 HBASE_HOME 的景况变量,要求 unset掉, 那几个情形变量会潜濡默化,因为本身事先把这么些门路放到 /etc/profile 里面导致影响了HBase,因为Ambari安装的不二等秘书籍和你此前安装的也许不相同.

    3,在服务选项页面包车型大巴时候, NameNode 和 SNameNode 供给布署在一块, 笔者事先尝试做 HA 而把她们分别,不过SNameNode一向起不来,导致整个运行战败,接下去时间必要花在HA上.

     

    1010cc时时彩经典版 3

    1. JobTrakcer 不和Namenode在一起也会导致 运维不起来.

    2. Datanode的节点 不能够轻松 Block replication 中数, 基本都是急需 >= 3.

    1010cc时时彩经典版 4

    1. Confirm Hosts 的时候,须要注意里面包车型地铁 Warning 新闻,把有关的Warning都管理掉,有一对Warning会促成安装出错.

    2. 牢记安装中所新建的用户,接下去须求用到这个用户.

    1010cc时时彩经典版 5

    1. Hive和HBase Master 铺排在同二个节点,这里当然你也得以分开. 设置好后就从头安装了.

    1010cc时时彩经典版 6

    越来越多详细情况见请继续读书下一页的优秀内容: http://www.linuxidc.com/Linux/2014-05/101531p2.htm

    1010cc时时彩经典版 7

    计划HBase时,首先思考的一定是Hbase版本与您所装的Hadoop本子是还是不是同盟,这点本身在事先的文章中早已证实清楚,(见 http://www.linuxidc.com/Linux/2014-05/102532.htm )hadoop版本与hbase版本的相称度,那是官方提供的。上面包车型地铁尝试就是自身没参照版本相配尝试投机的主意,出现了不当。

    4.1 安装

    在各种节点上安装zookeeper:

    $ yum install zookeeper* -y
    

    前言

    做大数量相关的后端开辟工作一年多来,随着Hadoop社区的接踵而至 蜂拥而至上扬,也在任何时间任何地点尝试新的事物,本文珍视来教学下Ambari,那么些新的Apache的品种,目的在于让我们能够有助于高效的配备和配备Hadoop生态圈相关的零部件的条件,并提供维护和监察的成效.

    用作新手,笔者讲讲自个儿要好的学习经历,刚刚发轫学习的时候,当然最简便的 Google下Hadoop ,然后下载相关的包,在融洽的设想机(CentOS 6.3) 上安装三个单机的Hadoop版本用来做测验,写多少个测量检验类,然后做下CRUD测验之类的,跑跑Map/Reduce的测验,当然那年对于Hadoop还不是很明白,不断的看人家的小说,领悟下完整的架构,自个儿所做的正是修改conf下的多少个布局文件,让Hadoop能够平常的跑起来,那一年两种在更动配置上,这些阶段之后,又用到了HBase,这一个Hadoop生态圈的其他三个成品,当然照旧修改配置,然后 start-all.sh , start-hbase.sh 把劳动起起来,然后正是修改自身的次第,做测量试验,随着用Hbase 学了下 Zookeeper 和Hive等, 接着过了那一个操作阶段了随后,开首琢磨Hadoop2.0, 算是对Hadoop的生态圈全体有局地驾驭,介于自身在商铺所担任的支付所波及到有关的本事仅仅就那么些.然则作为三个欣赏查究的人,是不是想多询问下呢,它的性质怎么着? 它是具体怎样运维的? 看大商厦的这个PPT,人家(Taobao等大商厦)动不动正是几十二个,几百个,乃至几千个节点,人家是哪些管理的,质量是哪些的?瞧着PPT里面包车型地铁这个品质测量检验的曲线,你是不是也能够详细的询问,并且对团结的连串开始展览质量调优呢? 作者一般找到答案了,那正是 Ambari , 由 HortonWorks 开辟的三个Hadoop相关的类别,具体能够上合法去通晓.

    --------------------------------------分割线

    本子表达:

    hadoop1.1.2

    hbase-0.94.7(lib下的是hadoop-core-1.0.4.jar)

    jdk 1.6.0.24

    一、查看hadoop版本和hbase的版本是不是同盟(这里出现谬误,那步可粗略)

    若是不匹配,可将hadoop下的hadoop-core-*的jar包复制替换hbase/lib下的hadoop-core-*的jar包。

    我的hadoop版本是hadoop-1.1.2的

    1010cc时时彩经典版 8

    Hbase下lib的本子是

    1010cc时时彩经典版 9

    故此覆盖jar包:

    1010cc时时彩经典版 10

    二、修改hbase-env.xml的配置

    a) 指定jdk路劲和hadoop下conf的路径

    1010cc时时彩经典版 11

    b) 打开hbase对zookeeper的管理

    1010cc时时彩经典版 12

    三、修改hbase-site.xml文件

    a) 将hbase/src/main/resource/ 下的hbase-default.xml复制到hbase/conf目录下。

    b) 修改hbase的根目录

    1010cc时时彩经典版 13

    注:根目录路劲是建在hdfs上的

    1010cc时时彩经典版 14

    c) 将遍及式的安顿设成true,那样hbase就掌握我们是做布满式。

    1010cc时时彩经典版 15

    d) 修改hbase的权且目录

    1010cc时时彩经典版 16

    e)配置zookeeper运维的的机械,平常设置是基数个

    1010cc时时彩经典版 17

    f)配置zookeeper存放数据的目录

    1010cc时时彩经典版 18

    四、修改conf/regionservers.xml

    去掉localhost,添加 Slave1 Slave2

    越来越多详细的情况见请继续读书下一页的卓绝内容: http://www.linuxidc.com/Linux/2014-05/102531p2.htm

    1010cc时时彩经典版 19

    4.4 先河化并运营服务

    1010cc时时彩经典版,在各种节点上伊始化并运营 zookeeper,注意 n 的值须要和 zoo.cfg 中的编号一致。

    在 cdh1 节点运转:

    $ service zookeeper-server init --myid=1
    $ service zookeeper-server start
    

    在 cdh2 节点运维:

    $ service zookeeper-server init --myid=2
    $ service zookeeper-server start
    

    在 cdh3 节点运营:

    $ service zookeeper-server init --myid=3
    $ service zookeeper-server start
    

    --------------------------------------分割线

    连锁阅读

    Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

    Ubuntu 12.10 Hadoop 1.2.1本子集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

    Ubuntu上搭建Hadoop情况(单机情势 伪遍及方式) http://www.linuxidc.com/Linux/2013-01/77681.htm

    Ubuntu下Hadoop环境的铺排 http://www.linuxidc.com/Linux/2012-11/74539.htm

    单机版搭建Hadoop境况图像和文字化教育程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

    Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

    Hadoop集群上利用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

    --------------------------------------分割线 -------------------------------------- 

    1.1 配置hosts

    CDH 供给选取 IPv4,IPv6 不帮助,禁用IPv6方法:

    $ vim /etc/sysctl.conf
    #disable ipv6
    net.ipv6.conf.all.disable_ipv6=1
    net.ipv6.conf.default.disable_ipv6=1
    net.ipv6.conf.lo.disable_ipv6=1
    

    使其收效:

    $ sysctl -p
    

    最后承认是还是不是已禁止使用:

    $ cat /proc/sys/net/ipv6/conf/all/disable_ipv6
    1
    

    1、设置hostname,以cdh1为例:

    $ hostname cdh1
    

    2、确保/etc/hosts中隐含ip和FQDN,如果您在动用DNS,保存那几个音讯到/etc/hosts不是少不了的,却是最棒实施。

    3、确保/etc/sysconfig/network中包含hostname=cdh1

    4、检查互联网,运转上边发号施令检查是否配备了hostname以及其对应的ip是不是科学。

    运行uname -a翻看hostname是或不是协作hostname一声令下运营的结果:

    $ uname -a
    Linux cdh1 2.6.32-358.23.2.el6.x86_64 #1 SMP Wed Oct 16 18:37:12 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
    $ hostname
    cdh1
    

    运行/sbin/ifconfig查看ip:

    $ ifconfig
    eth1      Link encap:Ethernet  HWaddr 08:00:27:75:E0:95  
              inet addr:192.168.56.121  Bcast:192.168.56.255  Mask:255.255.255.0
    ......
    

    先安装bind-utils,本领运作host命令:

    $ yum install bind-utils -y
    

    运行上边发号施令查看hostname和ip是或不是相称:

    $ host -v -t A `hostname`
    Trying "cdh1"
    ...
    ;; ANSWER SECTION:
    cdh1. 60 IN A 192.168.56.121
    

    5、hadoop的保有配置文件中安排节点名称时,请使用hostname和不是ip

    5.7 测试

    通过 能够访问 RegionServer 页面,然后通过该页面能够掌握哪个节点为 Master,然后再经过 60010 端口访问Master 管理分界面。

    2.1 修改hadoop配置文件

    /etc/hadoop/conf/core-site.xml中设置fs.defaultFS属性值,该属性钦命NameNode是哪一个节点以及利用的文件系统是file依旧hdfs,格式:hdfs://<namenode host>:<namenode port>/,暗中认可的文件系统是file:///

    <property>
     <name>fs.defaultFS</name>
     <value>hdfs://cdh1:8020</value>
    </property>
    

    /etc/hadoop/conf/hdfs-site.xml中设置dfs.permissions.superusergroup个性,该属性钦赐hdfs的特等用户,默感觉hdfs,你可以修改为hadoop:

    <property>
     <name>dfs.permissions.superusergroup</name>
     <value>hadoop</value>
    </property>
    

    愈来愈多的配备新闻说明,请参照他事他说加以考察 Apache Cluster Setup

    3.2 修改配置参数

    要想行使YAWranglerN,须求在 /etc/hadoop/conf/mapred-site.xml 中做如下配置:

    <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>
    

    修改/etc/hadoop/conf/yarn-site.xml,配置resourcemanager的节点名称以及部分劳务的端口号:

    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>cdh1:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>cdh1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>cdh1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>cdh1:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>cdh1:8088</value>
    </property>
    

    /etc/hadoop/conf/yarn-site.xml 中增添如下配置:

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.application.classpath</name>
       <value>
        $HADOOP_CONF_DIR,
        $HADOOP_COMMON_HOME/*,
        $HADOOP_COMMON_HOME/lib/*,
        $HADOOP_HDFS_HOME/*,
        $HADOOP_HDFS_HOME/lib/*,
        $HADOOP_MAPRED_HOME/*,
        $HADOOP_MAPRED_HOME/lib/*,
        $HADOOP_YARN_HOME/*,
        $HADOOP_YARN_HOME/lib/*
        </value>
    </property>
    <property>
     <name>yarn.log.aggregation.enable</name>
     <value>true</value>
    </property>
    

    注意:

    • yarn.nodemanager.aux-services 的值在 cdh4 中应为 mapreduce.shuffle,并配备参数yarn.nodemanager.aux-services.mapreduce.shuffle.class值为 org.apache.hadoop.mapred.ShuffleHandler ,在cdh5中为mapreduce_shuffle,这时候请配置yarn.nodemanager.aux-services.mapreduce_shuffle.class参数

    • 那边配置了 yarn.application.classpath ,需求设置某些欣赏遇到变量:

      export HADOOP_HOME=/usr/lib/hadoop export HIVE_HOME=/usr/lib/hive export HBASE_HOME=/usr/lib/hbase export HADOOP_HDFS_HOME=/usr/lib/hadoop-hdfs export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce export HADOOP_COMMON_HOME=${HADOOP_HOME} export HADOOP_HDFS_HOME=/usr/lib/hadoop-hdfs export HADOOP_LIBEXEC_DIR=${HADOOP_HOME}/libexec export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop export HADOOP_YARN_HOME=/usr/lib/hadoop-yarn export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

    在hadoop中暗中同意的文本路线以及权限必要如下:

    目录                            所有者   权限          默认路径
    yarn.nodemanager.local-dirs         yarn:yarn   drwxr-xr-x    ${hadoop.tmp.dir}/nm-local-dir
    yarn.nodemanager.log-dirs           yarn:yarn   drwxr-xr-x   ${yarn.log.dir}/userlogs
    yarn.nodemanager.remote-app-log-dir                       hdfs://cdh1:8020/var/log/hadoop-yarn/apps
    

    故在 /etc/hadoop/conf/yarn-site.xml 文件中增添如下配置:

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/data/yarn/local</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/yarn/logs</value>
    </property>
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/yarn/apps</value>
    </property>
    

    创建 yarn.nodemanager.local-dirsyarn.nodemanager.log-dirs 参数对应的目录:

    $ mkdir -p /data/yarn/{local,logs}
    $ chown -R yarn:yarn /data/yarn
    

    在 hdfs 上创建 yarn.nodemanager.remote-app-log-dir 对应的目录:

    $ sudo -u hdfs hadoop fs -mkdir -p /yarn/apps
    $ sudo -u hdfs hadoop fs -chown yarn:mapred /yarn/apps
    $ sudo -u hdfs hadoop fs -chmod 1777 /yarn/apps
    

    /etc/hadoop/conf/mapred-site.xml 中配置 MapReduce History Server:

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>cdh1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>cdh1:19888</value>
    </property>
    

    别的,确认保证 mapred、yarn 用户能够使用代理,在 /etc/hadoop/conf/core-site.xml 中增多如下参数:

    <property>
        <name>hadoop.proxyuser.mapred.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.mapred.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.yarn.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.yarn.hosts</name>
        <value>*</value>
    </property>
    

    配置 Staging 目录:

    <property>
        <name>yarn.app.mapreduce.am.staging-dir</name>
        <value>/user</value>
    </property>
    

    并在 hdfs 上成立相应的目录:

    $ sudo -u hdfs hadoop fs -mkdir -p /user
    $ sudo -u hdfs hadoop fs -chmod 777 /user
    

    可选的,你能够在 /etc/hadoop/conf/mapred-site.xml 设置以下七个参数:

    • mapreduce.jobhistory.intermediate-done-dir,该目录权限应为1777,暗中认可值为 ${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate
    • mapreduce.jobhistory.done-dir,该目录权限应为750,暗中同意值为 ${yarn.app.mapreduce.am.staging-dir}/history/done

    下一场,在 hdfs 上成立目录并设置权限:

    $ sudo -u hdfs hadoop fs -mkdir -p /user/history
    $ sudo -u hdfs hadoop fs -chmod -R 1777 /user/history
    $ sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history
    

    设置 HADOOP_MAPRED_HOME,或许把其参预到 hadoop 的配备文件中

    $ export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce
    

    1.5 设置本地yum源

    CDH官方的yum源地址在 或 ,请依照你安装的cdh版本修改该公文中baseurl的路子。

    您能够从这里下载 cdh4 的酒馆压缩包,或许从这里 下载 cdh5 的仓库压缩包。

    因为自个儿是运用的centos操作系统,故小编这里下载的是cdh5的centos6压缩包,将其下载之后解压到ftp服务的不二等秘书技下,然后配置cdh的本地yum源:

    [hadoop]
    name=hadoop
    baseurl=ftp://cdh1/cdh/5/
    enabled=1
    gpgcheck=0
    

    操作系统的yum源,建议您通过下载 centos 的 dvd 然后安插二个本地的 yum 源。

    本文首假设记录使用yum安装CDH Hadoop集群的进度,满含HDFS、Yarn、Hive和HBase。本文使用CDH5.4版本进行安装,故下文中的过程都是针对CDH5.4版本的

    3.6 运维服务

    在每一个节点运转 YAOdysseyN :

    $ for x in `ls /etc/init.d/|grep hadoop-yarn` ; do service $x start ; done
    

    在 cdh1 节点运营 mapred-historyserver :

    $ /etc/init.d/hadoop-mapreduce-historyserver start
    

    为各种 MapReduce 用户创设主目录,比方说 hive 用户还是当前用户:

    $ sudo -u hdfs hadoop fs -mkdir /user/$USER
    $ sudo -u hdfs hadoop fs -chown $USER /user/$USER
    

    安装mysql

    yum格局安装mysql以及jdbc驱动:

    $ yum install mysql mysql-devel mysql-server mysql-libs -y
    
    $ yum install mysql-connector-java
    $ ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar
    

    创办数据库和用户,并安装密码为hive:

    $ mysql -e "
     CREATE DATABASE hive;
     USE hive;
     CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
     GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'localhost';
     GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'cdh1';
     FLUSH PRIVILEGES;
    "
    

    只如果首先次安装,则初叶化 hive 的元数据库:

    $ /usr/lib/hive/bin/schematool --dbType mysql --initSchema
    

    假纵然立异,则实践:

    $ /usr/lib/hive/bin/schematool --dbType mysql --upgradeSchema
    

    布局开启运转并运转数据库:

    $ chkconfig mysqld on
    $ service mysqld start
    

    修改 hive-site.xml 文件中以下内容:

     <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://cdh1:3306/hive?useUnicode=true&amp;characterEncoding=UTF-8</value>
     </property>
     <property>
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.jdbc.Driver</value>
     </property>
                <property>
                    <name>javax.jdo.option.ConnectionUserName</name>
                    <value>hive</value>
                </property>
    
                <property>
                    <name>javax.jdo.option.ConnectionPassword</name>
                    <value>hive</value>
                </property>
    

    1. 策画职业

    安装 Hadoop 集群前先做好上面的备选干活,在修改配置文件的时候,提议在一个节点上改动,然后一齐到任何节点,举个例子:对于 hdfs 和 yarn ,在 NameNode 节点上修改然后再一起,对于 HBase,选拔一个节点再一同。因为要同步安排文件和在八个节点运维服务,建议配置 ssh 无密码登入。

    2.8 (可选)配置Snappy

    cdh 的 rpm 源中暗许已经富含了 snappy ,直接在各样节点安装Snappy:

    $ yum install snappy snappy-devel  -y
    

    然后,在 core-site.xml 中修改io.compression.codecs的值,添加 org.apache.hadoop.io.compress.SnappyCodec

    使 snappy 对 hadoop 可用:

    $ ln -sf /usr/lib64/libsnappy.so /usr/lib/hadoop/lib/native/
    

    2.10 测试

    通过 能够访问 NameNode 页面。使用 curl 运维上面发号施令,能够测量检验 webhdfs 并查阅施行结果:

    $ curl "http://localhost:14000/webhdfs/v1?op=gethomedirectory&user.name=hdfs"
    {"Path":"/user/hdfs"}
    

    更多的 API,请参考 WebHDFS REST API

    2.4 开启回收站成效

    回收站作用默许是关闭的,提出张开。在 /etc/hadoop/conf/core-site.xml 中增添如下两个参数:

    • fs.trash.interval,该参数值为时间距离,单位为分钟,默许为0,表示回收站作用关闭。该值表示回收站汉语件保留多久,假设服务端配置了该参数,则忽略客户端的安插;即使服务端关闭了该参数,则检查客户端是或不是有安排该参数;
    • fs.trash.checkpoint.interval,该参数值为时间距离,单位为分钟,默以为0。该值表示检讨回收站时间距离,该值要低于fs.trash.interval,该值在服务端配置。假诺该值设置为0,则运用 fs.trash.interval 的值。

    3.4 验证 HDFS 结构:

    $ sudo -u hdfs hadoop fs -ls -R /
    

    您应有看到如下结构:

    drwxrwxrwt   - hdfs hadoop          0 2014-04-19 14:21 /tmp
    drwxrwxrwx   - hdfs hadoop          0 2014-04-19 14:26 /user
    drwxrwxrwt   - mapred hadoop        0 2014-04-19 14:31 /user/history
    drwxr-x---   - mapred hadoop        0 2014-04-19 14:38 /user/history/done
    drwxrwxrwt   - mapred hadoop        0 2014-04-19 14:48 /user/history/done_intermediate
    drwxr-xr-x   - hdfs   hadoop        0 2014-04-19 15:31 /yarn
    drwxrwxrwt   - yarn   mapred        0 2014-04-19 15:31 /yarn/apps
    

    本文由1010cc时时彩经典版发布于操作系统,转载请注明出处:1010cc时时彩经典版Hadoop基础教程,使用Ambari快速

    关键词:

上一篇:1010cc时时彩经典版:Zabbix API与PHP的配置

下一篇:没有了