我目前正在一台运行CentOs的服务器上配置hadoop。当我运行start-dfs.sh或stop-dfs.sh时,我得到以下错误:

警告跑龙套。NativeCodeLoader:无法加载原生hadoop库 你的平台……在适用的地方使用内置java类

我运行的是Hadoop 2.2.0。

我在网上搜索了一下,找到了这个链接:http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html

但是,hadoop 2上的/native/目录的内容。x似乎不同,所以我不知道该怎么办。

我还在hadoop-env.sh中添加了以下两个环境变量:

出口HADOOP_OPTS = " HADOOP_OPTS美元 -Djava.library.path = / usr /地方/ hadoop / lib /” 出口HADOOP_COMMON_LIB_NATIVE_DIR = " / usr /地方/ hadoop / lib /本地/”

什么好主意吗?


当前回答

要安装Hadoop,从Cloudera安装免费版要容易得多。它提供了一个很好的GUI,可以简单地添加节点,没有编译或填充依赖关系,它提供了像hive, pig等东西。

http://www.cloudera.com/content/support/en/downloads.html

步骤是: 1)下载 2)运行 3)进入web GUI (1.2.3.4:7180) 4)在web gui中添加额外的节点(不要在其他节点上安装cloudera软件,它会为你做所有的事情) 5)在web GUI中进入Home,单击Hue和Hue web UI。这让你可以访问Hive, Pig, Sqoop等。

其他回答

@zhutoulala—FWIW你的链接在Hadoop 2.4.0中为我工作,除了一个例外,我不得不告诉maven不要构建javadocs。我也在2.4.0的第一个链接中使用了补丁,它工作得很好。这是我必须发出的maven命令

mvn package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar

在构建这个并移动库之后,不要忘记更新hadoop-env.sh:)

我想这也许能帮到跟我一样遇到困难的人

答案取决于……我刚刚在64位CentOS 6.6上从tarball安装了Hadoop 2.6。Hadoop安装确实附带了一个预先构建的64位本机库。对于我的安装,它在这里:

/opt/hadoop/lib/native/libhadoop.so.1.0.0

我知道它是64位的:

[hadoop@VMWHADTEST01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 =>  (0x00007fff43510000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f9be553a000)
libc.so.6 => /lib64/libc.so.6 (0x00007f9be51a5000)
/lib64/ld-linux-x86-64.so.2 (0x00007f9be5966000)

不幸的是,当我专注于“这个库是32 pr 64位的吗?”时,我愚蠢地忽略了就在我面前的答案。:

`GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)

所以,我们吸取了教训。不管怎样,剩下的至少让我能够抑制警告。因此,我继续执行其他答案中推荐的所有操作,使用HADOOP_OPTS环境变量提供库路径,但没有任何效果。所以我看了源代码。生成错误的模块告诉你提示(util.NativeCodeLoader):

15/06/18 18:59:23 WARN util.NativeCodeLoader: Unable to load native-hadoop    library for your platform... using builtin-java classes where applicable

到这里,看看它是怎么做的:

http://grepcode.com/file/repo1.maven.org/maven2/com.ning/metrics.action/0.2.6/org/apache/hadoop/util/NativeCodeLoader.java/

啊,这里有一些调试级别的日志记录——让我们打开它,看看是否能得到一些额外的帮助。这是通过向$HADOOP_CONF_DIR/log4j添加以下行来完成的。属性文件:

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

然后我运行了一个命令,生成原始警告,如stop-dfs.sh,并得到了这个好东西:

15/06/18 19:05:19 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /opt/hadoop/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /opt/hadoop/lib/native/libhadoop.so.1.0.0)

答案在这个调试消息片段中显示(与前面的ldd命令“试图”告诉我的事情相同:

`GLIBC_2.14' not found (required by opt/hadoop/lib/native/libhadoop.so.1.0.0)

我有什么版本的GLIBC ?这里有一个简单的技巧来找出答案:

[hadoop@VMWHADTEST01 hadoop]$ ldd --version
ldd (GNU libc) 2.12

所以,不能更新我的操作系统到2.14。唯一的解决方案是从我的操作系统上的源代码构建本机库,或者压制警告并暂时忽略它。我选择暂时屏蔽这个恼人的警告(但计划将来从源代码构建),使用与获取调试消息相同的日志记录选项,只是现在将其设置为ERROR级别。

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

我希望这能帮助其他人看到,开源软件的一大好处是,如果您采取一些简单的逻辑步骤,就可以解决这些问题。

经过KotiI建议的持续研究,这个问题得到了解决。

hduser@ubuntu:~$ cd /usr/local/hadoop

hduser@ubuntu:/usr/local/hadoop$ ls

bin  include  libexec      logs        README.txt  share
etc  lib      LICENSE.txt  NOTICE.txt  sbin

hduser@ubuntu:/usr/local/hadoop$ cd lib

hduser@ubuntu:/usr/local/hadoop/lib$ ls
native

hduser@ubuntu:/usr/local/hadoop/lib$ cd native/

hduser@ubuntu:/usr/local/hadoop/lib/native$ ls

libhadoop.a       libhadoop.so        libhadooputils.a  libhdfs.so
libhadooppipes.a  libhadoop.so.1.0.0  libhdfs.a         libhdfs.so.0.0.0

hduser@ubuntu:/usr/local/hadoop/lib/native$ sudo mv * ../

干杯

以我为例,在我的64位Linux mint操作系统上构建hadoop之后,我替换了hadoop/lib中的本机库。问题仍然存在。然后我发现hadoop指向hadoop/lib而不是hadoop/lib/native。所以我只是把所有的内容从本机库移动到它的父库。警告就这么消失了。

要安装Hadoop,从Cloudera安装免费版要容易得多。它提供了一个很好的GUI,可以简单地添加节点,没有编译或填充依赖关系,它提供了像hive, pig等东西。

http://www.cloudera.com/content/support/en/downloads.html

步骤是: 1)下载 2)运行 3)进入web GUI (1.2.3.4:7180) 4)在web gui中添加额外的节点(不要在其他节点上安装cloudera软件,它会为你做所有的事情) 5)在web GUI中进入Home,单击Hue和Hue web UI。这让你可以访问Hive, Pig, Sqoop等。