我目前正在一台运行CentOs的服务器上配置hadoop。当我运行start-dfs.sh或stop-dfs.sh时,我得到以下错误:

警告跑龙套。NativeCodeLoader:无法加载原生hadoop库 你的平台……在适用的地方使用内置java类

我运行的是Hadoop 2.2.0。

我在网上搜索了一下,找到了这个链接:http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html

但是,hadoop 2上的/native/目录的内容。x似乎不同,所以我不知道该怎么办。

我还在hadoop-env.sh中添加了以下两个环境变量:

出口HADOOP_OPTS = " HADOOP_OPTS美元 -Djava.library.path = / usr /地方/ hadoop / lib /” 出口HADOOP_COMMON_LIB_NATIVE_DIR = " / usr /地方/ hadoop / lib /本地/”

什么好主意吗?


当前回答

这一行:

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

KunBetter的答案是钱在哪里

其他回答

基本上,这不是一个错误,而是Hadoop集群中的一个警告。 这里我们只是更新环境变量。

export HADOOP_OPTS = "$HADOOP_OPTS"-Djava.library.path = /usr/local/hadoop/lib
 export HADOOP_COMMON_LIB_NATIVE_DIR = "/usr/local/hadoop/lib/native"

经过KotiI建议的持续研究,这个问题得到了解决。

hduser@ubuntu:~$ cd /usr/local/hadoop

hduser@ubuntu:/usr/local/hadoop$ ls

bin  include  libexec      logs        README.txt  share
etc  lib      LICENSE.txt  NOTICE.txt  sbin

hduser@ubuntu:/usr/local/hadoop$ cd lib

hduser@ubuntu:/usr/local/hadoop/lib$ ls
native

hduser@ubuntu:/usr/local/hadoop/lib$ cd native/

hduser@ubuntu:/usr/local/hadoop/lib/native$ ls

libhadoop.a       libhadoop.so        libhadooputils.a  libhdfs.so
libhadooppipes.a  libhadoop.so.1.0.0  libhdfs.a         libhdfs.so.0.0.0

hduser@ubuntu:/usr/local/hadoop/lib/native$ sudo mv * ../

干杯

我用JDK6也有同样的问题,我把JDK换成了JDK8,问题解决了。 尝试使用JDK8!!

我假设您在64位CentOS上运行Hadoop。你看到这个警告的原因是原生Hadoop库$HADOOP_HOME/lib/native/libhadoop.so.1.0.0实际上是32位编译的。

无论如何,这只是一个警告,不会影响Hadoop的功能。

下面是消除此警告的方法,下载Hadoop源代码并在64位系统上重新编译libhadoop.so.1.0.0,然后替换32位系统。

关于如何重新编译Ubuntu源代码的步骤包括在这里:

http://www.ercoppa.org/Linux-Compile-Hadoop-220-fix-Unable-to-load-native-hadoop-library.htm

在.bashrc文件的LD_LIBRARY_PATH中添加Hadoop本机库,并使用源~/.bashrc将库重新加载到当前会话中

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

(或)如果你有hadoop库安装在/usr/lib/

export LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native