Hadoop“无法为您的平台加载原生Hadoop库”警告

我目前正在一台运行CentOs的服务器上配置hadoop。当我运行start-dfs.sh或stop-dfs.sh时，我得到以下错误:

警告跑龙套。NativeCodeLoader:无法加载原生hadoop库你的平台……在适用的地方使用内置java类

我运行的是Hadoop 2.2.0。

我在网上搜索了一下，找到了这个链接:http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html

但是，hadoop 2上的/native/目录的内容。x似乎不同，所以我不知道该怎么办。

我还在hadoop-env.sh中添加了以下两个环境变量:

出口HADOOP_OPTS = " HADOOP_OPTS美元 -Djava.library.path = / usr /地方/ hadoop / lib /” 出口HADOOP_COMMON_LIB_NATIVE_DIR = " / usr /地方/ hadoop / lib /本地/”

什么好主意吗?

当前回答

首先:您可以修改glibc版本。CentOS提供传统的安全软件，这也意味着版本是旧的，如glibc,protobuf…

ldd --version
ldd /opt/hadoop/lib/native/libhadoop.so.1.0.0

您可以将当前glibc的版本与所需的glibc进行比较。

其次:如果当前glibc版本较旧，可以更新glibc。下载Glibc

如果当前glibc id的版本正确，则可以将word native附加到HADOOP_OPTS中

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

2015-12-27 04:36:45

其他回答

要安装Hadoop，从Cloudera安装免费版要容易得多。它提供了一个很好的GUI，可以简单地添加节点，没有编译或填充依赖关系，它提供了像hive, pig等东西。

http://www.cloudera.com/content/support/en/downloads.html

步骤是: 1)下载 2)运行 3)进入web GUI (1.2.3.4:7180) 4)在web gui中添加额外的节点(不要在其他节点上安装cloudera软件，它会为你做所有的事情) 5)在web GUI中进入Home，单击Hue和Hue web UI。这让你可以访问Hive, Pig, Sqoop等。

2014-03-20 23:46:49

基本上，这不是一个错误，而是Hadoop集群中的一个警告。这里我们只是更新环境变量。

export HADOOP_OPTS = "$HADOOP_OPTS"-Djava.library.path = /usr/local/hadoop/lib

 export HADOOP_COMMON_LIB_NATIVE_DIR = "/usr/local/hadoop/lib/native"

2020-06-07 17:52:24

我没有使用CentOS。以下是我在Ubuntu 16.04.2, hadoop-2.7.3, jdk1.8.0_121中的内容。运行start-dfs.sh或stop-dfs.sh成功，没有错误:

# JAVA env
#
export JAVA_HOME=/j01/sys/jdk
export JRE_HOME=/j01/sys/jdk/jre

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${PATH}:.

# HADOOP env
#
export HADOOP_HOME=/j01/srv/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

将“/j01/sys/jdk”、“/j01/srv/hadoop”替换为安装路径

我还在Ubuntu上做了以下一次设置，这样在运行start-dfs.sh时就不需要多次输入密码了:

sudo apt install openssh-server openssh-client
ssh-keygen -t rsa
ssh-copy-id user@localhost

将user替换为用户名

2017-03-24 18:01:23

将已编译的本机库文件移动到$HADOOP_HOME/lib文件夹。

然后通过编辑.bashrc文件设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib  
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib"

确保已编译的本机库文件位于$HADOOP_HOME/lib文件夹中。

它应该会起作用。

2014-10-12 18:56:19