我目前正在一台运行CentOs的服务器上配置hadoop。当我运行start-dfs.sh或stop-dfs.sh时,我得到以下错误:
警告跑龙套。NativeCodeLoader:无法加载原生hadoop库
你的平台……在适用的地方使用内置java类
我运行的是Hadoop 2.2.0。
我在网上搜索了一下,找到了这个链接:http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html
但是,hadoop 2上的/native/目录的内容。x似乎不同,所以我不知道该怎么办。
我还在hadoop-env.sh中添加了以下两个环境变量:
出口HADOOP_OPTS = " HADOOP_OPTS美元
-Djava.library.path = / usr /地方/ hadoop / lib /”
出口HADOOP_COMMON_LIB_NATIVE_DIR = " / usr /地方/ hadoop / lib /本地/”
什么好主意吗?
要安装Hadoop,从Cloudera安装免费版要容易得多。它提供了一个很好的GUI,可以简单地添加节点,没有编译或填充依赖关系,它提供了像hive, pig等东西。
http://www.cloudera.com/content/support/en/downloads.html
步骤是:
1)下载
2)运行
3)进入web GUI (1.2.3.4:7180)
4)在web gui中添加额外的节点(不要在其他节点上安装cloudera软件,它会为你做所有的事情)
5)在web GUI中进入Home,单击Hue和Hue web UI。这让你可以访问Hive, Pig, Sqoop等。
这个答案混合了@chromeeagle的分析和这个链接(Nan-Xiao)。
对于那些其他解决方案根本不起作用的人,请遵循以下步骤:
Edit the file $HADOOP_HOME/etc/hadoop/log4j.properties (credits to @chromeeagle). Add the line at the end:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG
Launch your spark/pyspark shell. You will see additional log information regarding the native library not loading. In my case I had the following error:
Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
To fix this specific problem, add the Hadoop native library path to the LD_LIBRARY_PATH environment variable in your user's profile:
export LD_LIBRARY_PATH="$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH"
希望这能有所帮助。我在几个HADOOP安装中遇到了这个问题,它在两个上都有效。