Hadoop出现 native snappy library not available: SnappyCompressor has not been loaded的解决办法

我目前测试环境是Hadoop 2.7.1, 搭建群集之后经常出现错误“native snappy library not available: SnappyCompressor has not been loaded”, 我目前是两个结点, 单台是没有问题的, 

看了log之后也找不到什么原因, 烦恼很久, 后面发现如果 是两台结点, 会不会是读取hdfs上面的lib文件, 而不是读取本地的lib呢, 我就试了下, 以下是tez在hdfs上的截图

技术分享

扔上去后, 居然跑成功了, 试分析了下, 应该是我默认的文件类型是hdfs的原因, 在core-site.xml可以进行配置fs.defaultFS

文章来自:http://www.cnblogs.com/frankzye/p/5141530.html
© 2021 jiaocheng.bubufx.com  联系我们
ICP备案:鲁ICP备09046678号-3