我的背景——在Hadoop世界工作了4周。使用Cloudera的Hadoop VM对Hive, Pig和Hadoop进行了一些尝试。已阅读谷歌关于Map-Reduce和GFS的论文(PDF链接)。
我明白——
猪的语言猪的拉丁语是一种转变
来自(适合程序员的思维方式)
SQL喜欢声明式的
编程和Hive的查询语言密切相关
类似于SQL。
Pig位于Hadoop之上
原则也可以凌驾于之上
德律阿得斯。我可能错了,但蜂巢错了
与Hadoop紧密耦合。
都是Pig Latin和Hive命令
编译映射和减少作业。
我的问题是——当一个(比如猪)可以达到目的时,拥有两者的目标是什么?难道只是因为雅虎宣传了Pig !和Facebook的Hive ?
有什么是HIVE可以做到的,而PIG做不到的?
分区可以使用HIVE完成,但不能在PIG中完成,这是一种绕过输出的方式。
什么是PIG可以做的,而在HIVE中是不可能的?
位置引用-即使你没有字段名,我们也可以使用像$0这样的位置来引用第一个字段,$1用于第二个字段,等等。
另一个基本区别是,PIG不需要一个模式来写值,但HIVE需要一个模式。
您可以使用JDBC和其他方法从任何外部应用程序连接到HIVE,但不能使用PIG。
注意:两者都运行在HDFS (hadoop分布式文件系统)上,语句被转换为Map Reduce程序。
有什么是HIVE可以做到的,而PIG做不到的?
分区可以使用HIVE完成,但不能在PIG中完成,这是一种绕过输出的方式。
什么是PIG可以做的,而在HIVE中是不可能的?
位置引用-即使你没有字段名,我们也可以使用像$0这样的位置来引用第一个字段,$1用于第二个字段,等等。
另一个基本区别是,PIG不需要一个模式来写值,但HIVE需要一个模式。
您可以使用JDBC和其他方法从任何外部应用程序连接到HIVE,但不能使用PIG。
注意:两者都运行在HDFS (hadoop分布式文件系统)上,语句被转换为Map Reduce程序。
您可以通过pig/hive查询实现类似的结果。主要的区别在于理解/编写/创建查询的方法。
Pig倾向于创建数据流:在每个步骤中进行一些处理的小步骤
Hive提供了类似SQL的语言来操作数据,因此从RDBMS转换更容易(Pig对于没有SQL经验的人来说更容易)
同样值得注意的是,对于Hive来说,你可以很好的界面来处理这些数据(Beeswax for HUE,或Hive web界面),它还为你提供了关于你的数据的信息(模式等)的亚metastore,这是关于你的数据的一个有用的中心信息。
我同时使用Hive和Pig,用于不同的查询(我使用它可以更快/更容易地编写查询,我这样做主要是临时查询)-它们可以使用相同的数据作为输入。但目前我的大部分工作都是通过Beeswax完成的。