HDInsight蜂巢UDF在.NET

Question

我已经看到有微软.NET SDK Hadoop的。我发现Map/Reduce程序现在可以用.NET编写用于HDInsight。
有没有我们可以写蜂房的UDF也是HDInsight的方法吗？

Answer 1

您可以使用相同的streaming method you would with a python UDF运行.NET程序作为UDF。

例如，如果你有一个.NET程序，做一些事情，以STDIN和结果写到标准输出，你可以使用一个蜂巢UDF如下运行：

SELECT TRANSFORM (<columns>) 
USING '<PROGRAM.EXE>' 
AS (<columns>) 
FROM <table>; 

请注意，您也可以使用多个通过使用逗号分隔的数据来处理UDF中的列。

就性能而言，您可能会发现这样非常慢，所以请小心过度使用，并留意它。

另外，不要忘了运行查询之前的Program.exe添加文件到您的蜂巢工作。

add FILE 'wasb://...PROGRAM.EXE'; 

Answer 2

看到How to add custom Hive UDFs to HDInsight