如何使用Spark 2遮罩列？

我有一些表格，我需要掩盖它的一些列。要屏蔽的列因表而不同，我正在阅读application.conf文件中的那些列。如何使用Spark 2遮罩列？

例如，对于员工表如下图所示

+----+------+-----+---------+ 
| id | name | age | address | 
+----+------+-----+---------+ 
| 1 | abcd | 21 | India | 
+----+------+-----+---------+ 
| 2 | qazx | 42 | Germany | 
+----+------+-----+---------+

如果我们想掩盖姓名和年龄列然后我的序列中获得这些列。

val mask = Seq("name", "age")

屏蔽之后的预期值是：

+----+----------------+----------------+---------+ 
| id | name   | age   | address | 
+----+----------------+----------------+---------+ 
| 1 | *** Masked *** | *** Masked *** | India | 
+----+----------------+----------------+---------+ 
| 2 | *** Masked *** | *** Masked *** | Germany | 
+----+----------------+----------------+---------+

如果我有职员表的数据帧，那么什么是掩盖这些列的方式吗？

如果我有payment表如下图所示，要屏蔽name和salary列然后我得到面具列顺序

+----+------+--------+----------+ 
| id | name | salary | tax_code | 
+----+------+--------+----------+ 
| 1 | abcd | 12345 | KT10  | 
+----+------+--------+----------+ 
| 2 | qazx | 98765 | AD12d | 
+----+------+--------+----------+ 

val mask = Seq("name", "salary")

我想是这样的mask.foreach(c => base.withColumn(c, regexp_replace(col(c), "^.*?$", "*** Masked ***")))但它并没有返回任何东西。

感谢@philantrovert，我找到了解决方案。这里是我使用的解决方案：

def maskData(base: DataFrame, maskColumns: Seq[String]) = { 
    val maskExpr = base.columns.map { col => if(maskColumns.contains(col)) s"'*** Masked ***' as ${col}" else col } 
    base.selectExpr(maskExpr: _*) 
}

来源

2017-09-20 Shekhar

你的陈述

mask.foreach(c => base.withColumn(c, regexp_replace(col(c), "^.*?$", "*** Masked ***")))

将返回List[org.apache.spark.sql.DataFrame]这听起来不太好。

您可以使用selectExpr和使用产生的regexp_replace表达：

base.show 
+---+----+-----+-------+ 
| id|name| age|address| 
+---+----+-----+-------+ 
| 1|abcd|12345| KT10 | 
| 2|qazx|98765| AD12d| 
+---+----+-----+-------+ 

val mask = Seq("name", "age") 
val expr = df.columns.map { col => 
    if (mask.contains(col)) s"""regexp_replace(${col}, "^.*", "** Masked **") as ${col}""" 
    else col 
}

这将产生与regex_replace对存在的序列mask

Array[String] = Array(id, regexp_replace(name, "^.*", "** Masked **") as name, regexp_replace(age, "^.*", "** Masked **") as age, address)

现在你可以使用列的表达式selectExpr上生成的序列

base.selectExpr(expr: _*).show 

+---+------------+------------+-------+ 
| id|  name|   age|address| 
+---+------------+------------+-------+ 
| 1|** Masked **|** Masked **| KT10 | 
| 2|** Masked **|** Masked **| AD12d| 
+---+------------+------------+-------+

来源

2017-09-21 07:16:21 philantrovert

谢谢。有效 – Shekhar

请检查下面的代码。关键是udf功能。

val df = ss.sparkContext.parallelize(Seq (
    ("c1", "JAN-2017", 49), 
    ("c1", "MAR-2017", 83), 
)).toDF("city", "month", "sales") 
df.show() 

val mask = udf((s : String) => { 
    "*** Masked ***" 
}) 

df.withColumn("city", mask($"city")).show`

来源

2017-09-21 02:54:17 Robin

最简单和最快的方法是使用withColumn，并简单地用"*** Masked ***"覆盖列中的值。用你的小例子，数据帧

val df = spark.sparkContext.parallelize(Seq (
    (1, "abcd", 12345, "KT10"), 
    (2, "qazx", 98765, "AD12d") 
)).toDF("id", "name", "salary", "tax_code")

如果你有被屏蔽列的数量少，与已知的名字，那么你可以简单地做：

val mask = Seq("name", "salary") 

df.withColumn("name", lit("*** Masked ***")) 
    .withColumn("salary", lit("*** Masked ***"))

否则，你需要创建一个循环：

var df2 = df 
for (col <- mask){ 
    df2 = df2.withColumn(col, lit("*** Masked ***")) 
}

这两种方法会给你这样的结果：

+---+--------------+--------------+--------+ 
| id|   name|  salary|tax_code| 
+---+--------------+--------------+--------+ 
| 1|*** Masked ***|*** Masked ***| KT10| 
| 2|*** Masked ***|*** Masked ***| AD12d| 
+---+--------------+--------------+--------+

来源

2017-09-21 07:18:26 Shaido

如何使用Spark 2遮罩列？

回答

相关问题