Google DataProc Spark - 尝试SSH到工作节点

Question

小群集时出现“权限被拒绝（publickey）”错误。 1名主，2名工人。我可以很好地使用gcloud SDK访问所有节点（master + slave）。但是，一旦我访问主节点并尝试ssh到从属节点，我会得到“permission denied（publickey）”错误。请注意，我可以成功地ping通节点，但SSH不起作用。

Answer 1

Dataproc不在主节点和工作节点之间安装SSH密钥，以便按预期工作。

您可以使用SSH代理转发。喜欢的东西：

# Add Compute Engine private key to SSH agent 
ssh-add ~/.ssh/google_compute_engine 
# Forward key to SSH agent of master 
gcloud compute ssh --ssh-flag="-A" [CLUSTER]-m 
# SSH into worker 
ssh [CLUSTER]-w-0 

你也可以使用初始化动作配置SSH密钥或使用gcloud ssh从主节点（如果你给集群中compute.rw范围）。