2017-07-26 32 views
1

我使用的是Ubuntu 16,并试图在我的局域网上设置火花集群。火花启动 - 从属未连接到主

我已成功地配置火花高手,并设法从机从同一台计算机连接,看看它在localhost:8080

当我尝试从另一台计算机连接时,问题开始,我配置了密码的ssh为解释here

当我尝试使用start-slave.sh火花连接到主://主:端口解释here

我收到此错误日志

我尝试使用本地IP和本地名称访问主服务器(我管理ssh使用两个和没有密码的主人。同时向用户和根)

我试过两个

端口6066和端口7077我没有得到错误的按摩,但新的从没有在主人的本地主机apearing:8080页

并保持收到此错误日志

星火命令:/ usr/lib中/ JVM/JAVA-8的OpenJDK,AMD64/JRE /斌/ java命令 在/ usr /本地/火花/ conf目录/:在/ usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark:// latitude:6066 ========================================使用Spark的默认log4j配置文件:org/apache/spark/log4j-defaults.properties 17/07/26 22:09:09 INFO Worker:启动后台进程,进程名称: 20609 @ name-beckup-laptop 17/07/26 22 :09:09 INFO SignalUtils: TERM的注册信号处理程序17/07/26 22:09:09 INFO SignalUtils: HUP的注册信号处理程序17/07/26 22:09:09 INFO SignalUtils: 已注册信号处理程序INT 17/07/26 22:09:09 WARN Utils:您的 主机名,名称beckup-laptop解析为回送地址: 127.0.1.1;改为使用192.168.14.84(在接口wlp2s0上)17/07/26 22:09:09 WARN Utils:设置SPARK_LOCAL_IP如果您需要绑定到另一个 地址17/07/26 22:09:09 WARN NativeCodeLoader:无法加载 适用于您的平台的native-hadoop库...使用内置java类 (如适用)17/07/26 22:09:09 INFO SecurityManager:更改视图 acls:name 17/07/26 22:09:09 INFO SecurityManager:将修改 acls更改为:name 17/07/26 22:09:09 INFO SecurityManager:更改视图 acls组为:17/07/26 22:09:09 INFO SecurityManager:更改 将acls组修改为:17/07/26 22:09:09信息SecurityManager: SecurityManager:验证已禁用;用户禁用;具有查看权限的用户 :Set(name);具有查看权限的组:Set(); 具有修改权限的用户:Set(name);修改组 权限:Set()17/07/26 22:09:09信息实用程序:成功启动 端口34777上的服务'sparkWorker'。17/07/26 22:09:09信息工作人员: 启动Spark worker 192.168.14.84:34777与4核心,14.6 GB RAM 17/07/26 22:09:09信息工作者:运行Spark版本2.2.0 17/07/26 22:09:09信息工作者:星火家园:/ usr/local/spark 17/07/26 22:09:10 INFO Utils:在端口8081上成功启动服务'WorkerUI'。 17/07/26 22:09:10 INFO WorkerWebUI:将WorkerWebUI绑定到0.0.0。0和 开始于http://192.168.14.84:8081 17/07/26 22:09:10信息工作人员: 连接到主纬度:6066 ... 17/07/26 22:09:10警告工人: 未能连接到主纬度:6066 org.apache.spark.SparkException:在awaitResult引发的异常:at org.apache.spark.util.ThreadUtils $ .awaitResult(ThreadUtils.scala:205) at org.apache.spark.rpc.RpcTimeout.awaitResult (RpcTimeout.scala:75) 在 org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:100) 在org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:108)在 org.apache.spark.deploy.worker.Worker $$ anonfun $ $组织阿帕奇$火花$部署$工人$工人$$ tryRegisterAllMasters $ 1 $$不久$ 1.run(Worker.scala: 241) 在 java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511) 在java.util.concurrent.FutureTask.run(FutureTask.java:266)在 java.util.concurrent.ThreadPoolExecutor中.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor中的$ Worker.run(ThreadPoolExecutor.java:617) 在java.lang.Thread.run(Thread.java:748)引起的: java.io.IOException的:无法连接到纬度/ 192.168.14.83:6066 在 org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:232) 在 org.apache.spark.network .client.TransportClientFactory.createClient(运输ortClientFactory.java:182) at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:197) at org.apache.spark.rpc.netty.Outbox $$ anon $ 1.call(发件箱.scala:194) at org.apache.spark.rpc.netty.Outbox $$ anon $ 1.call(Outbox.scala:190) ... 4 more引起者: io.netty.channel.AbstractChannel $ AnnotatedConnectException :连接 拒绝:纬度/ 192.168.14.83:6066处 sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) sun.nio.ch.SocketChannelImpl.checkConnect(本机方法)在 IO。 netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:257) at io.netty.channel.nio.AbstractNioChannel $ AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:291) 在 io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:631) 在 io.netty.channel .nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:566) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:480) 在io.netty.channel.nio.NioEventLoop.run(NioEventLoop。 Java的:442)在 io.netty.util.concurrent.SingleThreadEventExecutor $ 2.run(SingleThreadEventExecutor.java:131) 在 io.netty.util.concurrent.DefaultThreadFactory $ DefaultRunnableDecorator.run(DefaultThreadFactory.java:144) 。 。 。1更多

谢谢!

回答

0

发现问题!

你需要添加/ conf目录文件/火花ENV

有增加以下内容:

SPARK_MASTER_IP='<ip of master without port>' 

start-slave.sh spark://<master ip>:7077 

然后

start-master.sh -h <ip of master>:7077 

将像魅力一样工作。