2016-11-11 78 views
0

我有hadoop 2.7.3和hbase 1.2.3。我试图在正式文档之后以伪分布模式运行hbase。我只有一台机器。 HDFS运行良好。HBase HRegionServer无法启动

但是,问题是当我执行start-hbase.sh,HRegionServer启动但自动退出。我可以看到HMaster和HQuorumPeer仍在那里。

从日志中,我认为hbase创建了一个文件/hbase/WALs/ubuntuserver,16201,1478832152563/ubuntuserver%2C16201%2C1478832152563..meta.1478832162907.meta但没有权限将内容追加到文件中。当前用户是'root'组中的'ubuntuserver'。我已将hdfs上的所有文件夹更改为'ubuntuserver'和'root'。并做了'hdfs dfs -chmod -R 777 /'。并重新启动linux,hdfs然后hbase。它不起作用。每次HResionServer启动它时都会创建一个新文件,因此没有权限添加到它。

这里是HRegionServer的日志。如何解决这个问题?

2016年11月11日11:13:44774 INFO [RS_OPEN_META-ubuntuServer:16201-0-MetaLogRoller] regionserver.HRegionServer:STOPPED:失败日志接近日志辊 2016年11月11日11: 13:44,774信息 [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.SplitLogWorker:发送中断来停止worker 线程2016-11-11 11:13:44,775 INFO [regionserver/ubuntuServer/10.0.2.15: 16201] regionserver.HRegionServer:停止infoServer 2016-11-11 11:13:44,776信息[SplitLogWorker-ubuntuServer:16201] regionserver.SplitLogW orker:SplitLogWorker中断。退出。 2016年11月11日11:13:44776 INFO [SplitLogWorker-ubuntuServer:16201] regionserver.SplitLogWorker:SplitLogWorker ubuntuserver,16201,1478834015515退出2016年11月11日11:13:44780 INFO [RS_OPEN_META-ubuntuServer:16201 -0-MetaLogRoller] regionserver.LogRoller:LogRoller退出。 2016-11-11 11:13:44,805 INFO [regionserver/ubuntuServer/10.0.2.15:16201] mortbay.log:已停止 [email protected]:16301 2016-11-11 11:13:44,810 INFO [regionserver /ubuntuServer/10.0.2.15:16201] regionserver.HeapMemoryManager:Stoping HeapMemoryTuner杂事。 2016年11月11日11:13:44810 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] flush.RegionServerFlushTableProcedureManager:停止区域服务器 冲洗程序管理器突然。 2016-11-11 11:13:44,810信息 [regionserver/ubuntuServer/10.0.2.15:16201] snapshot.RegionServerSnapshotManager:突然停止 RegionServerSnapshotManager。 2016-11-11 11:13:44,810 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.HRegionServer:aborting server ubuntuserver,16201,1478834015515 2016-11-11 11:13:44,811 INFO [regionserver /ubuntuServer/10.0.2.15:16201] client.ConnectionManager $ HConnectionImplementation:关闭动物园管理员 的sessionid = 0x158516036c10005 2016年11月11日11:13:44813 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201-EventThread] 动物园管理员。 ClientCnxn:EventThread关闭2016-11-11 11:13:44,814 INFO [regionserver/ubuntuServer/10.0.2.15:16201] zookeeper.ZooKeeper: Session:0x158516036c10005关闭2016-11-11 11:13:44,814信息 [ RegionServer的/ ubuntuServer/10.0.2.15:1620 1] regionserver.HRegionServer:停止服务器 ubuntuserver,16201,1478834015515;所有地区关闭。2016年11月11日 11:13:44810 INFO [MemStoreFlusher.0] regionserver.MemStoreFlusher: MemStoreFlusher.0退出2016年11月11日11:13:44820 INFO [MemStoreFlusher.1] regionserver.MemStoreFlusher:MemStoreFlusher.1 退出2016-11-11 11:13:44,814 WARN [regionserver/ubuntuServer/10.0.2.15:16201] wal.ProtobufLogWriter: 未能写预告片,非致命的,正在继续... java.nio.channels。 ClosedChannelException 在org.apache.hadoop.hdfs.DFSOutputStream.checkClosed(DFSOutputStream.java:1538) 在org.apache.hadoop.fs.FSOutputSummer.write(FSOutputSummer.java:98) 在org.apache.hadoop.fs .FSDataOutputStream $ PositionCache.write(FSDataOutputStream.java:58) at (CodedOutputStream.java:833) com.google.protobuf.CodedOutputStream.flush(CodedOutputStream.java:843) at com.google.protobuf.AbstractMessageLite.writeTo(AbstractMessageLite.java:80) at org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter.writeWALTrailer(ProtobufLogWriter.java:157) at org.apache.hadoop。 hbase.regionserver.wal.ProtobufLogWriter.close(ProtobufLogWriter.java:130) at org.apache.hadoop.hbase.regionserver.wal.FSHLog.shutdown(FSHLog.java:1079) at org.apache.hadoop.hbase。 wal.DefaultWALProvider.shutdown(DefaultWALProvider.java:114) 在org.apache.hadoop.hbase.wal.WALFactory.shutdown(WALFactory.j ava:216) at org.apache.hadoop.hbase.regionserver.HRegionServer.shutdownWAL(HRegionServer.java:1315) at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:1064) at java.lang.Thread.run(Thread.java:745)2016年11月11日11:13:44829 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] regionserver.Leases:RegionServer的/ ubuntuServer/10.0.2.15:16201关闭 租约2016-11-11 11:13:44,829信息 regionserver /租赁服务器地址: regionserver/ubuntuServer/10.0.2.15:16201关闭租约2016-11-11 11: 13:44830 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] hbase.ChoreService:用于家务服务: ubuntuserver,16201,1478834015515有[[ScheduledChore:名称: ubuntuserver,16201,1478834015515-MemstoreFlusherChore期间:10000 单位:MILLISECONDS],[ScheduledChore:名称:MovedRegionsCleaner为 区域ubuntuserver,16201,1478834015515期间:120000单位: MILLISECONDS]在关机2016- 11-11 11:13:48,193 INFO [HBase-Metrics2-1] impl.MetricsSystemImpl:停止HBase度量 系统... 2016-11-11 11:13:48,194 INFO [HBase-Metrics2-1] impl。 MetricsSystemImpl:HBase度量标准系统已停止。 2016-11-11 11:13:48,695信息[HBase-Metrics2-1] impl.MetricsConfig:已加载 属性来自hadoop-metrics2-hbase.properties 2016-11-11 11:13:48,708信息[HBase-Metrics2 -1] impl.MetricsSystemImpl: 计划的快照周期为10秒(s)。 2016-11-11 11:13:48,708 INFO [HBase-Metrics2-1] impl.MetricsSystemImpl:HBase度量系统 开始2016-11-11 11:13:50,001信息 [regionserver/ubuntuServer/10.0.2.15:16201 .logRoller] regionserver.LogRoller:LogRoller退出。 2016-11-11 11:13:50,002 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.CompactSplitThread:等待分割线程完成... 2016-11-11 11:13:50,002信息 [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.CompactSplitThread:等待合并线程完成... 2016-11-11 11:13:50,002信息 [regionserver/ubuntuServer/10.0.2。15:16201] regionserver.CompactSplitThread:等待大压实主题 完成...二零一六年十一月十一日11:13:50002 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] regionserver.CompactSplitThread:等待小型压缩线程 完成... 2016-11-11 11:13:50,012信息 [regionserver/ubuntuServer/10.0.2.15:16201] ipc.RpcServer:停止 服务器上16201 2016-11-11 11:13: 50,012信息 [RpcServer.listener,port = 16201] ipc.RpcServer: RpcServer.listener,port = 16201:停止2016-11-11 11:13:50,017信息 [RpcServer.responder] ipc.RpcServer:RpcServer.responder :停止 2016-11-11 11:13:50,017 INFO [RpcServer.responder] ipc.RpcServer: RpcServer.responder:停止2016-11-11 11:13:50,016 INFO [regionserver/ubuntuServer/10.0.2.15:16201.leaseChecker] regionserver.Leases: regionserver/ubuntuServer/10.0.2.15:16201.leaseChecker关闭租约 2016年11月11日11:13:50026 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201.leaseChecker] regionserver.Leases: RegionServer的/ ubuntuServer/10.0.2.15:16201.leaseChecker关闭租赁 2016-11- 11 11:13:50,028 INFO [main-EventThread] zookeeper.ClientCnxn: EventThread关闭2016-11-11 11:13:50,029 INFO [regionserver/ubuntuServer/10.0.2.15:16201] zookeeper.ZooKeeper: Session: 0x158516036c10004已关闭2016-11-11 11:13:50,029 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.HRegionServer:停止服务器 ubuntuserver,16201,1478834015515; zookeeper连接关闭。 2016-11-11 11:13:50,029 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.HRegionServer:regionserver/ubuntuServer/10.0.2.15:16201 退出2016-11-11 11:13:50,029 ERROR [主要] regionserver.HRegionServerCommandLine:地区服务器退出 了java.lang.RuntimeException:HRegionServer中止 在org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandLine.java:68) 在org.apache.hadoop .hbase.regionserver.HRegionServerCommandLine.run(HRegionServerCommandLine.java:87) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.hbase.util.ServerCommandLine.doMain (ServerCommandLine.java:126) 在org.apache.hadoop.hbase.regionserver.HRegionServer.main(HRegionServer.java:2665) 2016年11月11日11:13:50031 INFO [线程6] regionserver.ShutdownHook: 关闭钩起动; hbase.shutdown.hook = TRUE; fsShu[email protected]18230356 2016-11-11 11:13:50,033 INFO [Thread-6] regionserver.ShutdownHook: 启动fs shutdown hook线程。 2016-11-11 11:13:50,036错误 [线程-82] hdfs.DFSClient:无法关闭inode 16780 org.apache.hadoop.ipc.RemoteException(java.io.IOException):文件 /hbase/WALs/ubuntuserver,16201,1478834015515/ubuntuserver%2C16201%2C1478834015515..meta.1478834024410.meta 只能复制到0个节点而不是minReplication(= 1)。 此 操作中有1个数据节点正在运行,并且不包含任何节点。 在org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1571) 在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3107) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3031) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer。Java的:725) 在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:492) 在org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod(ClientNamenodeProtocolProtos.java ) at org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616) at org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:982) at org .apache.hadoop.ipc.Server $处理器$ 1.run(Server.java:2049) 在org.apache.hadoop.ipc.Server $处理器$ 1.run(Server.java:2045) 在java.security.AccessController .doPrivileged(本机方法) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698) 在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:2043)

at org.apache.hadoop.ipc.Client.call(Client.java:1411) 
    at org.apache.hadoop.ipc.Client.call(Client.java:1364) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206) 
    at com.sun.proxy.$Proxy16.addBlock(Unknown Source) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) 
    at com.sun.proxy.$Proxy16.addBlock(Unknown Source) 
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:368) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.hadoop.hbase.fs.HFileSystem$1.invoke(HFileSystem.java:279) 
    at com.sun.proxy.$Proxy17.addBlock(Unknown Source) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1449) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1270) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:526) 

2016 -11-11 11:13:50057 INFO [线程6] regionserver.ShutdownHook: 关闭钩结束。

回答

1

哦,我来回答自己提出的问题更多的时间。

的根本原因是没有权限问题。这是存储空间问题。我在拥有8G硬盘空间的虚拟机中部署了集群。但现在是7.8G。

解决方案:重新创建的虚拟机200G硬盘空间。