本文介绍了LeaseExpiredException：HDFS上无租约错误（无法关闭文件）的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我试图将大数据加载到HIVE中的动态分区表中。
我一直在收到这个错误。如果我没有分区加载数据，它工作正常。如果我使用较小的数据集（使用分区），它也可以正常工作。但对于大型数据集，我开始得到这个错误
错误：
2014-11-10 09：28：01,112错误org.apache.hadoop.hdfs.DFSClient：无法关闭文件
/tmp/hive-username/hive_2014-11-10_09-25-26_785_2042278847834453465/_task_tmp.- ext-10002 /
pseudo_element_id = NN％09 / _tmp.000002_2
org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）：
/tmp/hive-username/hive_2014-11-10_09-25-26_785_2042278847834453465/_task_tmp.-ext-10002
/pseudo_element_id=NN%09/_tmp.000002_2上没有租约：文件不存在。
持有人DFSClient_NONMAPREDUCE_-737676454_1没有任何打开的文件。
位于org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease（FSNamesystem.java:2445）
位于org.apache.hadoop.hdfs.server.namenode.FSNamesystem。 checkLease（FSNamesystem.java:2437）
位于org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFileInternal（FSNamesystem.java:2503）
位于org.apache.hadoop.hdfs.server。 namenode.FSNamesystem.completeFile（FSNamesystem.java:2480）
位于org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.complete（NameNodeRpcServer.java:535）
位于org.apache.hadoop。 hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.complete（ClientNamenodeProtocolServerSideTranslatorPB.java:337）
在org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java:44958）
。在组织.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:453）
at org.apache.hadoop.ipc.RPC $ Server.call（RPC.java:1002）
在org.apache.ha doop.ipc.Server $ Handler $ 1.run（Server.java:1701）
at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:1697）
at java。 security.AccessController.doPrivileged（Native方法）
位于javax.security.auth.Subject.doAs（Subject.java:396）
位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java ：1408）
at org.apache.hadoop.ipc.Server $ Handler.run（Server.java:1695）
$ b $ org.apache.hadoop.ipc.Client.call（Client .java：1225）
at org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke（ProtobufRpcEngine.java:202）
at $ Proxy10.complete（Unknown Source）
at org。 apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.complete（ClientNamenodeProtocolTranslatorPB.java:330）
at sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method）
at sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java ：39）
at sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:25）
at java.lang.r eflect.Method.invoke（Method.java:597）
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod（RetryInvocationHandler。
java：164）
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke（RetryInvocationHandler.java:83）
at $ Proxy11.complete（Unknown Source）
在org.apache.hadoop.hdfs.DFSOutputStream.completeFile（DFSOutputStream.java:1795）
在org.apache.hadoop.hdfs.DFSOutputStream.close（DFSOutputStream.java:1782）
在org.apache .hadoop.hdfs.DFSClient.closeAllFilesBeingWritten（DFSClient.java:709）
at org.apache.hadoop.hdfs.DFSClient.close（DFSClient.java:726）
at org.apache.hadoop.hdfs .DistributedFileSystem.close（DistributedFileSystem.java:561）
at org.apache.hadoop.fs.FileSystem $ Cache.closeAll（FileSystem.java:2398）
at org.apache.hadoop.fs.FileSystem $ Cache $ ClientFinalizer.run（FileSystem.java:2414）
at org.apache.hadoop.util.ShutdownHookManager $ 1.run（ShutdownHookManager.java:54）
解决方案
设置选项hive.exec.parallel = false并重新运行查询。
I am trying to load large data into a dynamically partitioned table in HIVE.
I keep on getting this error. If I load data without partitioning, it works fine. If I work with smaller data set (with partition), it works fine as well. But for large dataset I start getting this error
The Error:
2014-11-10 09:28:01,112 ERROR org.apache.hadoop.hdfs.DFSClient: Failed to close file
/tmp/hive-username/hive_2014-11-10_09-25-26_785_2042278847834453465/_task_tmp.-ext-10002/
pseudo_element_id=NN%09/_tmp.000002_2
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException):
No lease on /tmp/hive-username/hive_2014-11-10_09-25-26_785_2042278847834453465/_task_tmp.-ext-10002
/pseudo_element_id=NN%09/_tmp.000002_2: File does not exist.
Holder DFSClient_NONMAPREDUCE_-737676454_1 does not have any open files.
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:2445)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:2437)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFileInternal(FSNamesystem.java:2503)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFile(FSNamesystem.java:2480)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.complete(NameNodeRpcServer.java:535)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.complete(ClientNamenodeProtocolServerSideTranslatorPB.java:337)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44958)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1697)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1695)
at org.apache.hadoop.ipc.Client.call(Client.java:1225)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
at $Proxy10.complete(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.complete(ClientNamenodeProtocolTranslatorPB.java:330)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.
java:164)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
at $Proxy11.complete(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:1795)
at org.apache.hadoop.hdfs.DFSOutputStream.close(DFSOutputStream.java:1782)
at org.apache.hadoop.hdfs.DFSClient.closeAllFilesBeingWritten(DFSClient.java:709)
at org.apache.hadoop.hdfs.DFSClient.close(DFSClient.java:726)
at org.apache.hadoop.hdfs.DistributedFileSystem.close(DistributedFileSystem.java:561)
at org.apache.hadoop.fs.FileSystem$Cache.closeAll(FileSystem.java:2398)
at org.apache.hadoop.fs.FileSystem$Cache$ClientFinalizer.run(FileSystem.java:2414)
at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54)
解决方案
set the option hive.exec.parallel=false and rerun the query.
这篇关于LeaseExpiredException：HDFS上无租约错误（无法关闭文件）的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！