使用 Python 访问 Hive 数据

问题描述

我在 HDFS 中有一些数据，我需要使用 python 访问这些数据，谁能告诉我如何使用 python 从 hive 访问数据?

I have some data in HDFS,i need to access that data using python,can anyone tell me how data is accessed from hive using python?

推荐答案

你可以使用 hive 库从 python 访问 hive，因为你想导入 hive Class从 hive 导入 ThriftHive

下面的例子

import sys

from hive import ThriftHive
from hive.ttypes import HiveServerException

from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

try:
  transport = TSocket.TSocket('localhost', 10000)
  transport = TTransport.TBufferedTransport(transport)
  protocol = TBinaryProtocol.TBinaryProtocol(transport)
  client = ThriftHive.Client(protocol)
  transport.open()
  client.execute("CREATE TABLE r(a STRING, b INT, c DOUBLE)")
  client.execute("LOAD TABLE LOCAL INPATH '/path' INTO TABLE r")
  client.execute("SELECT * FROM r")
  while (1):
    row = client.fetchOne()
    if (row == None):
       break
    print row

  client.execute("SELECT * FROM r")
  print client.fetchAll()
  transport.close()
except Thrift.TException, tx:
  print '%s' % (tx.message)

这篇关于使用 Python 访问 Hive 数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！