如何在Win10系统使用Python3连接Hive
#代码知识 发布时间: 2026-01-12
由于数据存放在大数据平台的Hive数据仓库中,我需要在Win10系统上利用Python3连接Hive,然后读取数据,进行探索、分析和挖掘工作。
我通过网上查找资料和实际测试,把Win10系统Python3成功连接Hive配置总结如下。
第一步:安装依赖库
pip install bitarray pip install bit_array pip install thrift pip install thriftpy pip install pure_sasl pip install --no-deps thrift-sasl==0.2.1
提示:若是无法安装,也可以点击如下网址,
https://www.lfd.uci.edu/~gohlke/pythonlibs/
选择合适库的whl下载,然后进行本地化安装。
第二步:安装impyla库
我采用本地化安装方式,先下载impyla库的whl,如下图:
再安装
pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl
提示:上面的绝对路径根据你自己的情况而定
第三步:测试impyla库是否可以使用
from impala.dbapi import connect #用来连接Hive的函数 from impala.util import as_pandas #用来把数据结构转换为pandas
若是运行通过,表示利用impala连接Hive配置成功。
简单示例:
从Hive的一张表读取100条记录,放到pandas的DataFrame里面。
参考代码:
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()
参考资料
https://github.com/cloudera/impyla
以上就是如何在Win10系统使用Python3连接Hive的详细内容,更多关于Python3连接Hive的资料请关注其它相关文章!
代码知识SEO上一篇 : Python进行特征提取的示例代码
下一篇 : JS如何操作DOM基于表格动态展示数据
-
SEO外包最佳选择国内专业的白帽SEO机构,熟知搜索算法,各行业企业站优化策略!
SEO公司
-
可定制SEO优化套餐基于整站优化与品牌搜索展现,定制个性化营销推广方案!
SEO套餐
-
SEO入门教程多年积累SEO实战案例,从新手到专家,从入门到精通,海量的SEO学习资料!
SEO教程
-
SEO项目资源高质量SEO项目资源,稀缺性外链,优质文案代写,老域名提权,云主机相关配置折扣!
SEO资源
-
SEO快速建站快速搭建符合搜索引擎友好的企业网站,协助备案,域名选择,服务器配置等相关服务!
SEO建站
-
快速搜索引擎优化建议没有任何SEO机构,可以承诺搜索引擎排名的具体位置,如果有,那么请您多注意!专业的SEO机构,一般情况下只能确保目标关键词进入到首页或者前几页,如果您有相关问题,欢迎咨询!