Hive SQL间隔连续问题
问题引入 下面是某游戏公司记录的用户每日登录数据, 计算每个用户最大的连续登录天数，定义连续登录时可以间隔一天。举例：如果一个用户在 1,3,5,6,9 登录了游戏，则视为连续 6 天登录。 id dt1001 2021-12-121002 2021-12-121001 2021-12-131001 2021-12-141001 2021-12-161002 2021-12-161001 2021-12-...
Hive底层如何和数据库进行交互
Hive hive是hadoop底层用于管理和查询结构化数据的系统。 hive的功能实现是由HDFS+Mapreduce结合起来使用的。 hive支持类SQL的查询语言 驱动器和编译器 驱动器收到HiveQL之后会唤醒编译器，编译器将这个声明翻译成一个由Mapreduce组成的有向无环图的计划。 文件系统 主要储存在RDBMS中，而不是Hadoop自己的文件系统 ...
业务场景中Hive解析Json常用案例
业务场景中Hive解析Json常用案例 json在线工具 json格式转换在线工具 https://tool.lu/json/ format格式互转： // 格式化可以合并整行显示{"name":"John Doe","age":35,"email":"john@example.com"} // 格式化可以展开显示，示例数据更清晰{ "name": "John Doe", "age": 35, "e...
Hive的metastore服务的两种运行模式
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口 1.metastore运行模式 metastore有两种运行模式，分别为嵌入式模式和独立服务模式。下面分别对两种模式进行说明： （1）嵌入式模式 （2）独立服务模式 2.两种模式下的hive的metastore部署 （1）嵌入式模式 嵌入式模式下，只需保证Hiveserver2和每个Hive CLI的...
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
文章目录 一. hive高可用原理说明1. Hive MetaStore HA2. hive server HA 二. hive高可用实现1. 配置2. beeline链接测试3. zookeeper相关操作 一. hive高可用原理说明 1. Hive MetaStore HA hive metastore 配置多台，可以避免单节点故障导致整个集群的hive client不可用。 原理如下： hive...
【hive-design】hive架构详解：描述了hive架构，hive主要组件的作用、hsql在hive执行过程中的底层细节、hive各组件作用
文章目录 一. Hive Architecture二. Metastore1. Metastore Architecture2. Metastore Interface 三. Compiler四. hive架构小结 本文主要讨论了 一. Hive Architecture 架构图： 如上图表达了hive的主要组件和以及与hadoop的交互： 主要的hive组件： 看下一个查询触发的hive行为 ...
大数据之Hive:regexp_extract函数案例
目录 一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级： 二、案例数据要求分析实现输出结果实现2 总结 一、正则的通配符简介 1、正则表达式的符号及意义 备注： ‘( )’ 标记一个子表达式的开始和结束位置。 ‘[]’ 标记一个中括号表达式。 /num 匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。 2、各种操作符的运算优先级： 转义符>圆括号和方括号>限定符>...
【hive-解决】HiveAccessControlException Permission denied: CREATEFUNCTION
文章目录 一.任务描述二. 解决 一.任务描述 Error while compiling statement: FAILED: HiveAccessControlException Permission denied: Principal [name=root, type=USER] does not have following privileges for operation CREATEFUNC...
【hive基础】hive常见操作速查
文章目录 一. hive变量操作1. 查看当前hive配置信息2. 设置变量3. 修改变量4. 进入hive终端重新加载配置 二. 执行hive sql三. 启动hive 一. hive变量操作 1. 查看当前hive配置信息 # 查看当前所有配置信息hive > set ; # 查看某一项配置信息hive >set hive.metastore.uris; 不进入hive终端模糊搜索某项配置 # ...
大数据毕业设计选题推荐-机房信息大数据平台-Hadoop-Spark-Hive
效率，降低设备故障风险，从而保障企业和组织关键数据的安全与稳定。总之，开展机房信息大数据平台研究对于推动信息化进程和提升组织运营效能具有重要价值。 二、开发环境 大数据技术：Hadoop、Spark、Hive开发技术：Python、Django框架、Vue、Echarts、机器学习软件工具：Pycharm、DataGrip、Anaconda、VM虚拟机 三、系统界面展示 机房信息大数据平台-界面展示： 四...