Hive常见时间日期函数的使用与问题整理
这里整理一下Hive常见的时间函数和日期函数和用法，作为平时数据处理过程的一个检索和记录。平时在数据处理过程中，如果不经常使用时间函数，一时间遇到一些时间上的处理，难免会想不起来。hive本身提供的时间函数已经很丰富了，基本上能满足我们所有的需求，一些特殊需求也可以通过增加一些数学逻辑实现出来。接下来看一下类别的日期和时间函数的使用方式。1.时间戳和日期相互转换函数具体执行结果在后面备注标注出来...
Hive执行计划之什么是hiveSQL向量化模式及优化详解
Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。问题1：那么什么是hive向量化模式呢？问题2：hive向量化什么情况下可以被使用，或者说它有哪些使用场景呢？问题3：如何查看hive向量化使用的相关信息？1.什么是hive向量化模式hive向量化模式是hive的一个特性，也叫hive矢量化，在没有引入向量化的执行模式之前，一般的查询操作一次...
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
一、准备工作 1.1 前言 这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？显然不是的，但是其他博文都未提及出现过的问题以及如何处理和排查，特别是当升级完之后 hive metasto...
CDH 之 hive 数据迁移
当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下 批量导出云数据： # database 即是数据库名称hive -e "use <database>; show tables;" | xargs -I '{}' sh -c 'hive -e "use <database>; show c...
Hive窗口函数详细介绍
文章目录 Hive窗口函数概述样本数据表结构表数据 窗口函数窗口聚合函数count()SQL演示 sum()SQL演示 avg()SQL演示 min()SQL演示 max()SQL演示 窗口分析函数first_value() 取开窗第一个值应用场景SQL演示 last_value()取开窗最后一个值应用场景SQL演示 lag(col, n, default_val):往前第n行数据应用场景SQL演示 l...
【002hive基础】hive的库、表与hdfs的组织逻辑
文章目录 一. 数据的组织形式1. hive数据库2. hive表2.1. 内部表和外部表2.2. 分区表与分桶表 3. 视图 二. 底层储存 一. 数据的组织形式 1. hive数据库 hive将不同功能模块的数据，存储在不同的数据库中，在hdfs中以文件夹的形式显示。 2. hive表 2.1. 内部表和外部表 内部表: 创建内部表： CREATE TABLE IF NOT EXISTS stu...
【004hive基础】hive的文件存储格式与压缩
文章目录 一.hive的行式存储与列式存储二. 存储格式1. TEXTFILE2. ORC格式3. PARQUET格式 ing 三. Hive压缩格式1. mr支持的压缩格式:2. hive配置压缩的方式:2.1. 开启map端的压缩方式:2.2.开启reduce端的压缩方式: 四. hive中存储格式和压缩相结合五. hive主流存储格式性能对比1. 压缩比比较2. 存储文件的查询效率测试 一.hiv...
Hive（9）：Hive分区表
1 分区表的引入、产生背景 现有6份数据文件，分别记录了《王者荣耀》中6种位置的英雄相关信息。现要求通过建立一张表t_all_hero，把6份文件同时映射加载。 建表并且加载数据文件到HDFS指定路径下 create table t_all_hero( id int, name string, hp_max int, mp_max int, attack_max int, defense_max int,...
shell脚本监控文件夹文件实现自动上传数据到hive表
文件说明 脚本代码 1、输入字段，建hive表脚本 createtb.sh #!/bin/bash echo “---------createtb.sh--------------” #string=“tablename;field1,field2,field3,field4,field5,field6,field7;partition1,partition2” string=$* group=(${s...
CentOS虚拟机搭建Hive环境
://www.bilibili.com/video/BV1CU4y1N7Sh 的实践。 关于如何搭建Hadoop集群，请参考我另一篇文档。 环境 CentOS 7.7JDK 8Hadoop 3.3.0Hive 3.1.2 准备 确认Hadoop的 etc/hadoop/core-site.xml 文件包含如下配置： <!-- 整合hive 用户代理设置 --><property> <name>hadoo...