hive中struct相关函数总结
目录 hive官方函数解释示例实战 hive官方函数解释 hive官网函数大全地址：添加链接描述 示例 1、struct(field1, field2, …)：创建一个 Struct 对象，由多个字段组成。 SELECT struct('张三', 20, '男', '2022-09-01') AS student_info;---结果student_info{"col1":"张三","col2":...
Hive-数据模型详解（超详细）
文章目录 一、Hive数据模型1. 概述2. 数据库和表(1) 创建数据库(2) 使用数据库(3) 创建表格(4) 查看表结构 3. 分区与桶(1) 分区(2) 桶 4. 数据加载与查询(1) 数据导入(2) 查询语句 5. 总结 一、Hive数据模型 1. 概述 Hive是基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言（称为HQL）来处理大规模结构化和半结构化数据。在使用Hive之前，...
hive中array相关函数总结
目录 hive官方函数解释示例实战 hive官方函数解释 hive官网函数大全地址： hive官网函数大全地址 示例 1、array(value1, value2, …) 创建一个 Array 对象，由一组值组成。 SELECT array(85, 90, 78, 92, 86) AS scores;---结果scores[85,90,78,92,86] 2、array_contains(Arra...
Hive-DML详解（超详细）
文章目录 前言HiveQL的数据操作语言（DML）1. 插入数据1.1 直接插入固定值1.2 插入查询结果 2. 更新数据3. 删除数据3.1 删除整个分区 4. 查询数据4.1 基本查询4.2 条件筛选4.3 聚合函数 总结 前言 本文将介绍HiveQL的数据操作语言（DML），包括插入数据、更新数据、删除数据和查询数据等常见操作。我们将详细讨论每个操作的语法和示例，帮助您更好地理解和使用HiveQL...
Hive-基础介绍
文章目录 前言一、HiveQL介绍1. 概述2. 数据模型3. 数据定义语言（DDL）(1) 创建表(2) 创建分区表(3) 添加分区(4) 删除表 4. 数据操作语言（DML）(1) 插入数据(2) 查询数据(3) 更新数据(4) 删除数据 二、HiveQL函数1. 字符串函数1.1 CONCAT1.2 SUBSTRING1.3 LOWER/UPPER 2．数值函数2.1 ABS2.2 ROUND2....
hive中map相关函数总结
目录 hive官方函数解释示例实战 hive官方函数解释 hive官网函数大全地址： hive官网函数大全地址 示例 1、map(key1, value1, key2, value2, …) SELECT map('name', '张三', 'age', 20, 'gender', '男') AS student;---结果：student {"age":"20","gender":"男","nam...
hive中如何求取中位数？
as num union all select 78 as num union all select 100 as num union all select 3 as num ) 实现 方法1：使用hive自带函数 分析最中间的两个数为23和30，均值为26.5 select percentile(num, 0.5) from temp; ----26.5 方法2：正排倒排来一遍法 select avg...
Spark-Streaming+HDFS+Hive实战
文章目录 前言 一、简介 1. Spark-Streaming简介 2. HDFS简介 3. Hive简介 二、需求说明 1. 目标： 2. 数据源： 3. 数据处理流程： 4. HDFS文件保存： 5. Hive外部表映射： 三、实战示例演练 1. 编写gbifdataset.properties配置文件 2. 导入依赖 3. 编写ConfigUtils类 4. 编写FieldUtils类 5. 编写...
Hive 的三种join
Hive 的三种join Merge join reduce阶段完成join。整个过程包括Map、Shuffle和Reduce三个阶段。 Map阶段 读取源表的数据，Map输出时候以Join on条件中的列为key，如果Join有多个关联键，则以这些关联键的组合作为key; Map输出的value为join之后所关心的(select或者where中需要用到的)列；同时在value中还会包含表的Tag信息...
hive自定义函数及案例
一.自定义函数 1.Hive自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 2.当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数。 3.根据用户自定义函数类别分为以下三种： （1）UDF（User-Defined-Function） 一进一出。 （2）UDAF（User-Defined Aggregation Functi...