Hive学习之Hive数据库DDL
Hive提供了与SQL相的数据定义语言(DDL)，对于熟悉SQL的人来说，学习Hive的DDL是非常容易得，即使从未接触过SQL的人，学习也不是一件很难的事情。虽然本人对SQL有一定的了解，但绝不敢自称熟悉SQL，所以准备对HiveQL进行深入的学习，按照SQL通常的学习曲线， Hive提供了与SQL相似的数据定义语言(DDL)，对于熟悉SQL的人来说，学习Hive的DDL是非常容易得，即使从未接触过S...
流数据湖平台Apache Paimon（四）集成 Hive 引擎
文章目录 第3章 集成 Hive 引擎3.1 环境准备3.2 访问已有的Paimon表3.3 创建Paimon表3.4 通过外部表访问Paimon表 第3章 集成 Hive 引擎 前面与Flink集成时，通过使用 paimon Hive Catalog，可以从 Flink 创建、删除、查询和插入到 paimon 表中。这些操作直接影响相应的Hive元存储。以这种方式创建的表也可以直接从 Hive 访问。...
大数据开发面试必问：Hive调优技巧系列二
接上次分享的Hive调优技巧系列一： 数据倾斜、HiveJob优化 第1章 数据倾斜（重点） 绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象。 一定要和数据过量导致的现象区分开，数据过量的表现为所有任务都执行的很慢，这个时候只有提高执行资源才可以优化HQL的执行效率。 综合来看，导致数据倾斜的原因在于按照Key分组以后，少量的任务负责绝大部分数据的计...
Hive（27）： join连接查询
下，有时需要基于多张表查询才能得到最终完整的结果，SQL中join语法的出现是用于根据两个或多个表中的列之间的关系，从这些表中共同组合查询数据，因此有时为了得到完整的结果，我们就需要执行 join。 Hive作为面向分析的数据仓库软件，为了更好的支持数据分析的功能丰富，也实现了join的语法，整体上来看和RDBMS中的join语法类似，只不过在某些点有自己的特色。需要特别注意。 2 Hive join语法...
2023 Hive 面试宝典
先说一些废话 总结一下Hive面试宝典，方便读者快速过一遍Hive面试所需要的知识点 Hive的介绍 Hive和Hadoop的关系 Hive利用hdfs存储数据，利用MapReduce查询数据Hive的数据存储在hdfs上，简单的说Hive就是hdfs的简单一种映射，比如：Hive的一张表映射hdfs上的一个文件，Hive的一个数据库就映射为hdfs上的文件夹Hive是一个计算框架，他是MapReduc...
Hive（26）：Select高级查询之Common Table Expressions（CTE）
用表表达式（CTE）是一个临时结果集，该结果集是从WITH子句中指定的简单查询派生而来的，该查询紧接在SELECT或INSERT关键字之前。 CTE仅在单个语句的执行范围内定义。一个或多个CTE可以在Hive SELECT，INSERT， CREATE TABLE AS SELECT或CREATE VIEW AS SELECT语句中使用。 2 CTE案例 --选择语句中的CTEwith q1 as (...
Hive（19）：DML之Insert插入数据
的核心方式。 INSERT INTO table_name ( field1, field2,...fieldN )VALUES( value1, value2,...valueN ); 假如说对Hive的定位不清，把Hive当成RDBMS来使用，也使用insert+values的方式插入数据，会如何呢？ --hive中insert+valuescreate table t_test_insert(...
Hive（20）：Transaction事务
1 Hive事务背景知识 Hive本身从设计之初时，就是不支持事务的，因为Hive的核心目标是将已经存在的结构化数据文件映射成为表，然后提供基于表的SQL分析处理，是一款面向分析的工具。 并且Hive映射的数据通常存储于HDFS上，而HDFS是不支持随机修改文件数据的。 这个定位就意味着在早期的Hive的SQL语法中是没有update，delete操作的，也就没有所谓的事务支持了，因为都是select查询...
Hive（16）：Partition（分区）DDL操作
1 Add partition 分区值仅在为字符串时才应加引号。位置必须是数据文件所在的目录。 ADD PARTITION会更改表元数据，但不会加载数据。如果分区位置中不存在数据，查询将不会返回任何结果。 --1、增加分区ALTER TABLE table_name ADD PARTITION (dt='20170101') location '/user/hadoop/warehouse/table_...
CDH 之 Hive 中文乱码平定通用法则
一、乱象 1.1 中文注释乱码 hive> DESCRIBE test;OK# col_name data_type commentid string ??ID ?? pcs string ????? mzmc string ???? gzdb_addtime string ??????? swdd string ???? swyydm string ?????? dz string ???? xm...