CDH 之 hive 数据迁移
当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下 批量导出云数据： # database 即是数据库名称hive -e "use <database>; show tables;" | xargs -I '{}' sh -c 'hive -e "use <database>; show c...
Hive窗口函数详细介绍
文章目录 Hive窗口函数概述样本数据表结构表数据 窗口函数窗口聚合函数count()SQL演示 sum()SQL演示 avg()SQL演示 min()SQL演示 max()SQL演示 窗口分析函数first_value() 取开窗第一个值应用场景SQL演示 last_value()取开窗最后一个值应用场景SQL演示 lag(col, n, default_val):往前第n行数据应用场景SQL演示 l...
【002hive基础】hive的库、表与hdfs的组织逻辑
文章目录 一. 数据的组织形式1. hive数据库2. hive表2.1. 内部表和外部表2.2. 分区表与分桶表 3. 视图 二. 底层储存 一. 数据的组织形式 1. hive数据库 hive将不同功能模块的数据，存储在不同的数据库中，在hdfs中以文件夹的形式显示。 2. hive表 2.1. 内部表和外部表 内部表: 创建内部表： CREATE TABLE IF NOT EXISTS stu...
【004hive基础】hive的文件存储格式与压缩
文章目录 一.hive的行式存储与列式存储二. 存储格式1. TEXTFILE2. ORC格式3. PARQUET格式 ing 三. Hive压缩格式1. mr支持的压缩格式:2. hive配置压缩的方式:2.1. 开启map端的压缩方式:2.2.开启reduce端的压缩方式: 四. hive中存储格式和压缩相结合五. hive主流存储格式性能对比1. 压缩比比较2. 存储文件的查询效率测试 一.hiv...
Hive（9）：Hive分区表
1 分区表的引入、产生背景 现有6份数据文件，分别记录了《王者荣耀》中6种位置的英雄相关信息。现要求通过建立一张表t_all_hero，把6份文件同时映射加载。 建表并且加载数据文件到HDFS指定路径下 create table t_all_hero( id int, name string, hp_max int, mp_max int, attack_max int, defense_max int,...
shell脚本监控文件夹文件实现自动上传数据到hive表
文件说明 脚本代码 1、输入字段，建hive表脚本 createtb.sh #!/bin/bash echo “---------createtb.sh--------------” #string=“tablename;field1,field2,field3,field4,field5,field6,field7;partition1,partition2” string=$* group=(${s...
CentOS虚拟机搭建Hive环境
://www.bilibili.com/video/BV1CU4y1N7Sh 的实践。 关于如何搭建Hadoop集群，请参考我另一篇文档。 环境 CentOS 7.7JDK 8Hadoop 3.3.0Hive 3.1.2 准备 确认Hadoop的 etc/hadoop/core-site.xml 文件包含如下配置： <!-- 整合hive 用户代理设置 --><property> <name>hadoo...
【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建
目录 一、部署规划 二、部署版本 三、MySQL安装 四、单机Hive安装 1、下载解压 2、配置环境变量 3、修改配置hive-env.sh.template 4、配置Metastore 5、修改配置文件hive-site.xml 6、mysql创建root用户密码 7、运行Hive--初始化数据库 五、测试 1、上传数据到hdfs 2、hive操作 建表 3、导入数据 5、hive命令行下查询操作 ...
hive 小文件过多怎么解决
hive 中的小文件确定是向 hive 表中导入数据时产生。小文件过多产生的影响 首先对底层存储HDFS来讲，HDFS自己就不适合存储大量小文件，小文件过多会致使namenode元数据特别大, 占用太多内存，严重影响HDFS的性能。 对 hive 来讲，在进行查询时，每一个小文件都会当成一个块，启动一个Map任务来完成，而一个Map任务启动和初始化的时间远远大于逻辑处理的时间，就会形成很大的资源浪费。并且...
在Hive中获取空值创建&用REGEX加载查询
本文介绍了在Hive中获取空值创建&用REGEX加载查询的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我有一个Log文件，我需要用REGEX存储数据。我试着下面的查询，但加载所有NULL值。我已经使用 http://www.regexr.com/ 检查了REGEX，其数据工作正常。 CREATE EXTERNAL TABLE IF NOT EXI...