沉舟侧畔千帆过_

沉舟侧畔千帆过_

11. citext

11.1. 插件citext简介

citext定义了citext类型以及其相关函数。

  • 插件名为citext

  • 插件版本 V1.0

11.2. 插件citext加载方式

使用时需要create extension citext。

示例:

create extension citext;

11.3. 插件citext参数配置

无需配置任何参数

11.4. 插件citext使用方法

11.4.1. regexp_matches

regexp_matches-获得匹配的模式串集合

语法

regexp_matches(c1 citext, c2 citext ) RETURNS SETOF TEXT[]。
regexp_matches(c1 citext, c2 citext, t1 text ) RETURNS SETOF TEXT[]。

描述

regexp_matches会返回匹配的模式串集合。

参数

  • c1 待匹配的字符串

  • c2 正则表达式

  • t1 匹配的模式

返回值

返回计算完成的特定的日期类型值。

注解

regexp_matches(c1 citext, c2 citext ) 相当于 regexp_matches(c1 citext, c2 citext, t1 text ) 的t1的值为'i'。 t1的参数为'c'代表大小写敏感,'g'允许输出多行等。

示例

SELECT regexp_matches('foobarbequebaz'citext, '(BAR)(BEQUE)') = ARRAY[ 'bar', 'beque' ] AS t;
 t
---
 t
(1 row)

SELECT regexp_matches('foobarbequebaz'citext, '(BAR)(BEQUE)'citext) = ARRAY[ 'bar', 'beque' ] AS t;
 t
---
 t
(1 row)

11.4.2. citext

citext-将输入转换为citext类型并输出

语法

citext(bpchar) RETURNS citext。
citext(boolean) RETURNS citext。
citext(inet) RETURNS citext。

示例

select citext('abc'bpchar);
 citext
--------
 abc
(1 行记录)

11.4.3. citext_eq

citext_eq-对两个输入的citext类型进行比较,相等返回true,不相等返回false。。

语法

citext_eq(citext, citext) RETURNS bool。

示例

select citext_eq('as','ab');
 citext_eq
-----------
 f
(1 行记录)

11.4.4. citext_ne(citext, citext)

与citext_ne的功能相反

11.4.5. citext_hash

citext_hash-将输入的citext转换为hash值并输出。

语法

citext_hash(citext) RETURNS int4。

示例

select citext_hash('ab');
 citext_hash
-------------
  1718550461
(1 行记录)

11.4.6. 支持两个citext类型≥,≤,>,<,=,!=等操作符的操作

示例

TEST=# select 'abd'citext != 'abs'citext;
 ?column?
----------
t
(1 行记录)

TEST=# select 'abd'citext = 'abs'citext;
 ?column?
----------
f
(1 行记录)

TEST=# select 'abd'citext > 'abs'citext;
 ?column?
----------
f
(1 行记录)

TEST=# select 'abd'citext >= 'abs'citext;
 ?column?
----------
f
(1 行记录)

TEST=# select 'abd'citext >= 'abd'citext;
 ?column?
----------
t
(1 行记录)

11.5. 插件citext卸载方法

不需要citext插件只需要卸载插件即可。

示例:

drop extension citext;

11.6. 插件citext升级方法

citext扩展插件通常随KingbaseES安装包一并升级。通常情况下用户无法单独升级插件。

12. cstore_fdw

12.1. 插件cstore_fdw简介

cstore_fdw 是一款列存扩展插件。列存储在数据批量导入的分析场景能够提供更好的性能。cstore_fdw通过只读取磁盘上相关的列数据来提升性能。

同时,由于每列的数据来自同一个域,因此更利于数据压缩,cstore_fdw 提供 6~10 倍的数据压缩能力,从而减小了对磁盘存储的需求。

cstore_fdw 采用 Optimized Row Columnar (ORC) 格式作为其数据的物理存储格式。ORC 优化了 Facebook 的 RCFile 存储格式,并具有以下优点:

  • 压缩 (Compression) - 大约减少了 2~4 倍的内存和磁盘存储空间。易于扩展以支持不同的编码。

  • 列投影 (Column Projections) - 仅仅读取与该查询有关的数据列,提高了 I/O 效率。

  • 跳跃索引 (Skip Indexes) - 为每个行组 (Row Groups) 存储其最大值和最小值,并利用他们来跳过不相关的数据行。

KingbaseES中通过cstore_fdw插件来实现列式存储及压缩。

  • 插件名为 cstore_fdw

  • 插件版本 V1.7

12.2. 插件cstore_fdw加载方式

启动KingbaseES数据库后执行SQL命令创建插件。

示例:

CREATE EXTENSION cstore_fdw;

12.3. 插件cstore_fdw的参数配置

无需配置任何参数

12.4. 插件cstore_fdw的使用方法

以下四个选项可以在创建 cstore 外部表的时候指定:

  • filename (可选)

该参数存放列存表数据的绝对路径,如果没有指定该选项,那么 cstore_fdw 则采用默认的 $PGHOME/cstore_fdw 来存储列存表数据。如果为该参数指定了值,则使用该值作为前缀来存储列存表数据信息。例如,当指定的 filename 值为 /cstore_fdw/my_table,那么 cstore_fdw 将使用 /cstore_fdw/my_table 来存储列存表用户数据,同时,使用 /cstore_fdw/my_table.footer 来存储列存表的元数据信息。

  • compression (可选)

该参数用于指定用户数据的压缩算法,支持 none,pglz,zstd(Zstandard压缩,可通过cstore_fdw.zstd_compression_level设置压缩级别,级别范围0~9,默认级别1)和dict(字典压缩)四个值,默认值为 none。

  • stripe_row_count (可选)

该参数指定每个 stripe 中行记录数,默认值为 150000。该值越小,加载数据或者查询时使用的内存也就越小,相反,其性能也就越低。

  • block_row_count (可选) - 该参数指定每个列数据块 (column block) 中的行记录数,默认为 10000。cstore_fdw 压缩数据、创建跳跃索引以及磁盘读取时都是以块 (block) 为最小单元。该值越大,则利用数据压缩,并可以减少磁盘读取的次数量,然而,这将影响到跳过不相关的数据块的概率。

cstore_fdw 提供了两种方式用于向其导入数据:

  • 使用 COPY 命令将文件、程序或者标准输入中导入数据;

  • 使用 INSERT INTO cstore_table SELECT ... 语法从其他表导入数据。

我们可以使用 ANALYZE 命令收集列存表的统计信息,从而帮助优化器选择最优的查询计划。

注意

  1. cstore_fdw 目前并不支持使用 UPDATE 或 DELETE 命令来对表进行更新。同样,他也不支持单条记录的插入,这是由于每次导入数据都会形成至少一个数据块,若是支持单条记录插入,那么每个 INSERT 命令插入一条记录,将导致数据块过多从而影响性能,为此,cstore_fdw 不支持单条记录的插入。

  2. cstore_fdw 目前不支持创建字段约束。如果在创建cstore外部表时定义了约束,该创建语句不会报错,但约束条件无效。

12.4.1. 示例

-- 安装cstore_fdw
CREATE EXTENSION cstore_fdw;
CREATE SERVER cstore_server FOREIGN DATA WRAPPER cstore_fdw;

-- 加载参数
LOAD 'cstore_fdw';

-- 查看当前zstd压缩级别参数值
show cstore_fdw.zstd_compression_level;
cstore_fdw.zstd_compression_level
-----------------------------------
1
(1 row)

-- 设置zstd压缩级别
SET cstore_fdw.zstd_compression_level = 3;
show cstore_fdw.zstd_compression_level;
cstore_fdw.zstd_compression_level
-----------------------------------
3
(1 row)

-- 创建无压缩列式存储外部表并指定存储文件
CREATE FOREIGN TABLE contestant (handle TEXT, birthdate DATE, rating INT,
      percentile FLOAT, country CHAR(3), achievements TEXT[])
      SERVER cstore_server
      OPTIONS(filename '/home/test/data/contestant.cstore');

-- 创建基于pglz压缩的列式存储外部表
CREATE FOREIGN TABLE contestant_compressed (handle TEXT, birthdate DATE, rating INT,
      percentile FLOAT, country CHAR(3), achievements TEXT[])
      SERVER cstore_server
      OPTIONS(compression 'pglz');

-- 创建基于zstd压缩算法的列式存储外部表
CREATE FOREIGN TABLE contestant_zstd (handle TEXT, birthdate DATE, rating INT,
      percentile FLOAT, country CHAR(3), achievements TEXT[])
      SERVER cstore_server
      OPTIONS(compression 'zstd');

-- 创建字典压缩算法的列式存储外部表
CREATE FOREIGN TABLE contestant_dict (handle TEXT, birthdate DATE, rating INT,
      percentile FLOAT, country CHAR(3), achievements TEXT[])
      SERVER cstore_server
      OPTIONS(compression 'dict');

-- 导入数据
-- 从文件导入
COPY contestant FROM '/home/test/input/data/contestants.1.csv' WITH CSV;
-- 从程序导入
COPY contestant FROM PROGRAM 'cat /home/test/input/data/contestants.2.csv' WITH CSV;
--从标准输入导入
copy contestant (handle, birthdate, rating, percentile, country, achievements)
from STDIN WITH CSV;
c,1988-11-01,2907,99.4,XB ,"{w,y}"
d,1985-05-05,2314,98.3,XB ,{}
e,1995-05-05,2236,98.2,XC ,{a}
\.

-- 解析
ANALYZE contestant;

--卸载
--卸载cstore_fdw之前,需要删除所有的cstore列存表、server和扩展
DROP FOREIGN TABLE contestant;
DROP FOREIGN TABLE contestant_compressed;
DROP SERVER cstore_server;
DROP EXTENSION cstore_fdw;

注意

cstore_fdw 会自动的创建目录来存储列存相关的数据,我们可以执行下面的命令来删除:

$ rm -rf $KESDATA/cstore_fdw

上面给出的是 cstore_fdw 的默认路径,若在建表的时候指定了 filename,其位置可能不同。 另外还需要移除kingbase.conf文件中shared_preload_libraries 中的 cstore_fdw。

12.4.2. 升级

cstore表在使用sys_upgrade工具升级默认行为如下:

  • 传输模式为拷贝(copy)

用户指定filename:在指定文件目录下,拷贝一份与成原文件相同的文件,文件名为加_upg。新库继续使用原文件。

用户不指定filename:使用默认位置将旧库的数据目录下的cstroe_fdw目录下的数据文件拷贝到新库数据目录下cstore_fdw目录下,新库使用新文件。

  • 传输模式为克隆(clone)

用户指定filename:在指定文件目录下,克隆一份与成原文件相同的文件,文件名为加_upg。新库继续使用原文件。

用户不指定filename,使用默认位置将旧库的数据目录下的cstroe_fdw目录下的数据文件克隆到新库数据目录下cstore_fdw目录下,新库使用新文件。

  • 传输模式为连接(link)

用户指定filename:在指定文件目录下,连接一份与成原文件相同的文件,文件名为加_upg。新库继续使用原文件。这里要注意,由于是连接,upg文件也将随原文件一起变更。

用户不指定filename:使用默认位置将旧库的数据目录下的cstroe_fdw目录下的数据文件连接到新库数据目录下cstore_fdw目录下,新库使用新文件,这里要注意,由于是连接,新旧文件相互影响。

12.5. 插件cstore_fdw卸载方法

在数据库中执行SQL命令卸载插件。

DROP EXTENSION cstore_fdw;

12.6. 插件cstore_fdw升级方法

cstore_fdw扩展插件通常随着KingbaseES安装包一并升级。通常情况下用户无须单独升级插件。

13. cube

13.1. 插件cube简介

这个模块实现了一种数据类型cube来表示多维立方体。

  • 插件名为 cube

  • 插件版本 V1.4

13.2. 插件cube加载方式

create extension cube;

13.3. 插件cube的参数配置

无需配置任何参数

13.4. 插件cube的使用方法

13.4.1. 外部表示

在 表 13.4.2 展示了cube类型有效的外部表示。x、y等表示浮点数。

一个立方体的对角录入的顺序无关紧要。如果需要创建一种统一的“左下 — 右上”的内部表示,cube函数会自动地交换值。当角重合时,cube只存储一个角和一个“is point”标志,这样避免浪费空间。

输入中的空白空间会被忽略,因此[(x),(y)]与[ ( x ), ( y ) ]相同。

13.4.2. 精度

值在内部被存储为 64 位浮点数。这意味着超过 16 位有效位的数字将被截断。

13.4.3. 操作符

在 表 13.4.3 展示了为类型cube提供的操作符。

标量排序操作符(<、>=等)除了用来排序之外没有什么实际用途。这些操作符首先比较第一个坐标,如果它们相等再比较第二个坐标等等。它们主要为支持cube的 b-树索引操作符类而存在,这类操作符对支持cube列上的 UNIQUE 约束等很有用。

cube模块也为cube值提供了一个 GiST 索引操作符类。cube GiST 索引可以被用于在WHERE子句中通过=、&&、@>以及<@操作符来搜索值。

此外,cube GiST 索引可以被用在ORDER BY子句中通过度量操作符<->、<#>和<=>来查找最近邻。例如, 3-D 点(0.5, 0.5, 0.5)的最近邻可以用下面的查询很快地找到:

create table test (c cube);

insert into test values(cube(array[2,2,2])),(cube(array[3,3,3]));

SELECT c FROM test ORDER BY c <-> cube(array[0.5,0.5,0.5]) LIMIT 1;
    c
-----------
(2, 2, 2)
(1 row)

也可以用这种方式使用~>操作符来高效地检索通过选定坐标排序后的前几个值。例如,可以用下面的查询得到通过第一个坐标(左下角)升序排列后的前几个立方体:

SELECT c FROM test ORDER BY c ~> 1 LIMIT 5;
    c
-----------
(2, 2, 2)
(3, 3, 3)
(2 rows)

以及得到通过右上角第一个坐标降序排列后的二维立方体:

SELECT c FROM test ORDER BY c ~> 3 DESC LIMIT 5;
    c
-----------
(3, 3, 3)
(2, 2, 2)
(2 rows)

13.4.4. 函数

表 13.4.4 显示了可用的函数:

13.4.5. 默认值

以下为并操作:

select cube_union('(0,5,2),(2,3,1)', '0');
cube_union
-------------------
(0, 0, 0),(2, 5, 2)
(1 row)

以下为交操作:

select cube_inter('(0,-1),(1,1)', '(-2),(2)');
cube_inter
-------------
(0, 0),(1, 0)
(1 row)

在所有不同维度立方体的二元操作中,我假定低纬度的那一个要做笛卡尔投影,即为字符串表示中被省略的坐标取零。上面的例子等同于:

cube_union('(0,5,2),(2,3,1)','(0,0,0),(0,0,0)');
cube_inter('(0,-1),(1,1)','(-2,0),(2,0)');

下列包含谓词使用点语法,不过实际上第二个参数在内部被表示为一个盒体。这种语法让我们不必定义一种单独的点类型以及用于(盒体, 点)谓词的函数。

select cube_contains('(0,0),(1,1)', '0.5,0.5');
cube_contains
--------------
t
(1 row)

注意

用法的例子可见回归测试sql/cube.sql。为了不容易出问题,对于立方体的维度数有 100 的限制。如果你想要更大的立方体,可以在cubedata.h中修改。

13.5. 插件cube的卸载方法

drop extension cube;

13.6. 插件cube升级方法

cube扩展插件通常随着KingbaseES安装包一并升级。通常情况下用户无须单独升级些插件。

08-25 11:48