阿里云ppas 逻辑备份(导出)、还原 - 导出到本地、从本地导入
背景 阿里云RDS PPAS是PG的企业版本，兼容PG同时兼容Oracle。 由于ppas做了很多兼容ORACLE的工作，所以元数据与PG社区版本有很大不同，那么用户在使用RDS PPAS时，如果有导出、导入的需求，请使用EDB 的pg_dump, pg_restore，请不要使用pg社区版本的pg_dump与...
Recent Posts
AWS redshift->hdb pg(Greenplum)， CONVERT_TIMEZONE 时区转换函数兼容
背景 redshift 时区转换函数 https://docs.amazonaws.cn/redshift/latest/dg/CONVERT_TIMEZONE.html CONVERT_TIMEZONE 函数 CONVERT_TIMEZONE 将时间戳从一个时区转换为另一个时区。 语法 CONVERT...
AWS redshift->hdb pg(Greenplum)， 内置函数、数据类型、字符集
背景 redshift与hdb pg 的常用函数、数据类型、字符集对应关系。 redshift 内置函数 https://docs.aws.amazon.com/redshift/latest/dg/c_SQL_functions.html 数据类型 https://docs.aws.amazon.com/...
AWS redshift->hdb pg(Greenplum)， plpython, pljava UDF 以及upload library
背景 AWS redshift UDF 支持sql, plpython编写。 阿里云hdb pg UDF支持plpgsql, sql, plpython, pljava编写。 aws redshift通过create library导入外部LIB。 阿里云hdb pg同样通过CREATE LIBRARY导入...
AWS redshift->hdb pg(Greenplum)，数据库-S3导入导出(unload, external table) - hdb pg external table
背景 REDSHIFT通过unload将数据从REDSHIFT QUERY结果将数据导出到S3，通过EXTERNAL TABLE将数据从S3导入到REDSHIFT。 redshift unload 将QUERY结果导出到s3 https://docs.aws.amazon.com/redshift/latest...
AWS redshift->hdb pg(Greenplum)，DDL语法转换规则
背景 redshift 和 Greenplum都是源自PostgreSQL的MPP数据库： https://wiki.postgresql.org/wiki/PostgreSQL_derived_databases 语法上有一些差异，从redshift切换到greenplum(或阿里云hdb pg)时，DDL...
PostgreSQL merge insert(upsert/insert into on conflict) 如何区分数据是INSERT还是UPDATE
背景 使用insert into on conflict update语法，可以支持UPSERT的功能，但是到底这条SQL是插入的还是更新的呢？如何判断 通过xmax字段的值是否不为0，可以判断，如果是UPDATE，XMAX里面会填充更新事务号。 注意直接用UPDATE语句更新的话，XMAX会写入0，因为是新...
PostgreSQL 多维空间几何对象 相交、包含 高效率检索实践 - cube
背景 多维空间对象的几何运算，高效率检索实践。 例如我们在数据库中存储了多维几何对象，可以使用lower, upper的数组来表达，例如3维度对象： CUBE [ xmin1 ymin1 zmin1 , xmax1 ymax1 zmax1 ] 在介绍CUBE类型前，...
PostgreSQL 相似人群圈选，人群扩选，向量相似 使用实践 - cube
背景 PostgreSQL 相似插件非常多，插件的功能以及用法如下： 《PostgreSQL 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,gist)》 相似人群分析在精准营销，推荐系统中的需求很多。 人的属性可以使用...
PostgreSQL 随机记录返回 - 300倍提速实践 (随机数组下标代替order by random())
背景 在业务系统中，有些场景会用到随机返回的功能，例如论坛，有很多帖子（比如有100万贴），有些是精华帖（比如有5万贴），为了让精华帖可以均衡的被访问，需要将5万贴随机的分页返回给用户。 通常的做法是这样的 select xx from tbl where xx order by random() limit...