PostgreSQL cheat functions - (内存上下文planner内容等常用函数)
背景 https://github.com/MasaoFujii/pg_cheat_funcs Fujii Masao MasaoFujii PostgreSQL committer, DBA at NTT DATA, maybe good husband & father. 这个插件汇...
Recent Posts
PostgreSQL 任意字段数组合 ANDOR 条件，指定返回结果条数，构造测试数据算法举例
背景 在进行一些实际的POC测试时，需要根据业务提出的需求构造数据，比如按照任意字段数组合 AND\OR 条件，指定返回结果条数，构造测试数据。 需求 表记录数A 表字段数B 1、N个字段等值OR，命中M条记录 （两个条件无法同时满足） 2、X个字段等值AND，命中Y条记录 字段取值空间如何计算？ ...
PostgreSQL sharding : citus 系列5 - worker节点网络优化
背景 citus 节点间的网络需求： 1、cn节点访问所有worker节点。oltp业务的访问较频繁。 2、重分布数据时，worker节点间相互访问。访问频度不大，OLAP业务常见，一旦有可能数据交换吞吐较大。 citus的cn节点连worker节点为有两种模式， 一种为事务级保持连接模式（每条SQL发起...
PostgreSQL sharding : citus 系列4 - DDL 操作规范 (新增DB，TABLE，SCHEMA，UDF，OP，用户等)
背景 citus是PG的一个插件，插件主要针对普通SQL（非UTILITY）加HOOK进行了一些ROUTE处理，同时使用UDF对表进行新建分区的操作。 如果用户如果要执行DDL，那么CITUS无法接管，应该如何操作呢？ 分两种情况，一种需要在所有节点（CN以及WORKER）执行，还有一些只需要在CN节点执行。...
PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试与优化 3 - citus 8机128shard (4亿图像)
背景 续 《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 1 - 单机单表 (4亿图像)》 《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 2 - 单机分区表 (dblink 异步调用并行) (4亿图像)》 《PostgreSQL sharding : c...
PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试与优化 2 - 单机分区表 (dblink 异步调用并行) (4亿图像)
背景 续 《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 1 - 单机单表 (4亿图像)》 使用分区表+dblink异步接口并行调用。（内核层面直接支持imgsmlr gist index scan并行更好） 分区表 + dblink 异步调用 并行 1、创建分区表 create...
PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试与优化 1 - 单机单表 (4亿图像)
背景 imgsmlr是PostgreSQL的一款支持以图搜图的插件， https://github.com/postgrespro/imgsmlr 这个插件新增了： 1、几种图像特征值数据类型， 2、图像特征值相似算子， 3、图像特征值相似排序索引支持， 4、图像相似排序的索引（通过扩展GiST索引接...
PostgreSQL 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,gist)
背景 在搜索业务场景中，相似搜索是一个非常常见的需求。 PostgreSQL有很多插件、索引可以支持海量数据的高效率搜索。 以下是一些案例： 《Greenplum 轨迹相似(伴随分析)》 《PostgreSQL 相似文本检索与去重 - (银屑病怎么治？银屑病怎么治疗？银屑病怎么治疗好？银屑病怎么能治疗好？...
Greenplum 优化CASE - 对齐JOIN字段类型，使用数组代替字符串，降低字符串处理开销，列存降低扫描开销
背景 Greenplum通常被用作OLAP，在一些用户使用过程中，可能因为数据结构设计，SQL问题等原因导致性能不佳，虽然通过增加节点可以解决问题，但是如果能优化的话，可以节约不少硬件资源。 例如 1、对齐JOIN字段类型。如果等值JOIN的字段类型不一致，无法使用HASH JOIN。 2、对齐where条...
PostgreSQL 快速给指定表每个字段创建索引 - 2 (近乎完美)
背景 PostgreSQL 支持丰富的类型、索引，统计信息。 不同的应用场合，数据类型，可使用不同的索引接口（btree,hash,gin,gist,spgist,brin,bloom等）达到不同的效果。 https://www.postgresql.org/docs/11/static/datatype.h...