Deepgreen(Greenplum) 多机部署测试 , TPC-H VS citus
背景 多机部署deepgreen，与greenplum部署方法类似。 本文仅用于测试。 1 环境 与之前测试citus的环境一致，9台ECS虚拟机。 xxx.xxx.xxx.228 digoal-citus-gpdb-test001 xxx.xxx.xxx.224 digoal-citus-gpdb-t...
Recent Posts
PostgreSQL dblink异步调用实践,跑并行多任务 - 例如开N个并行后台任务创建索引, 开N个后台任务跑若干SQL
背景 使用DBLINK异步接口，可以非常方便的实现跑后台任务，如果要让数据库执行若干条SQL，开N个并行执行，同样可以使用DBLINK封装成API进行调用。 例如，结合我前面的一些文字，可以实现自动选择索引接口、指定并行度、指定表空间、给所有字段创建索引。 《自动选择正确索引访问接口(btree,hash,g...
PostgreSQL sharding : citus 系列3 - 窗口函数调用限制 与 破解之法(套用gpdb执行树,分步执行)
背景 窗口函数是分析场景常用的，目前(citus 7.5)仅支持两种场景使用window函数， 1、partition by 必须是分布键。 2、where条件里面带分布键的等值过滤条件。 本质上：目前（citus 7.5）window函数不支持跨shard操作，或者说过程中不进行重分布。 而Greenp...
PostgreSQL pg_resetwal pg_resetxlog 强制使用某些值（例如system id）
背景 使用pg_resetwal , pg_resetxlog 修复控制文件时，如何强制指定数据库实例systemid? pg_resetxlog, pg_resetwal 能干什么 1、可以修复XLOG异常导致的启动或恢复失败 2、可以重建pg_control文件 /*------------------...
PostgreSQL sharding : citus 系列2 - TPC-H
背景 紧接着上一篇文档，本文测试citus的tpc-h能力（包括兼容性）. 《PostgreSQL sharding : citus 系列1 - 多机部署（含OLTP(TPC-B)测试）》 《(TPC-H测试 SF=10,SF=200) PostgreSQL 11 vs 10 vs Deepgreen》 h...
PostgreSQL citus, Greenplum 分布式执行计划 DEBUG
背景 开启DEBUG，可以观察citus, Greenplum的SQL分布式执行计划，下发情况，主节点，数据节点交互情况。 执行explain前，打开DEBUG。 set client_min_messages ='debug5'; \set VERBOSITY verbose explain...
[转载] TPCH 22条SQL语句分析
背景 原文链接 https://yq.aliyun.com/articles/149715 作者, 阿福 原文 使用TPC-H进行性能测试，需要有很多工作配合才能获得较高性能，如建立索引，表数据的合理分布（使用表空间和聚簇技术）等。 本文从查询优化技术的角度，对TPC-H的22条查询语句和主流数据库执行每...
PostgreSQL 开启with-llvm(JIT)后，新增插件异常(clang: Command not found)处理
背景 PostgreSQL 11版本开始引入了对JIT的支持，在OLAP类型的SQL有比较大的性能提升。 如果你使用的是YUM安装的PG，clang可能没有加入，在后期编译其他插件时可能遇到类似的报错： 比如pg_hint_plan插件 ``` git clone https://github.com/os...
PostgreSQL sharding : citus 系列1 - 多机部署（含OLTP(TPC-B)测试）
背景 《(TPC-H测试 SF=10) PostgreSQL 11 vs 10 vs Deepgreen》 测试结果证明PG已经是一个HTAP数据库，可以同时满足OLTP，OLAP的需求。 citus是PG的一个sharding插件，可以把PG变成一个分布式数据库。目前在苏宁有大量的生产应用跑在citus+p...
Greenplum csvlog(日志数据)检索、释义(gp_toolkit.gp_log*)
背景 由于GP为分布式数据库，当查看它的一些日志时，如果到服务器上查看，会非常的繁琐，而且不好排查问题。 例如这是某个节点的日志 2018-08-23 15:34:30.004070 CST,"digoal","postgres",p12775,th-1756479360,"127.0.0.1","52802...