PostgreSQLGPDB 毫秒级海量多维数据透视 案例分享
背景 典型的电商类数据透视业务，透视的语料可能会包含一些用户的标签数据：例如包含品牌的ID，销售区域的ID，品牌对应用户的ID，以及若干用户标签字段，时间字段等。 标签可能会按不同的维度进行归类，例如tag1 性别，tag2 年龄段, tag3 兴趣爱好, …。 业务方较多的需求可能是对自有品牌的用户进行透视...
Recent Posts
使用PostgreSQL逻辑订阅实现multi-master
背景 很多业务要求多活，但是多活中最难搞定的实际上是数据库，大多数业务通过分流，例如将数据根据UID切分到不同的IDC，同一个UID的数据永远只会写到一个IDC中，然后通过数据复制技术，将对应的数据复制到其他的IDC。 这种形态的多活是比较安全的，即同一条记录不会被多个IDC执行DML。如果同一条记录涉及到多个...
PostGIS 坐标转换(SRID)的边界问题引发的专业知识 - ST_Transform
背景 某个用户在使用PostgreSQL ST_Transform转换坐标时，遇到一个边界问题（暂时不清楚是不是BUG，因为对SRID还不太了解），导致距离计算不准确。 菜鸟的舍余同学给出了专业的解答： 不是用不用26986的问题，可以先了解下26986坐标系是怎么定义的哈，为什么它计算负经度（西半球）时没问...
空间复合索引加速空间搜索
背景 随着移动互联网的普及，空间数据已经成为大多数企业数据的标配，例如出行、快递、等。 通常数据的查询会带位置距离搜索，同时还会伴随其他属性的过滤，其他属性的过滤：例如时间范围，区域ID的过滤，物流公司ID的过滤。 空间索引和BTREE索引在PostgreSQL中属于两种索引(PostgreSQL支持btre...
数据入库实时转换 - trigger , rule
背景 PostgreSQL是一个功能很强大的数据库，仅仅在数据类型、索引接口的支持方面，就远超各种开源和商业数据库。 有些用户从其他数据源迁移到PostgreSQL，或者有其他数据源来的数据，大多数是字符串、数字，到了PostgreSQL可以转换为更精准的描述（数据类型），提升性能或功能。 例如 1、经纬度...
数据库平滑switchover的要素 - 会话资源漂移
背景 数据库迁移、切换是很普遍的一个话题，但是大多数的方案，对用户来说都是有感知的，所以用户的体验并不好。 例如用户使用了绑定变量语句，主备角色切换后绑定变量语句没有了，会导致调用报错。 我们需要维护主库的硬件，那么可以在中间件层面，将主备数据库的角色进行平滑调换，维护好硬件，再平滑的调换回来。 数据库主备...
自动选择正确索引访问接口(btree,hash,gin,gist,sp-gist,brin,bitmap…)的方法
背景 PostgreSQL的索引接口是开放的，支持btree,hash,bitmap,gin,gist,sp-gist,brin,rum,bloom,zoomdb等索引接口。因此，不同的数据类型，有不同的索引结构可以选择。 由于索引接口众多（应对不同的场景），一些用户可能无法判断应该选择使用哪种索引方法。 虽...
列存优化(shard,大小块,归整,块级索引,bitmap scan) - (大量数据实时读写)任意列搜索
背景 数据分析系统，决策系统的数据量通常非常庞大，属性（列）非常多，可能涉及到任意列的组合条件查询，筛选结果、聚合结果、多维分析等。 这种场景如何优化能满足实时的响应需求呢？ PostgreSQL中有一些技术，可以满足此类场景。 1. 内置bitmapAnd bitmapOr，使用任意字段的索引搜索时，可以...
优化器里的概率学 - 性能抖动原理分析
背景 数据库的优化器大量的使用了概率学的知识，例如高频词的频率，数据分布柱状图，评估某个VALUE有多少行，评估物理存储与列的线性相关性等等。 PostgreSQL 里面的统计学知识： 《用PostgreSQL了解一些统计学术语以及计算方法和表示方法 - 1》 《PostgreSQL数据库监控中的统计学 -...
从一维编排到多维编排，从平面存储到3D存储 - 数据存储优化之路
背景 中华文化源远流长，比如这句古语“远水不救近火，远亲不如近邻”，在数据库的优化中亦有体现。接下来我们来揭示这个道理。 大多数数据库的存储为块存储，一个块里面可能涉及到多条记录，当用户输入查询条件进行数据检索时，即使返回的结果集较小，也可能需要扫描多个数据块，因为你不知道你要的记录落在哪些数据块里面。 例子...