Recent Posts

PostgreSQL GUC 参数级别介绍

17 minute read

背景 在添加GUC参数时,需要注意你添加的参数属于什么类别的参数。 例如如果你想让普通用户能随时修改它,那么你需要将参数级别设置为PGC_USERSET。如果你想让超级用户能在线修改它,那么你需要将它设置为PGC_SUSET。如果你想让它能够在修改配置参数并通过信号生效,那么需要设置为PGC_SIGHUP。 ...

PostgreSQL 规格评估 - 微观、宏观、精准 多视角估算数据库性能(选型、做预算不求人)

14 minute read

背景 在提预算时必不可少的环境是评估需要多少硬件。 通常会要求业务方提供一些数据,例如用户数、PV、UV等。但是这种评估纯靠经验,方法非常的粗糙也不准确。 那么到底如何评估需要多少硬件、或者说需要什么样规格的硬件来支撑你未来的业务呢? 对于PostgreSQL这个数据库产品来说,我介绍一下三种评估方法: ...

空间 时间 对象 圈人 + 透视 - 暨PostgreSQL 10与Greenplum的对比和选择

18 minute read

背景 通常一个人的常驻地可能会包括:家、儿女家、双方父母家、情人、异性伴侣家、公司、商圈若干等。 通过对这些数据的运营,可以实现很多业务需求。例如: 1、寻人 《海量用户实时定位和圈人 - 团圆社会公益系统(位置寻人\圈人)》 2、线下广告投放人群圈选,选址,商圈人群画像。 《数据寻龙点穴(空间聚集分析...

画像圈人 + 人群行为透视

3 minute read

背景 本文讲的是这样的场景:画像圈人和人群行为透视的结合。 数据量 标签数 5W+ 用户数 10W+ 用户行为数据 10亿+ 业务目标:根据标签圈出用户群体,对这些用户的行为进行透视分析。 第一步,圈人 第一步是圈出用户群体,如果这一步的数据量非常庞大,则可以参考如下...

如何用一个回形针换一栋别墅 - openBarter (古人的物物交换市场) 类撮合交易系统

1 minute read

背景 很久以前有一则这样的新闻:一个男孩用一个回形针,换回了一套别墅,他是怎么做到的呢? 先不管他是怎么做到的,这让我联想到了古人物物交换的场景,没错古人还没有发明货币之前,都是通过物物交换的方式来得到其他人的东西的。(但是这样效率实在太低了)。另外,现在的证券交易也与之类似,只是更加的简化了的交换系统。 ...

海量用户实时定位和圈人 - 团圆社会公益系统(位置寻人圈人)

3 minute read

背景 老人、儿童是最容易走丢的人群,一定要看好老人和小孩,但是万一走丢了怎么办呢? 阿里有一个公益系统,团圆,这个系统是用来帮助发布走丢人群信息的,公安通过发布的走丢人的照片,最后一次的位置信息,向社会发布。 通过公益平台的合作伙伴(例如运营商、购物软件等)可以向最后一次走丢人士出现的位置附近的人推送寻人启事...

PostGIS 点面叠加视觉判断输出

1 minute read

背景 在新零售、快递等行业,有大量的点数据(例如包裹位置、快递员位置、仓库位置等),同时有大量的面数据(如小区,商圈,写字楼等)。 如何判断实时的正在配送的包裹落在哪个面呢?并且将之联系起来。 这个从视觉角度来思考,非常简单。 例如有一个地图,将其划分为若干个面(例如前面提到的小区)。 然后有一些小点...

Greenplum vacuum ao表和heap表的区别

less than 1 minute read

背景 在Greenplum中删除、更新数据记录时,会产生新的tuple版本,老的版本通过行头部标记:为已删除以及被哪个事务删除的。 因此频繁的更新后,或者批量的删除数据后,需要回收那些旧的版本。 通过vacuum、vacuum full、alter table redistribute命令,可以回收垃圾。 ...

透过postgrespro看PostgreSQL的附加功能

4 minute read

背景 Postgrespro是俄罗斯的一家数据库公司,创始人OLEG是PostgreSQL社区的核心成员之一,一名在俄罗斯莫斯科国立大学,斯特恩伯格天文研究所做科学研究的天文学家。同时也担任Postgres Professional公司的首席执行官。也是一位登顶过珠峰的人。 这里是他的专访 https:/...

PostgreSQL、Greenplum 日常监控 和 维护任务 - 最佳实践

21 minute read

背景 Greenplum的日常监控点、评判标准,日常维护任务。 展示图层 由于一台主机可能跑多个实例,建议分层展示。 另外,即使是ON ECS虚拟机(一个虚拟机一个实例一对一的形态)的产品形态,实际上也建议分层展示,以示通用性。 主机级图层 1、全局 2、以集群分组 展示图形 1、饼图(正常、警告、严...