PostgreSQL 向量化执行插件(瓦片式实现-vops) 10x提速OLAP
背景 在主流的OLTP数据库产品中,毫无疑问,PostgreSQL已经具备非常强大的竞争力(性能、功能、稳定性、成熟度、案例、跨行业应用等)。 《数据库选型之 - 大象十八摸 - 致 架构师、开发者》 《数据库选型思考》 《数据库界的华山论剑 tpc.org》 《PostgreSQL 前世今生》 在OL...
背景 在主流的OLTP数据库产品中,毫无疑问,PostgreSQL已经具备非常强大的竞争力(性能、功能、稳定性、成熟度、案例、跨行业应用等)。 《数据库选型之 - 大象十八摸 - 致 架构师、开发者》 《数据库选型思考》 《数据库界的华山论剑 tpc.org》 《PostgreSQL 前世今生》 在OL...
背景 在现实生活中,人们的各种社会活动,会产生很多的行为数据,比如购物、刷卡、打电话、开房、吃饭、玩游戏、逛网站、聊天 等等。 如果可以把它当成一个虚拟现实(AR)的游戏,我们所有的行为都被记录下来了。 又比如,某些应用软件,在征得你的同意的情况下,可能会记录你的手机行为、你的运动轨迹等等,这些数据可能会不...
背景 PostgreSQL是一个和Oracle高度兼容的数据库产品,附上开发相关的文档和迁移工具集合如下。
背景 PostgreSQL的FDW支持在PostgreSQL中使用外部表的方式直接访问其他数据源的数据,就如同访问本地表一样。 FDW接口是开放的,所以任何人都可以开发对应外部数据源的接口,比如oracle_fdw就是用来访问Oracle数据库的。 FDW开发接口中,代码中会包括数据的转换,函数的转换,等 ...
背景 PostgreSQL 的REDO文件被称为WAL文件或XLOG文件,在$PGDATA/pg_xlog目录中。 比如 -rw------- 1 digoal users 16M Feb 15 21:09 000000010000002C000000A2 -rw------- 1 digoal use...
背景 在天文或GIS领域,找出某个位置附近的对象,或者找到两张表的位置互相关的数据,是非常普遍的需求。 在PostgreSQL中有很多方法可以实现以上需求。 比如 http://skyview.gsfc.nasa.gov/xaminblog/index.php/tag/pgsphere/ Haver...
背景 原文 https://blog.tankywoo.com/2015/01/29/sysctl-load-order.html 正文 系统Gentoo, 最近遇到一个比较离奇的问题. 网关机器的sysctl运行时配置中,net.ipv4.ip_forward被改为0, 原来是1; net.ipv4.co...
背景 数据库是一种非常庞大的应用系统,就拿PostgreSQL来说,每个实体对象(物化视图、表、序列、索引、TOAST表、TOAST索引)都需要至少1个数据文件,还需要fsm, vm等辅助文件。 当数据库中有很多实体对象时,文件数会非常庞大,而对于Linux操作系统来说,单个进程的打开文件数是有限制的。Post...
背景 PostgreSQL近几年的发展有目共睹,从GIS到物联网、流式计算、多维分析、高并发在线事务处理、服务端编程、任意数据类型的抽象处理、扩展索引方法、GPU运算能力的利用等各个方面体现了PostgreSQL的强大功能和性能。从dbranking的分值也可以得到证明,毫无疑问是2016年度发展最快的数据库。 ...
背景 在很多场景中会涉及到数据的合并,比如 1. 某业务系统的总用户有1亿,每天的活跃用户有100万,新增用户10万,每天需要将新增、活跃用户的数据(比如他们的余额变化、等等)合并到数据仓库的用户信息表。 2. 物化视图,某个表被用户不断的增、删、改。需要将这个表(基表)的某些字段或者某部分数据提取到一个物化...