AI(OtterTune)引波澜 - AI会洗牌数据库行业吗? DBA如何转变思想
背景 最近AI的新闻特别多，席卷了围棋圈之后，成为了技术圈和媒体热捧的话题。 今天又一个产品借AI上头条了 - OtterTune ，一个数据库参数调优的产品，借助机器学习的技术，生成最优的数据库参数。 下面是这个产品的论文 《Automatic Database Management System Tun...
Recent Posts
JSONB 压缩版本 ZSON
背景 json, jsonb是PostgreSQL里面的一种schemaless数据类型，zson是兼容json,jsonb的一种压缩类型，通过训练的方式生成字典，通过字典进行压缩。 通常获得的压缩比比较客观，压缩后可以节约存储空间，节约SHARED BUFFER，提高TPS。 安装 git clone h...
采用 部分索引、表达式索引 提高搜索效率
背景 在现实场景中，经常有搜索的需求，例如搜索附近的店铺，搜索通常会有一些搜索的附带条件，例如搜索附近的美食类店铺，加油站等。 这里实际上涉及两类搜索需求，一类是距离，一类是属性。 如果将属性枚举掉，那么搜索时可以变成只按距离搜索。建立空间索引即可。 而如果属性无法枚举，那么需要同时搜索空间和属性，可以建立...
PostgreSQL Oracle 兼容性 之 - 数据采样与脱敏
背景 数据采样、脱敏是测试时常用的功能，例如使用线上业务建立测试数据库，不能把整个库脱下来，同时需要对敏感数据加密。 Oracle的例子 ``` SELECT COUNT(innerQuery.C1) FROM ( SELECT ? AS C1 FROM RM_SALE_APPORTION SAMPL...
PostgreSQL 数据去重方法大全
背景 去重的需求比较常见，去重也可以衍生出很多变种。例如 1. 单列去重，很好理解，就是按某列去除重复记录。保留规则（例如保留最新的，保留最旧的，或者保留某个其他字段最大的）。 2. 多列去重，按多列，去除重复记录。保留规则（例如保留最新的，保留最旧的，或者保留某个其他字段最大的）。 3. 行去重，按行，去...
PostgreSQL 的表传输功能
背景 表传输的功能很有意思，比如一些企业会有中心数据库，边缘数据库。边缘数据库的数据需要周期性的导入到中心库进行汇总，例如每个工厂的日流水数据，每天导入到总部的中心数据库。 从边缘库导入到中心库，大家可能会想到使用ETL工具，或者是数据订阅（同步）的方式，但是大家有没有想过，这些方式都需要数据重新来一遍inse...
PostgreSQL、Greenplum 《如来神掌》 - 目录 - 珍藏级
背景 「剑魔独孤求败，纵横江湖三十馀载，杀尽仇寇，败尽英雄，天下更无抗手，无可柰何，惟隐居深谷，以雕为友。呜呼，生平求一敌手而不可得，诚寂寥难堪也。」 剑冢中，埋的是剑魔独孤求败毕生几个阶段中用过的几柄剑： 利剑无意；第一柄是青光闪闪的利剑，凌厉刚猛，无坚不摧，弱冠前以之与河朔群雄争锋。 软剑无常；第二...
PostgreSQL DBA cookbook - 目录
背景 一、概念 1. 物理架构 数据库进程结构介绍 数据库物理存储结构介绍 2. 逻辑架构 数据库逻辑层面的概念介绍，层次关系介绍。 3. 权限体系 介绍数据库的权限体系，以及如何赋予和释放权限。 二、安装 1. Linux 最佳部署 DBA不可不知的操作系统内核参数 2. 初始化数据库 ...
数据库的未来 - HTAP，软件、硬件、云生态的融合
背景 数据库经过了几十年的发展，未来的路怎么走？从硬件、软件技术的发展，结合业务的需求出发我们可以从中看出一些端倪。 一、数据类型多样化 随着技术的普及，越来越多以前需要很高的成本才能获取的数据，现在触手可及。 1. 点云（点的位置坐标+RGB+其他属性），以前只有军用领域在使用，比如《普罗米修斯》这部电影，...
17种文本相似算法与GIN索引 - pg_similarity
背景 文本相似算法，结合PostgreSQL的开放索引框架GIN，可以实现各种相似算法的文本高效检索。 PostgreSQL中常见的文本相似搜索插件：rum, pg_trgm, fuzzymatch, pg_similarity, smlar。 其中pg_similarity支持的算法达到了17种。 Int...