为什么PostgreSQL查询语句也可能产生 xlog， 并且可能对buffer有write操作 ? hint bits
背景 本文还可以回答另一个问题，为什么数据库开启wal_hint_log后或者使用initdb -k参数开启checksum后，产生的XLOG变多了。 PostgreSQL 查询是可能产生XLOG的，这需要从PostgreSQL tuple上的hint bits说起。 什么是hint bits？你可以参考这个...
Recent Posts
除了xlog，哪些操作可能还需要fsync ?
背景 我们知道xlog的一个重要责任是用来保护用户提交的事务在数据库的持久化特性的。 那么就涉及到用户提交事务后，必须先等待这笔事务对应的XLOG fsync完成。所以xlog会涉及不断的fsync(由wal writter间歇性发起，用户进程仅仅在申请不到XLOG BUFFER时会调用fsync) （《Po...
PostgreSQL & LLVM & Vitesse DB
背景 llvm动态编译，快了不是一点点。当IO不再是瓶颈时，下一个瓶颈CPU。LLVM解决了CPU瓶颈的问题。 http://vitessedata.com/vitesse-x 提供插件形式的测试，闭源。 PostgreSQL performance with gcc, clang and icc htt...
NFS over RDMA
背景 http://www.chawenti.com/articles/1912.html http://www.cs.unh.edu/~rdr/rdr-hpcc12.pdf filesystems/nfs/nfs-rdma.txt #####################################...
使用 PGStrom 2 (GPU JOIN, BulkScan, GpuPreAgg, …)
背景 BUG fixed, 测试了一下。 JOIN性能确实好很多，主要体现在。 1. BuldkScan 300毫秒左右，而seqscan需要1500毫秒。 2. GpuJoin 约4.5秒。而hash join约8秒。 postgres=# explain (analyze,verbose,cost...
PostgreSQL Greenplum 结巴分词(by plpython)
背景 除了数据库内置的中文分词，使用plpython数据库存储过程语言，也能实现方便的分词能力。在greenplum中是一个很好的选择。 结合PostgreSQL plpython和language transform可以很方便的实现中文分词。 https://github.com/fxsjy/jieba ...
NLPIR 分词准确率接近98.23%
背景 http://www.nlpir.org/ 几个例子： 为人民办公益 为/p人民/n办/v公益/n 独立自主和平等互利的原则 独立自主/vl和/cc平等互利/vl的/ude1原则/n 结婚的和尚未结婚的 结婚/vi的/ude1和/cc尚未/d结婚/vi的/ud...
PostgreSQL 读写操作系统文件函数(File I/O)
背景 注意，文件操作有风险，仅供娱乐。 https://github.com/csimsek/pgsql-fio PostgreSQL "basic" File I/O Functions Quick Start This extension for some basic file system...
PostgreSQL cann’t use NULL ciphers(do not encryption) when use hostssl?
背景 PostgreSQL目前没有协议层数据压缩，对于大数据量的应用，或者云数据库场景，容易造成网络瓶颈。 目前必须通过openssl来做数据压缩。但是OPENSSL需要加密，会带来额外的CPU开销，同时还需要客户端支持OPENSSL库。 openssl version openssl-1.0.1p ...
PostgreSQL SSL链路压缩例子
背景 PostgreSQL目前没有协议层数据压缩，对于大数据量的应用，或者云数据库场景，容易造成网络瓶颈。 目前必须通过openssl来做数据压缩。但是OPENSSL需要加密，会带来额外的CPU开销，同时还需要客户端支持OPENSSL库。 《PostgreSQL 如何实现网络压缩传输或加密传输(openssl...