replace offline or FAULTED device in ZPOOL
背景 今早发现一台zfsonlinux主机的zpool其中一块硬盘写错误次数过多变成FAULTED状态了, raidz1的话变成了DEGRADED状态. 但是hot spare还是AVAIL的状态, 也就是说hot spare没有自动用起来. (后来发现确实如此, hot spare不会自动使用, 需要手工干...
Recent Posts
GreenPlum 4.3.2.0 installed in CentOS 6.x x64
背景 greenplum从开源的bizgres发展而来, 早些年被EMC收购, 更名为Pivotal Greenplum Database. 有兴趣的朋友可以到我的分享下载bizgres的源码. http://pan.baidu.com/s/13XU8m 2008年第一次接触GreenPlum的时候, 性能...
Postgres-XL you can only see databases with CREATE privilege
背景 Postgres-XL改写了SQL parser, 并新增了storm_catalog这个catalog. 目的可能是提高安全性, 例如pg_database这个表, 在storm_catalog中创建一个同名视图, 正常情况下会先访问pg_catalog.pg_database, 但是因为改了parse...
ZFS on Linux performance tuning when zfs_iput_taskq take near 100% CPU
背景 一台机子的zfs_iput_taskq进程CPU占用100%. 处理方法 : # cat /etc/modprobe.d/zfs.conf options zfs zfs_arc_max=10240000000 # zfs list NAME USED AVAIL ...
Why Large synchronous writes are slow when a slog is present?
背景 因为zfs对zil的使用有阈值限制, 例如单次提交的写超过阈值则直接写VDEV. 还有如果设置了logbias=throughput也是直接写vdev的. 参考 Note that this issue seems to impact all ZFS implementations, not just...
flashcache usage guide
背景 前几天写过一篇关于使用flashcache提升PostgreSQL IOPS性能的文章 http://blog.163.com/digoal@126/blog/static/1638770402014528115551323/ 本文将要介绍一下flashcache的使用注意事项, 更好的使用flashc...
PostgreSQL xlog $PGDATA and zfs snapshot based central backup & PITR case
背景 最近在写一个集中式的PostgreSQL基于块的增量备份的CASE. (因Oracle有块级别增量备份, PG这块是个空白, 不过可以通过第三方软件来实现) 视频参考6月28日的杭州PG交流视频 http://pan.baidu.com/share/home?uk=1982970774#categor...
ZFS df
背景 使用zfs的话, df输出的数据Size那列是会变的, 指当前dataset的空间占用加上整个pool的剩余空间. 所以使用比率也是动态变化的. 如果nagios使用了类似以下监控, 也不会存在问题. (例如你可能担心每个dataset如果使用均衡, 使用比率 dataset_size/zpool_siz...
PostgreSQL IOPS performance tuning by flashcache
背景 flashcache缺点之一, 一个SSD区域只能绑定到一个块设备或逻辑卷,PV. 不能像ZPOOL那样共享一个SSD区域. 其他可选cache软件, bcache, dmcache. 注意, 建议EXT4挂载项： nobarrier,discard https://github.com/face...
ZFS fsync IOPS performance in FreeBSD
背景 我在上一篇文章讲了一下ZFS的性能优化. 文章提到在Linux (CentOS 6.5 x64)中, ZFS的fsync调用性能不佳的问题, 完全不如ext4, 于是在同一台主机, 我安装了FreeBSD 10 x64. 使用同样的硬件测试一下fsync的性能. PostgreSQL的安装参考 htt...