insert on conflict - 合并写 (消除不必要更新)
背景
合并更新的应用非常广泛,存在则更新,不存在则写入。
但是在某些场景中,存在并不一定要更新,原因是新的内容可能和老的内容完全一致。这种更新操作是完全没有必要的。
因为PG是多版本的,更新会产生新的TUPLE版本,如果这种没必要的更新很多,只会给数据库带来额外的负担同时影响性能。特别体现在批量操作中。
例如电商场景中,运营人员会将需要操作的一批店铺导入到操作表,在操作表中再进行数据的操作。导入动作就是一个合并写的动作,每一批导入的店铺可能在操作表中已存在并且记录完全没有变化,如果不注意INSERT INTO ON CONFLICT语法的使用,会导致写入放大。
例子
1、新建测试表
create table tbl(
c1 int,
c2 int,
c3 int,
c4 int,
c5 timestamp,
unique (c1,c2)
);
2、使用普通的insert into on conflict合并写入,存在写入放大
insert into tbl
select id,id,1,random(),now() from generate_series(1,1000000) t(id)
on conflict(c1,c2)
do update
set
c3=excluded.c3,c4=excluded.c4,c5=excluded.c5;
每一次操作都会更新所有记录
INSERT 0 1000000
INSERT 0 1000000
INSERT 0 1000000
3、优化方法,加入更新条件,避免未变化的记录被更新
例如当c3,c4没有变化时,不更新。
where
tbl.c3 is distinct from excluded.c3 or
tbl.c4 is distinct from excluded.c4;
SQL如下
insert into tbl
select id,id,1,random(),now() from generate_series(1,1000000) t(id)
on conflict(c1,c2)
do update
set
c3=excluded.c3,c4=excluded.c4,c5=excluded.c5
where
tbl.c3 is distinct from excluded.c3 or
tbl.c4 is distinct from excluded.c4;
此时每次更新的就是那些真正发生了变化的记录
INSERT 0 500172
INSERT 0 500383
INSERT 0 500664
参考
https://www.postgresql.org/docs/10/static/sql-insert.html
[ WITH [ RECURSIVE ] with_query [, ...] ]
INSERT INTO table_name [ AS alias ] [ ( column_name [, ...] ) ]
[ OVERRIDING { SYSTEM | USER} VALUE ]
{ DEFAULT VALUES | VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }
[ ON CONFLICT [ conflict_target ] conflict_action ]
[ RETURNING * | output_expression [ [ AS ] output_name ] [, ...] ]
where conflict_target can be one of:
( { index_column_name | ( index_expression ) } [ COLLATE collation ] [ opclass ] [, ...] ) [ WHERE index_predicate ]
ON CONSTRAINT constraint_name
and conflict_action is one of:
DO NOTHING
DO UPDATE SET { column_name = { expression | DEFAULT } |
( column_name [, ...] ) = [ ROW ] ( { expression | DEFAULT } [, ...] ) |
( column_name [, ...] ) = ( sub-SELECT )
} [, ...]
[ WHERE condition ]
is distinct from是一种不等于的用法,其中包括NULL值的处理(认为null is not distinct from null is TRUE)。两个NULL值返回FALSE,一个NULL值返回TRUE。
null is distinct from null 返回false
null is distinct from nonnull 返回true
nonnull is distinct from nonnull 根据实际的VALUE来判断是否相等,相等返回false,不相等返回true。
当要判断NULL时,这个比=操作符好用,使用=等操作符时,通常底层函数是strict的,所以当操作数包含NULL值时,操作符的结果也返回NULL而不是我们想要的true或false。