postgresql 12版本主备部署
环境搭建
centos 7+
postgresql 12.0
# 网络检查 ping -c2 baidu.com #关闭防火墙,selinux systemctl stop firewalld && sudo systemctl disable firewalld sed -ri s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config setenforce 0 ### 配置阿里云yum源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo #echo "isntalling tools" yum -y install vim net-tools wget ntpdate yum -y groupinstall "Development Tools" # 时间同步 echo "*/10 * * * * /usr/sbin/ntpdate ntp.aliyun.com > /dev/null 2>&1" /etc/crontab # 加快ssh连接 sed -ri s/"#UseDNS yes"/"UseDNS no"/g /etc/ssh/sshd_config systemctl restart sshd ## 环境准备,根据自身需要,减少或者增加 yum install -y wget gcc gcc-c++ epel-release llvm5.0 llvm5.0-devel clang libicu-devel perl-ExtUtils-Embed readline readline-devel zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel openldap-devel systemd-devel tcl-devel python-devel ## 下载、解压,安装 cd /usr/local/src wget https://ftp.postgresql.org/pub/source/v12.0/postgresql-12.0.tar.gz tar -xvzf postgresql-12.tar.gz cd postgresql-12 ./configure --prefix=/usr/local/pgsql/12 --enable-nls --with-python --with-tcl --with-gssapi --with-icu --with-openssl --with-pam --with-ldap --with-systemd --with-libxml --with-libxslt make && make install ## 创建目录和用户,以及配置环境变量 groupadd postgres useradd -g postgres postgres ## 密码设置在引号内输入自己的密码 echo "postgres" | passwd --stdin postgres mkdir -p /data/pgdata/{data,archivedir} chown -R postgres:postgres /usr/local/pgsql -R chown postgres:postgres /data/pgdata -R echo "export PATH=/usr/local/pgsql/12/bin:$PATH" >/etc/profile.d/pgsql.sh source /etc/profile.d/pgsql.sh
环境部署已经完成,接下来我们来搭建postgresql的主备
主备搭建
备库搭建
以下的操作均在postgres用户下进行
su - postgres ##初始化 initdb -D /data/pgdata/data -U postgres --locale=en_US.UTF8 -E UTF8 cp /data/pgdata/data/{pg_hba.conf,pg_hba.conf.bak} ## 允许repl用户进行流复制 cat <<-eof /data/pgdata/data/pg_hba.conf host all all 0.0.0.0/0 md5 host replication repl 192.168.0.0/22 trust eof cp /data/pgdata/data/{postgresql.conf,postgresql.conf.bak} ##配置postgresql.conf cat <<-eof >/data/pgdata/data/postgresql.conf listen_addresses = '*' port = 5432 max_connections = 100 superuser_reserved_connections = 10 full_page_writes = on wal_log_hints = off max_wal_senders = 50 hot_standby = on log_destination = 'csvlog' logging_collector = on log_directory = 'log' log_filename = 'postgresql-%Y-%m-%d_%H%M%S' log_rotation_age = 1d log_rotation_size = 10MB log_statement = 'mod' log_timezone = 'PRC' timezone = 'PRC' unix_socket_directories = '/tmp' shared_buffers = 512MB temp_buffers = 16MB work_mem = 32MB effective_cache_size = 2GB maintenance_work_mem = 128MB #max_stack_depth = 2MB dynamic_shared_memory_type = posix ## PITR full_page_writes = on wal_buffers = 16MB wal_writer_delay = 200ms commit_delay = 0 commit_siblings = 5 wal_level = replica archive_mode = on archive_command = 'test ! -f /data/pgdata/archivedir/%f && cp %p /data/pgdata/archivedir/%f' archive_timeout = 60s eof ## 启动数据库 pg_ctl -D /data/pgdata/data -l /data/pgdata/data/serverlog start ## 创建用户进行流复制连接 psql -U postgres -c "ALTER USER postgres WITH PASSWORD 'postgres';" psql -U postgres -c "CREATE USER repl WITH PASSWORD 'postgres' REPLICATION;"
备库搭建
## 备份复制,备库配置, pg_basebackup -h 192.168.3.62 -p 5432 -U repl -w -Fp -Xs -Pv -R -D /data/pgdata/data 根据主库的postgresql.conf 配置文件 修改参数配置: 1, listen_addresses = '* ' 2, wal_level = hot_standby 3, max_connections = xxx, # 一般比主库大一些. 4,hot_standby = on 5, max_standby_streaming_delay = 30s 6. wal_receiver_status_interval = 10s 7, hot_standby_feedback = on # 如果有错误的数据复制,是否向 主进行范例. ### 在postgre.auto.conf 添加 application_name =slave1,配置如下 primary_conninfo = 'application_name=slave1 user=repl passfile=''/home/postgres/.pgpass'' host=192.168.3.62 port=5432 sslmode=prefer sslcompression=0 gssencmode=prefer krbsrvname=postgres target_session_attrs=any' ## 启动备库 pg_ctl -D /data/pgdata/data start
写在最后(状态检查)
##状态检查 ### 回到主库查看状态 $ psql -c "select client_addr,usename,backend_start,application_name,sync_state,sync_priority FROM pg_stat_replication;" client_addr | usename | backend_start | application_name | sync_state | sync_priority --------------+---------+-------------------------------+------------------+------------+--------------- 192.168.3.61 | repl | 2019-10-16 15:34:45.130732+08 | slave1 | async | 0 (1 row) $ psql -c "select client_addr, sync_state from pg_stat_replication;" client_addr | sync_state --------------+------------ 192.168.3.61 | async (1 row) ##备库只读, 所以任何操作, 都会告警失败: postgres=# drop database pgtest; ERROR: cannot execute DROP DATABASE in a read-only transaction ## 查看主备的状态 #主 ps -ef |grep sender postgres 92996 51692 0 15:34 "htmlcode">WITH AllUsers AS (SELECT * FROM Users) SELECT * FROM AllUsers WHERE Id = 100;为了克服这个问题,您可以在PostgreSQL中将该查询重写为:
WITH UserRecord AS (SELECT * FROM Users WHERE Id = 100) SELECT * FROM UserRecord;PostgreSQL 12通过引入查询优化器提示来解决此问题,以使我们能够控制是否应实现CTE:MATERIALIZED,NOT MATERIALIZED。因此,可以将查询重写如下,以获得更好的性能。
WITH AllUsers AS NOT MATERIALIZED (SELECT * FROM Users) SELECT * FROM AllUsers WHERE Id = 100;这有效地内联了CTE表达式,并显着提高了性能。
生成列
SQL Server和Oracle长期以来都有计算列,而PostgreSQL中缺少计算列使从其他数据库的迁移变得非常困难。PostgreSQL 12引入了生成列(Generated Columns)来解决这个问题。
生成列对于列就像视图对于表一样。该列的值始终是根据表中的其他列计算的。生成的列可以是虚拟的或存储的。虚拟列的值是在查询期间动态计算的,它们不会占用存储空间。已存储的列的值已预先计算并存储为表数据的一部分。PostgreSQL当前仅实现存储的生成列。
GENERATED ALWAYS AS子句用于创建生成的列
CREATE TABLE Employee ( ..., dob timestamp, age integer GENERATED ALWAYS AS (date_part('year', CURRENT_TIME - dob)) STORED );在PostgreSQL 11.x和更早的版本中,唯一的方法是将age声明为普通列并编写触发器以在插入和更新期间填充该列
CREATE OR REPLACE FUNCTION calc_age() RETURNS TRIGGER AS $body$ BEGIN NEW.age := date_part('year', CURRENT_TIME - NEW.dob::timestamp); RETURN NEW; END; $body$ LANGUAGE plpgsql;计算列的SQL Server语法
将此与SQL Server语法进行对比。SQL Server中没有特殊的关键字来声明计算列。您只需在AS子句后指定使我们成为计算列的表达式。
-- SQL Server Syntax CREATE TABLE Employee ( ..., dob datetime, age AS DATEDIFF(year,dob,GETDATE()) PERSISTED );请注意PERSISTED 子句与PostgreSQL的STORED 子句等效。SQL Server还支持非持久的计算列,只是不指定PERSISTED 子句。
那么,生成列与带有DEFAULT子句的普通列有何不同?
1、如果未提供其他值,则在首次插入行时对列默认值进行一次评估。每当行发生更改且无法覆盖时,生成的列都会更新。
2、可以在INSERT或UPDATE语句中为具有DEFAULT约束的列提供值。生成的列不能被赋予值,它们总是被计算的。
3、列的默认值不能引用表的其他列,而生成的列则专门用于引用该表。
4、列默认值可以使用易变函数,例如random()或current_time,生成的列不能使用。
重新索引改进
REINDEX CONCURRENTLY可以重建索引而不会阻止对其表的写入。CONCURRENTLY子句先前仅在CREATE INDEX语句中可用。
CREATE TABLE test (x INTEGER); INSERT INTO test SELECT generate_series(1, 1000000); CREATE INDEX i_test ON test (x); REINDEX INDEXCONCURRENTLY i_test;在早期版本的PostgreSQL中,REINDEX在大表上经常引起阻塞写入和严重的性能问题。
默认情况下启用JIT编译
如果服务器是在其支持下构建的,则默认情况下启用即时(JIT)编译。请注意,默认情况下不构建此支持,但是在配置构建时必须明确选择。这对于数据仓库查询特别有用。
查询并行性改进
在SERIALIZABLE隔离模式下,允许并行查询。以前,在此模式下禁用并行性。
PL/pgSQL增强
允许在相同的PL/pgSQL函数中使用与这些命令同名的SQL命令和变量。例如,允许一个调用变量comment存在于调用COMMENT SQL命令的函数中。以前,此组合导致解析错误。
SQL / JSON路径查询
PostgreSQL 12现在允许按照SQL:2016标准中的SQL / JSON规范执行JSON路径查询。JSON路径表达式使您可以评估各种算术表达式和函数,并比较JSON文档中的值,类似于XML的XPath表达式。可以使用GIN索引来加速这些表达式,从而改善跨JSON数据的查找执行。
分区改进
在处理带有成千上万个分区的表的命令时,只需使用所有可用分区的子集,PostgreSQL 12的性能就会得到显著提高。与以前的版本相比,INSERT和COPY到分区表的速度也要快得。 ATTACH PARTITION现在可以执行,而不会阻止对分区表的并发查询。现在可以将分区表称为外键。分区边界现在可以是表达式。
拼写改进
PostgreSQL 12现在支持对ICU提供的排序规则(也称为“非确定性排序规则”),不区分大小写和不区分重音的比较。使用这些排序规则时,可以为比较和排序提供便利,但是由于排序规则可能需要对字符串进行其他检查,因此也可能导致性能下降。
MCV统计信息现在支持多列
CREATE STATISTICS命令允许对多列进行最常用值统计。以前,多列只记录了一个相关值。
CREATE STATISTICS stts3 (mcv) ON state, city FROM zipcodes; ANALYZE zipcodes;从旧版本迁移
1、PostgreSQL 12中的某些更改可能会影响与早期版本的兼容性。
recovery.conf不再使用,并且如果该文件存在,服务器将不会启动。recovery.signal和standby.signal文件现在用于切换到非主要模式。trigger_file已重命名为promove_trigger_file。standby_mode设置已被删除。
2、在新的btree索引中,最大索引条目长度减少了八个字节,以改善重复条目的处理。这意味着REINDEX对先前版本的索引pg_upgrade 进行的操作可能会失败。
3、如果没有提供参数列表,并存在多个匹配对象,DROP IF EXISTS FUNCTION/ PROCEDURE/ AGGREGATE/ ROUTINE以产生一个错误
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
- 雨林唱片《赏》新曲+精选集SACD版[ISO][2.3G]
- 罗大佑与OK男女合唱团.1995-再会吧!素兰【音乐工厂】【WAV+CUE】
- 草蜢.1993-宝贝对不起(国)【宝丽金】【WAV+CUE】
- 杨培安.2009-抒·情(EP)【擎天娱乐】【WAV+CUE】
- 周慧敏《EndlessDream》[WAV+CUE]
- 彭芳《纯色角3》2007[WAV+CUE]
- 江志丰2008-今生为你[豪记][WAV+CUE]
- 罗大佑1994《恋曲2000》音乐工厂[WAV+CUE][1G]
- 群星《一首歌一个故事》赵英俊某些作品重唱企划[FLAC分轨][1G]
- 群星《网易云英文歌曲播放量TOP100》[MP3][1G]
- 方大同.2024-梦想家TheDreamer【赋音乐】【FLAC分轨】
- 李慧珍.2007-爱死了【华谊兄弟】【WAV+CUE】
- 王大文.2019-国际太空站【环球】【FLAC分轨】
- 群星《2022超好听的十倍音质网络歌曲(163)》U盘音乐[WAV分轨][1.1G]
- 童丽《啼笑姻缘》头版限量编号24K金碟[低速原抓WAV+CUE][1.1G]