当前位置: gwwp168->postgresql > postgresql从小白到高手 - 第35讲:中间件PgBouncer部署

postgresql从小白到高手 - 第35讲:中间件PgBouncer部署

2023-12-11作者:gwwp168来源:www.gwwp168.com


PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。


第35讲:中间件PgBouncer部署


第35讲:11月25日(周六)19:30-20:30,往期公开课的文档及视频,联系CUUG


内容1 : PgBouncer 简介

内容2 : PgBouncer 安装

内容3 : PgBouncer 启动与关闭

内容4 : 通过PgBouncer 连接到数据库


PgBouncer简介

· PgBouncer 是 PostgreSQL的轻量的连接池,支持三种模式

->Session pooling/会话连接池

最礼貌的方法。在客户端连接的时候,在它的连接生命期内,会给它赋予一个服务器连接。在客户端断开的时候,服务器连接会放回到连接池中。

->Transaction pooling/事务连接池

服务器连接只有在一个事务里的时候才赋予客户端。在 PgBouncer 注意到事务结束的时候,服务器将会放回连接池中。这是一个 hack,因为它打破了应用对后端连接的看法。只有在应用配合这样的使用模式,没有使用会破坏这种使用模式的时候才能用这个连接方式。

->Statement pooling/语句连接池 最激进的模式。这是事务连接池的一个扭曲的变种 - 不允许多语句的事务。这就意味着是在客户端强制 “autocomit”模式,主要是给 PL/Proxy 用的。


· PgBouncer 特点

内存需求低(缺省的时候每个连接 2k)。

它不是和单个后端服务器绑定的,目标数据库可以位于不同的主机上。

对大多数设置,都支持在线的重新配置,无需重启。

支持在线的重启/升级,而不会退出客户端的连接。

应用程序如果直接与PostgreSQL连接,每次连接pg都会克隆出一个服务进程来为应用程序提供服务,关闭连接后pg会自动将服务进程给停掉.频繁的创建和销毁进程,会消耗比较多的系统资源,pgbouncer会将与pg的连接缓存住,当有请求进来,只是分配一个空闲的连接,这样降低了系统资源的消耗。

使用pgbouncer可以控制住数据库上的活动连接,一般配置为CPU核数的1.5-2.5倍之间。

pgbouncer使用libevent进行socket通信,效率很高。


PgBouncer部署

· Pgbouncer 安装

1、安装libevent(root用户):

/soft/libevent-2.1.12-stable

./configure --prefix=/usr/local/libevent

make

makeinstall

2、安装pgbouncer (postgres用户)

export PKG_CONFIG_PATH=/usr/local/libevent/lib/pkgconfig

cd /soft/pgbouncer-1.17.0

./configure --prefix=/usr/local/pgbouncer

make && make install


· Pgbouncer 配置

1、创建/usr/local/pgbouncer/conf目录,把pgbouncer.ini文件放在此目录下

2、复制模板文件

cp /usr/local/pgbouncer/share/doc/pgbouncer/pgbouncer.ini /usr/local/pgbouncer/conf/pgbouncer.ini

3、编辑pgbouncer.ini文件

logfile = /var/log/pgbouncer/pgbouncer.log #目录需要root用户创建,然后授权

pidfile = /var/run/pgbouncer/pgbouncer.pid #目录需要root用户创建,然后授权

listen_addr = *

listen_port = 6432

auth_type = md5

auth_file = /etc/pgbouncer/userlist.txt

admin_users = postgres

stats_users = hr

编辑/etc/pgbouncer/userlist.txt文件

该文件包含将来通过中间件连接到数据库的用户名和密码,登录时需要用它来验证,如果修改,需要重启pgbouncer生效。

1)、先查询密码:

select usename, passwd from pg_shadow order by 1;

2)、编辑userlist.txt

"hr" "md5e661e439b4757f4595b811b4a196182d"

"postgres" "md53175bce1d3201d16594cebf9d7eb3f9d“

"c1" "md574fc5f6f852574d24cbca8153258784c"


Pgbouncer 启动与关闭

· 启动pgbouncer

/usr/local/pgbouncer/bin/pgbouncer -d /usr/local/pgbouncer/conf/pgbouncer.ini

· 关闭pgbouncer

目前pgbouncer还没有自主停止的脚本或者命令,只能通过kill命令来停止。格式是:

cat /var/run/pgbouncer/pgbouncer.pid | xargs kill -9

· 重启pgbouncer

/usr/local/pgbouncer/bin/pgbouncer -R -d /usr/local/pgbouncer/conf/pgbouncer.ini

参数:

-d :后台运行

-R :重启进程


Pgbouncer 连接

· 登录pgbouncer

pgbouncer对外提供了一个虚拟数据库pgbouncer,之所以成为虚拟数据库,是因为它可以提供像PostgreSQL那样的数据库操作界面,但是这个数据库却并不是真实存在的。而是pgbouncer虚拟出来的一个命令行界面。

$ psql -p 6432 -d pgbouncer -U postgres

帮助命令,用show命令查看当前的配置

Show help;

pgbouncer.ini配置文件详解


· 配置主要分为两部分:

第一部分是[databases]区域,是用来配置数据库连接相关信息的。

第二部分是[pgbouncer],是pgbouncer自身的配置。


· [databases]部分的配置

它的基本格式是:

对外提供的数据库名 = host=主机IP port=端口 user=用户 password=密码

其他的规则都类似,数据库名后面的等号旁边要有空格隔开,后面每个成对的数值之间用空格隔开。这里面的主机和端口指的是PostgreSQL监听的地址和端口,而用户和密码就是用来连接PostgreSQL数据库的用户名和密码。

testdb = host=127.0.0.1 port=1922 user=hr password=hr connect_query='SELECT 1 '

pool_size 用来配置连接池的大小。如果没有这个值则使用[pgbouncer]部分的default_pool_size的值。

connect_query :后面跟一个SQL语句字符串,用于探测这个连接是否正常,如果执行SQL语句出错,则换一个连接。

client_encoding:指定连接的客户端使用的字符集编码

datestyle:指定日期类型

timezone:指定时区。


· 使用中间件来连接到testdb数据库

$ psql -p 6432 -d testdb -U hr

-p :指定pgbouncer监听的端口

-d :指定在配置文件中声明的数据库,如果要切换到其它数据库,则需要在配置文件中声明。


· [pgbouncer]部分的配置

logfile:指定日志文件,默认值是/var/log/pgbouncer/pgbouncer.log

pidfile:指定pid文件位置,默认值是/var/run/pgbouncer/pgbouncer.pid

listen_addr:监听的地址,默认值是127.0.0.1,可以使用*号表示监听所有IP地址。

listen_port:监听的端口,默认值是6432

unix_socket_dir:指定unix socket文件的目录,默认为/tmp目录

unix_socket_mode:指定unix socket文件的权限,默认值为0777

unix_socket_group:指定unix socket文件的组,默认无

user:指定启动PgBouncer的用户名,windows系统不支持此设置

auth_type:认证的类型,默认是trust,其他值包括md5,crypt,plain,any。用得较多的是md5

auth_file:认证文件的位置,默认值是/etc/pgbouncer/userlist.txt

pool_mode:指定池的模式,默认是session模式,还可以是transaction和statement

max_client_conn:允许的最大连接数

default_pool_size:默认的池大小,默认值20

min_pool_size:最小的池大小,每个连接池至少会向后端数据库保持多少个连接

reserve_pool_size:连接池的保留连接数

reserve_pool_timeout:保留连接的超时时间


· 日志配置项:

syslog:是否打开syslog,windows下打开eventlog,默认值为0,表示不打开。

syslog_ident:默认为PgBouncer

syslog_facility

log_connections:是否记录连接成功的日志,默认值为1,表示记录

log_disconnection:是否记录断开连接的日志,默认值为1,表示记录

log_pooler_errors:连接池法网客户端的错误是否记录在日志中,默认值为1,表示记录

stats_period:把汇总的统计信息写入日志的时间周期,默认是60s


· 控制界面访问控制配置项:

admin_users:管理用户名,默认值是postgres

stats_users:允许连接到控制界面,查看连接池只读信息的用户列表。可以执行除“SHOW FDS”以外的其他“SHOW”命令

server_reset_query

server_check_delay:空闲的连接多长时间进行一次健康检测,判断连接是否可用。如果设置为0,则立即检测,默认值为30s

server_check_query:进行健康检查的SQL语句,如果为0,表示不检测,默认值为“select 1;”

server_lifetime:连接的存活时间,连接超过这个时间就会被关闭,默认为3600,设置为0表示只使用一次。

server_idle_timeout:连接的idle时间,超过此时间,连接会被关闭。默认为600

server_connect_timeout:后端数据库的login时间超过这个值就会被关闭。默认为15s

server_login_retry:传送到后端数据库的连接失败后,等多长时间后重试,默认为15s

client_login_timeout:客户端与PgBouncer建立连接后,如果无法在这段时间内完成登录,那么连接会断开,默认为60s


· 危险超时配置项:

指的是为防止一些未知错误或者原因导致系统卡住的针对性配置。

query_timeout:允许超过该时间值的SQL会被断开,应该比SQL实际的执行时间稍长,也需要比数据库的statement_timeout参数值更大。为了应付一些未知的网络问题。默认为0.0,禁止使用

query_wait_timeout:请求在队列中等待被执行的最长时间,如果超过该时间还没有分配到连接,就会断开。默认为0,禁止使用。

client_idle_timeout:客户端连接空闲,超过该时间,则断开连接。默认值为0,禁止使用

idle_transaction_timeout:客户端启动事务后,超过这个时间没有结束事务,则关闭这个客户端连接。默认值为0,禁止使用。


· 底层网络连接配置:

pkt_buf:用于网络包的内部缓冲区大小,会影响发出的TCP包的大小即内存的使用,默认值为2048,一般保持默认值。

max_packet_size:通过PgBouncer最大的包大小,包可以是一个SQL,也可以是返回的结果,默认值是2147483647。

listen_backlog:TCP监听函数listen的Backlog参数,默认值为128。

sbuf_loopcnt:处理过程中,每个连接处理多少数据就切换到下一个连接。默认为5,如果设置为0,表示不限制。不限制时,一个连接发送大量数据,另外的连接可能就会空闲,导致被结束掉。

tcp_defer_accept:linux下,默认为45,其他平台为0。tcp_socket_buffer 默认没有设置。

tcp_keepalive:是否以操作系统的默认值打开基本的keepalive 设置,在linux下,操作系统的keepalive里,默认值是tcp_keepidle=7200, tcp_keepintvl-75,tcp_keepcnt=9,其他操作系统类型,默认值为1

tcp_keepcnt:默认未设置。

tcp_keepidle:默认未设置。

tcp_keepintvl:默认未设置。


CUUG PostgreSQL技术大讲堂系列公开课,往期视频及文档,请联系CUUG客服。

  • 单考一个OCP认证?还是OCP和OCM认证都拿到手?
  • 备考Oracle OCP 19c认证,这篇内容你需要了解
  • 深入了解Oracle OCP认证,开启数据库专业之旅
  • 数据库认证有用吗?证书:职场晋升的有力助推器
  • 9月28日,工信部人才交流中心&CUUG-PGCA+PGCP+PGCM认证考试完成!
  • 河北建筑工程学院 - 国产数据库工作室揭牌 & 天池杯数据库大赛
  • 浙江大学开源技术交流,PolarDB数据库创新设计赛(天池杯)等你来战
  • 中国人民大学举办PolarDB数据库创新设计赛(天池杯)交流会,大赛技术指导陈卫星老师现场答疑
  • 33条必看问题!腾讯云认证考试须知!
  • PostgreSQL技术大讲堂 - 第69讲:PG17版本新特性--块级别增量备份
  • PostgreSQL技术大讲堂 - 第70讲:PG数据库数据加载调优案例
  • PostgreSQL技术大讲堂 - 第71讲:PostgreSQL 17 版本升级
  • PostgreSQL认证考试费用分析
  • PostgreSQL认证培训哪家好
  • 数据库 PostgreSQL 和 MySQL 开源协议的区别
  • 选择PGCA认证,还是选择PGCP认证
  • 用处多多!信创PostgreSQL认证证书含金量
  • Oracle 19c OCP 认证考试 082 题库(第18题)- 2024年修正版
  • Oracle 19c OCP 认证考试 082 题库(第19题)- 2024年修正版
  • Oracle 19c OCP 认证考试 082 题库(第20题)- 2024年修正版
  • Oracle 19c OCP 认证考试 082 题库(第22题)- 2024年修正版
  • Oracle 19c OCP 认证考试 082 题库(第23题)- 2024年修正版
  • Oracle 19c OCP 认证考试 082 题库(第24题)- 2024年修正版
  • 考前须知:Oracle OCP考试流程和准备
  • 你还在犹豫要不要考个OCP认证吗
  • “多图警告” - 带你快速浏览2024杭州云栖现场
  • 汇集众多AI硬科技 9月19日 阿里云栖大会即将到来
  • 腾讯云TDSQL数据库认证值得考吗?来看看TDSQL证书有什么用
  • 这么多家厂商都选择了PostgreSQL,是时候考个PG认证了
  • 恭喜CUUG 高同学通过Oracle考试获得OCP 19c证书
  • 靠谱的OCP培训机构推荐_北京CUUG
  • 去 IOE 环境下,Oracle OCM认证还值得考吗?
  • 腾讯云tdsql认证的优势和考试费用
  • 2024年11月14日,工信人才发布红头文件:PostgreSQL数据库管理人才研修与评测班
  • PostgreSQL认证考试费用分析
  • 活动报名 《国产开源数据库PolarDB+PostgreSQL专家训练营》北京站
  • 金仓数据库认证值得考吗
  • 选择PGCA认证,还是选择PGCP认证
  • PG17版本来了!PostgreSQL全球开发组宣布PostgreSQL 17发布!
  • PostgreSQL技术大讲堂 - 第67讲:PG完全恢复与不完全恢复一网打尽
  • 为什么要考工信部人才交流中心PostgreSQL认证
  • 象形闽都 数智榕城 - PostgreSQL中文社区技术沙龙 - 福州站
  • 有一种能力认证,叫做工信人才PostgreSQL认证
  • AI4DB系列公开课--让AI生成SQL语句
  • PolarDB开源社区荣获2024 OSCAR尖峰开源项目及开源社区奖
  • PostgreSQL数据库技术沙龙福州站圆满结束!
  • 恭喜CUUG多位同学获得PGCP中级-PGCM高级证书
  • OCP认证考试哪家机构划算
  • Oracle认证证书的考试费用是多少
  • 11月16日,工信部人才交流中心 & CUUG - PGCP+PGCM认证考试完成