当前位置: gwwp168->polardb > PolarDB for PostgreSQL:OSS 外表

PolarDB for PostgreSQL:OSS 外表

2024-12-19作者:gwwp168来源:www.gwwp168.com

关于 PolarDB PostgreSQL 版

PolarDB PostgreSQL 版是一款阿里云自主研发的云原生关系型数据库产品,100% 兼容 PostgreSQL,高度兼容Oracle语法;采用基于 Shared-Storage 的存储计算分离架构,具有极致弹性、毫秒级延迟、HTAP 、Ganos全空间数据处理能力和高可靠、高可用、弹性扩展等企业级数据库特性。同时,PolarDB PostgreSQL 版具有大规模并行计算能力,可以应对 OLTP 与 OLAP 混合负载。


功能介绍

Foreign Data Wrapper(FDW)是 PostgreSQL 提供的一个非常有意思的特性,中文翻译为 外部数据包装器。从字面意思上,PostgreSQL 数据库能够通过 FDW 扩展来操作当前数据库以外的数据。这些外部的数据源可以是:

文件

关系型数据库(PostgreSQL / Oracle / MySQL / ...)

非关系型数据库

Git 仓库

网页

大数据平台(Hadoop / Hive / ...)

...

oss_fdw 插件是 PolarDB for PostgreSQL 的一个外部数据包装器,能够将 阿里云对象存储 OSS (Object Storage Service) 上的数据与数据库中的外部表定义关联,使用户能够将数据库表的数据存放到 OSS 上的同时,而依旧能够通过标准 SQL 来读写这些数据。阿里云 OSS 是一款海量、安全、低成本、高可靠的云存储服务,提供最高可达 99.995% 的服务可用性,具备多种存储类型供选择,能够全面优化存储成本。数据库中的历史数据、只读归档数据、冷数据非常适合存放到 OSS 上,以节约数据库存储成本。


基本使用方法

开通阿里云 OSS 并创建 Bucket

请参考阿里云 OSS 的 产品文档。

安装插件

CREATE EXTENSION oss_fdw;

创建外部数据服务器

配置 OSS 连接信息,创建 PolarDB-PG 到 OSS Bucket 的映射。其中需要的参数包含:

host:阿里云 OSS 的访问域名 (EndPoint)

bucket:阿里云 OSS 的存储空间 (Bucket) 名称

id / key:阿里云账号 Access Key 的 ID 和 Secret

CREATE SERVER ossserver

FOREIGN DATA WRAPPER oss_fdw

OPTIONS (

host 'oss-cn-xxx.aliyuncs.com',

bucket 'mybucket',

id 'xxx',

key 'xxx'

);

将外部表映射到某个 OSS 目录

在 PolarDB-PG 中创建一个 OSS 外部表,映射到上一步配置的 OSS 外部数据源的某个目录下:

CREATE FOREIGN TABLE t1_oss (

id INT,

f FLOAT,

txt TEXT

)

SERVER ossserver

OPTIONS (dir 'archive/');

向 OSS 外部表中导入数据:

=> INSERT INTO t1_oss VALUES (generate_series(1,100), 0.1, 'hello');

NOTICE: begin writing data to oss location archive/, with block size 10 MB and oss file size 1024 MB

INSERT 0 100

此时,插入该表的数据已经写入到 OSS archive/ 路径下的文件中。使用如下方法可以查询该外部表:

=> EXPLAIN SELECTCOUNT(*) FROM t1_oss;

QUERY PLAN

-----------------------------------------------------------------

Aggregate (cost=6.54..6.54 rows=1 width=8)

-> Foreign Scan on t1_oss (cost=0.00..6.40 rows=54 width=0)

Directory on OSS: archive/

Number Of OSS file: 1

(4 rows)

=> SELECTCOUNT(*) FROM t1_oss;

NOTICE: a total of 1 files will be loaded, beginarchive/_t1_oss_741147075942690, endarchive/_t1_oss_741147075942690, compression: none

count

-------

100

(1row)

对该表进行 TRUNCATE,将会移除该外部表在 OSS 上的所有映射文件:

=> TRUNCATE t1_oss;

TRUNCATE TABLE

=> SELECT COUNT(*) FROM t1_oss;

WARNING: does not match any file in oss

count

-------

0

(1 row)

卸载插件

DROP EXTENSION oss_fdw;


使用限制

oss_fdw 外部表仅支持 SELECT、INSERT 和 TRUNCATE 操作,不支持 UPDATE 和 DELETE 操作。因此,只适用于 数据归档 场景:数据被写入 OSS 后,只会被读取,不再被更新。

PolarDB for PostgreSQL 11 全版本支持该插件;PolarDB for PostgreSQL 14 自 v14.5.3.0 (20221130) 起支持该插件。

  • 恭喜CUUG 高同学通过Oracle考试获得OCP 19c证书
  • 靠谱的OCP培训机构推荐_北京CUUG
  • 2024年11月14日,工信人才发布红头文件:PostgreSQL数据库管理人才研修与评测班
  • PostgreSQL技术大讲堂 - 第74讲:PostgreSQL SQL调优二
  • PostgreSQL认证考试费用分析
  • 活动报名 《国产开源数据库PolarDB+PostgreSQL专家训练营》北京站
  • 金仓数据库认证值得考吗
  • 选择PGCA认证,还是选择PGCP认证
  • 恭喜CUUG 11月16日考试的同学获得PG中级、PG高级证书
  • 推动国内信创数据库发展,考取信创PostgreSQL认证
  • 为什么要发展信创数据库-信创PostgreSQL认证
  • 12月6日恭喜CUUG郑同学通过OCP考试获得OCP证书
  • OCP是什么意思 OCP有用吗
  • PostgreSQL技术大讲堂 - 第75讲:SQL调优(3)索引调优升级版
  • PostgreSQL技术大讲堂 - 第77讲:DB4AI 搭建PG向量数据库AI机器人
  • PostgreSQL技术大讲堂 - 第78讲:分布式数据库-GreenPlum应用实践
  • PostgreSQL技术大讲堂 - 第79讲:PG流复制管理利器repmgr应用实践
  • PostgreSQL数据库管理员认证的含金量
  • 1月15日证书来啦!工信部人才交流中心PostgreSQL中级高级认证
  • OCP英文全称是什么
  • PolarDB PostgreSQL版高可用原理分析
  • 工信部人才交流中心与教育部学生服务与素质发展中心战略合作
  • 为什么说开展信创数据库势在必行
  • PostgreSQL证书什么样子的
  • RAG,搭建PG向量数据库AI机器人(文档下载+视频)
  • 从中美贸易战金融战科技战,看我国发展信创的必要性
  • 微软发布基于PostgreSQL的开源文档数据库平台DocumentDB
  • 信创领域的PostgreSQL管理员认证
  • 11月16日,工信部人才交流中心 & CUUG - PGCP+PGCM认证考试完成
  • PolarDB for PostgreSQL:OSS 外表
  • 中科方德「方德高可信服务操作系统」通过PolarDB产品生态集成认证
  • 【会议回顾】11月29日,国产开源数据库PolarDB&PG专家训练营 - 北京站
  • 11月30日,工信部人才交流中心 & CUUG - PGCPPGCM认证考试完成!
  • 2024年12月PostgreSQL排名第四,已对SQL Server造成威胁
  • PostgreSQL技术大讲堂 - 第72讲:索引与SQL调优之禁忌之恋
  • PostgreSQL技术大讲堂 - 第73讲:AI4DB系列公开课--搭建私域大模型
  • 百期PostgreSQL技术公开课进行时,已讲到第73期了
  • 如何建设国内postgresql数据库生态环境
  • ocp认证烂大街了吗?并未烂大街
  • 在去Oracle环境下,市场还认可OCP认证吗?
  • 工业和信息化部人才交流中心关于培训考试评价证书更名的通告
  • 签约!北京某大型档案馆、成都市某科研所与CUUG签约工信人才PG认证学习
  • PostgreSQL技术大讲堂 - 第76讲:调优(4)分区表索引调优
  • PostgreSQL与MySQL相似之处与不同之处
  • 免费学习PostgreSQL,来这里看看PG从小白到专家技术公开课
  • PostgreSQL认证是什么,值得考吗
  • 【重磅消息】Oracle OCP 认证考试,CUUG赠送一次免费补考机会!
  • OCM认证烂大街了吗?OCM战袍在此,永不过时!
  • 报名OCP认证考试,送一次免费补考机会,限时活动,名额有限!
  • 恭喜CUUG韩同学通过Oracle考试拿到OCP 19c证书