pg_ducklake
基于 DuckDB 与 Parquet 的 DuckLake 湖仓一体扩展
仓库
relytcloud/pg_ducklake
https://github.com/relytcloud/pg_ducklake
源码
pg_ducklake-1.0.0.tar.gz
pg_ducklake-1.0.0.tar.gz
概览
| 扩展包名 | 版本 | 分类 | 许可证 | 语言 |
|---|---|---|---|---|
pg_ducklake | 1.0.0 | OLAP | MIT | C++ |
| ID | 扩展名 | Bin | Lib | Load | Create | Trust | Reloc | 模式 |
|---|---|---|---|---|---|---|---|---|
| 2490 | pg_ducklake | 否 | 是 | 是 | 是 | 否 | 否 | ducklake |
| 相关扩展 | pg_lake pg_duckdb pg_mooncake pg_parquet duckdb_fdw aws_s3 file_fdw pg_bulkload columnar pg_clickhouse |
|---|
版本
| 类型 | 仓库 | 版本 | PG 大版本 | 包名 | 依赖 |
|---|---|---|---|---|---|
| EXT | PIGSTY | 1.0.0 | 1817161514 | pg_ducklake | - |
| RPM | PIGSTY | 1.0.0 | 1817161514 | pg_ducklake_$v | - |
| DEB | PIGSTY | 1.0.0 | 1817161514 | postgresql-$v-pg-ducklake | - |
构建
您可以使用 pig build 命令构建 pg_ducklake 扩展的 RPM / DEB 包:
安装
您可以直接安装 pg_ducklake 扩展包的预置二进制包,首先确保 PGDG 和 PIGSTY 仓库已经添加并启用:
使用 pig 或者是 apt/yum/dnf 安装扩展:
安装
pig
dnf
apt
预加载配置:
创建扩展:
用法
pg_ducklake 为 PostgreSQL 增加 DuckLake 表。DuckLake 元数据存储在 PostgreSQL 中,表数据以 Parquet 格式存储并通过 DuckDB 查询,让 PostgreSQL SQL 客户端可以使用快照、时间旅行查询、分区、排序键和外部对象存储等湖仓功能。
创建 DuckLake 表
当数据需要放在默认路径之外时,应显式设置表路径:
时间旅行查询
每次提交都会创建快照。在修改前记录快照 ID,然后查询旧状态:
转换与加载数据
可以从已有的 PostgreSQL 堆表或外部数据读取器创建 DuckLake 表:
内联、分区与维护
小批量写入默认内联到元数据中,避免产生大量小 Parquet 文件。可以调整行数限制或显式刷出数据:
为表设置分区键和排序键,以便执行裁剪和分析:
当自动后台维护不足时,可以按需执行维护:
外部 DuckDB 访问
DuckDB 客户端可以挂载同一份 DuckLake 元数据:
注意事项
- 版本 1.0.0 支持 PostgreSQL 14-18。
- README 列出的源码构建目标包括 Ubuntu 22.04-24.04 和 macOS。
- 云凭据通过
ducklake_secret外部服务器和逐用户映射存储;应像保护其他数据库密钥一样保护这些目录对象。 - 对于从堆表到 DuckLake 的增量转换,上游指向单独的
pg_duckpipe项目。
这个页面对您有帮助吗?
感谢反馈,我们会据此改进这篇文档。
哪里没有解决?(可选)