re2

使用 RE2 的 ClickHouse 兼容正则函数

概览

扩展包名版本分类许可证语言
re20.4.1UTILPostgreSQLC++
ID扩展名BinLibLoadCreateTrustReloc模式
4235re2-

Stable PGXN and PIGSTY package release 0.4.1 for PostgreSQL 16 through 18.

版本

类型仓库版本PG 大版本包名依赖
EXTPIGSTY0.4.11817161514re2-
RPMPIGSTY0.4.11817161514re2_$v-
DEBPIGSTY0.4.11817161514postgresql-$v-re2-
OS / PGPG18PG17PG16PG15PG14
el8.x86_64N/AN/A
el8.aarch64N/AN/A
el9.x86_64N/AN/A
el9.aarch64N/AN/A
el10.x86_64N/AN/A
el10.aarch64N/AN/A
d12.x86_64N/AN/A
d12.aarch64N/AN/A
d13.x86_64N/AN/A
d13.aarch64N/AN/A
u22.x86_64N/AN/A
u22.aarch64N/AN/A
u24.x86_64N/AN/A
u24.aarch64N/AN/A
u26.x86_64N/AN/A
u26.aarch64N/AN/A

构建

您可以使用 pig build 命令构建 re2 扩展的 RPM / DEB 包:

pig build pkg re2         # 构建 RPM / DEB 包

安装

您可以直接安装 re2 扩展包的预置二进制包,首先确保 PGDGPIGSTY 仓库已经添加并启用:

pig repo add pgsql -u          # 添加仓库并更新缓存

使用 pig 或者是 apt/yum/dnf 安装扩展:

pig install re2;          # 当前活跃 PG 版本安装
pig ext install -y re2 -v 18  # PG 18
pig ext install -y re2 -v 17  # PG 17
pig ext install -y re2 -v 16  # PG 16
dnf install -y re2_18       # PG 18
dnf install -y re2_17       # PG 17
dnf install -y re2_16       # PG 16
apt install -y postgresql-18-re2   # PG 18
apt install -y postgresql-17-re2   # PG 17
apt install -y postgresql-16-re2   # PG 16

创建扩展

CREATE EXTENSION re2;

用法

来源:

re2 提供与 ClickHouse 兼容、由 Google RE2 引擎实现的正则表达式函数。它同时提供 textbytea 重载,因此也能搜索包含 \\0 字节的二进制数据。版本 0.4.1 还增加了索引辅助匹配,并可报告所链接的 RE2 版本。

CREATE EXTENSION re2;

SELECT re2match('hello world', 'h.*o');
SELECT re2extract('Order #123', '(\\d+)');
SELECT re2countmatches('a1 b2 c3', '\\d');
SELECT re2_version();

核心函数

  • re2match(haystack, pattern) -> boolean
  • re2extract(haystack, pattern) -> text|bytea
  • re2extractall(haystack, pattern) -> text[]|bytea[]
  • re2regexpextract(haystack, pattern, index default 1) -> text|bytea
  • re2extractgroups(haystack, pattern) -> text[]|bytea[]
  • re2extractallgroupsvertical(haystack, pattern) -> text[]|bytea[]
  • re2extractallgroupshorizontal(haystack, pattern) -> text[]|bytea[]
  • re2regexpquotemeta(haystack) -> text|bytea
  • re2splitbyregexp(pattern, haystack, max_substrings default 0) -> text[]|bytea[]
  • re2replaceregexpone(haystack, pattern, replacement) -> text|bytea
  • re2replaceregexpall(haystack, pattern, replacement) -> text|bytea
  • re2countmatches(...)re2countmatchescaseinsensitive(...)
SELECT re2extractallgroupsvertical('a=1 b=2', '(\\w)=(\\d)');
SELECT re2regexpquotemeta('a+b?');
SELECT re2splitbyregexp('\\s+', 'one two three', 2);

多模式匹配

re2multimatch* 函数族既可接受多个模式参数,也可接受 VARIADIC 数组:

SELECT re2multimatchany('error: timeout', 'timeout', 'denied');
SELECT re2multimatchanyindex('error: timeout', VARIADIC ARRAY['timeout', 'denied']);
SELECT re2multimatchallindices('error: timeout', 'error', 'timeout', 'panic');

索引支持

版本 0.4.0 增加两种互补的索引路径:

-- Anchored constant patterns can use a normal btree prefix scan.
CREATE INDEX docs_body_btree ON docs (body);
SELECT * FROM docs WHERE re2match(body, '^order_2025');

-- The @~ operator can use the extension's GIN operator class.
CREATE INDEX docs_body_re2_gin ON docs USING gin (body gin_re2_ops);
SELECT * FROM docs WHERE body @~ 'timeout|denied';

扩展还为 RE2 谓词提供选择率估算。在 btree、GIN 与顺序扫描之间做选择前,请用代表性数据检查 EXPLAIN

匹配语义

  • 为匹配 ClickHouse 行为,. 默认可以匹配换行符。
  • 如果不希望 . 跨越换行,请在模式前添加 (?-s)
  • 替换字符串支持 \\0\\9 的反向引用。

注意事项

  • 上游要求在构建/安装时存在系统 re2 库。
  • v0.4.x 二进制使用 SQL 扩展版本 0.4;替换旧二进制后,如有待处理的升级,请运行 ALTER EXTENSION re2 UPDATE TO '0.4'
  • v0.4.1 修复了与缓存相关的释放后使用问题,并改善稳定模式与多模式匹配性能;应使用它而不是 v0.4.0
  • re2splitbyregexp 的参数顺序是 pattern, haystack[, max_substrings];早于 0.3.0 的构建使用相反顺序。
  • RE2 有意不支持模式中的反向引用和环视断言等功能;它的有界时间行为与 PostgreSQL 原生正则表达式引擎不同。