From dc6a3e088e8f0bf5cee25a34eed7741fa1107c4a Mon Sep 17 00:00:00 2001 From: q763562998 <49312826+q763562998@users.noreply.github.com> Date: Sun, 16 Apr 2023 22:35:59 +0800 Subject: [PATCH] [doc](multi-catalog)added timing refresh (#18704) For a catalog, we can set the metadata_refresh_interval_sec parameter to specify a timed refresh --- .../lakehouse/multi-catalog/multi-catalog.md | 22 +++++++++++++++++++ 1 file changed, 22 insertions(+) diff --git a/docs/zh-CN/docs/lakehouse/multi-catalog/multi-catalog.md b/docs/zh-CN/docs/lakehouse/multi-catalog/multi-catalog.md index b0e06ef875..12343f7da9 100644 --- a/docs/zh-CN/docs/lakehouse/multi-catalog/multi-catalog.md +++ b/docs/zh-CN/docs/lakehouse/multi-catalog/multi-catalog.md @@ -315,6 +315,8 @@ Doris 的权限管理功能提供了对 Catalog 层级的扩展,具体可参 +#### Hive Metastore + 自动刷新目前仅支持 Hive Metastore 元数据服务。通过让 FE 节点定时读取 HMS 的 notification event 来感知 Hive 表元数据的变更情况,目前支持处理如下event: |事件 | 事件行为和对应的动作 | @@ -358,3 +360,23 @@ Doris 的权限管理功能提供了对 Catalog 层级的扩展,具体可参 ``` > 使用建议: 无论是之前已经创建好的catalog现在想改为自动刷新,还是新创建的 catalog,都只需要把 `enable_hms_events_incremental_sync` 设置为true,重启fe节点,无需重启之前或之后再手动刷新元数据。 + +#### 定时刷新 + +在创建catalog时,在properties 中指定刷新时间参数`metadata_refresh_interval_sec` ,以秒为单位,若在创建catalog时设置了该参数,FE 的master节点会根据参数值定时刷新该catalog。目前支持三种类型 + +- hms:Hive MetaStore +- es:Elasticsearch +- jdbc:数据库访问的标准接口(JDBC) + +##### Example + +``` +-- 设置catalog刷新间隔为20秒 +CREATE CATALOG es PROPERTIES ( + "type"="es", + "hosts"="http://127.0.0.1:9200", + "metadata_refresh_interval_sec"="20" +); +``` +