diff --git a/docs/en/docs/admin-manual/config/fe-config.md b/docs/en/docs/admin-manual/config/fe-config.md index a212afc669..ee8c4b1a49 100644 --- a/docs/en/docs/admin-manual/config/fe-config.md +++ b/docs/en/docs/admin-manual/config/fe-config.md @@ -1,7 +1,9 @@ --- { "title": "FE Configuration", - "language": "en" + "language": "en", + "toc_min_heading_level": 2, + "toc_max_heading_level": 4 } --- @@ -122,156 +124,141 @@ There are two ways to configure FE configuration items: ## Configurations -### max_dynamic_partition_num +### Metadata And Cluster -Default：500 +#### `meta_dir` + +Default：DORIS_HOME_DIR + "/doris-meta" + +Type: string Description: Doris meta data will be saved here.The storage of this dir is highly recommended as to be: + +- High write performance (SSD) +- Safe (RAID） + +#### `catalog_try_lock_timeout_ms` + +Default：5000 （ms） IsMutable：true -MasterOnly：true +The tryLock timeout configuration of catalog lock. Normally it does not need to change, unless you need to test something. -Used to limit the maximum number of partitions that can be created when creating a dynamic partition table, to avoid creating too many partitions at one time. The number is determined by "start" and "end" in the dynamic partition parameters.. - - - -### max_multi_partition_num - -Default：4096 - -IsMutable：false - -MasterOnly：true - -Used to limit the maximum number of partitions that can be created when multi creating partitions, to avoid creating too many partitions at one time. - - - -### grpc_max_message_size_bytes - -Default：1G - -Used to set the initial flow window size of the GRPC client channel, and also used to max message size. When the result set is large, you may need to increase this value. - -### min_replication_num_per_tablet - -Default: 1 - -Used to set minimal number of replication per tablet. - -### max_replication_num_per_tablet - -Default: 32767 - -Used to set maximal number of replication per tablet. - -### enable_outfile_to_local - -Default：false - -Whether to allow the outfile function to export the results to the local disk. - -### enable_access_file_without_broker - -Default：false - -IsMutable：true - -MasterOnly：true - -This config is used to try skip broker when access bos or other cloud storage via broker - -### enable_bdbje_debug_mode +#### `enable_bdbje_debug_mode` Default：false If set to true, FE will be started in BDBJE debug mode -### enable_http_server_v2 +#### `max_bdbje_clock_delta_ms` -Default：The default is true after the official 0.14.0 version is released, and the default is false before +Default：5000 （5s） -HTTP Server V2 is implemented by SpringBoot. It uses an architecture that separates the front and back ends. Only when httpv2 is enabled can users use the new front-end UI interface. +Set the maximum acceptable clock skew between non-master FE to Master FE host. This value is checked whenever a non-master FE establishes a connection to master FE via BDBJE. The connection is abandoned if the clock skew is larger than this value. -### jetty_server_acceptors +#### `metadata_failure_recovery` -Default：2 +Default：false -### jetty_server_selectors +If true, FE will reset bdbje replication group(that is, to remove all electable nodes info) and is supposed to start as Master. If all the electable nodes can not start, we can copy the meta data to another node and set this config to true to try to restart the FE.. -Default：4 +#### `txn_rollback_limit` -### jetty_server_workers +Default：100 -Default：0 +the max txn number which bdbje can rollback when trying to rejoin the group -With the above three parameters, Jetty's thread architecture model is very simple, divided into acceptors, selectors and workers three thread pools. Acceptors are responsible for accepting new connections, and then hand them over to selectors to process the unpacking of the HTTP message protocol, and finally workers process the request. The first two thread pools adopt a non-blocking model, and one thread can handle the read and write of many sockets, so the number of thread pools is small. +#### `bdbje_replica_ack_timeout_second` -For most projects, only 1-2 acceptors threads are required, and 2 to 4 selectors threads are sufficient. Workers are obstructive business logic, often have more database operations, and require a large number of threads. The specific number depends on the proportion of QPS and IO events of the application. The higher the QPS, the more threads are required, the higher the proportion of IO, the more threads waiting, and the more total threads required. +Default：10 (s) -Worker thread pool is not set by default, set according to your needs +The replica ack timeout when writing to bdbje ， When writing some relatively large logs, the ack time may time out, resulting in log writing failure. At this time, you can increase this value appropriately. +#### `bdbje_lock_timeout_second` -### jetty_server_max_http_post_size +Default：1 -Default：`100 * 1024 * 1024` （100MB） +The lock timeout of bdbje operation， If there are many LockTimeoutException in FE WARN log, you can try to increase this value -This is the maximum number of bytes of the file uploaded by the put or post method, the default value: 100MB +#### `bdbje_heartbeat_timeout_second` -### jetty_server_max_http_header_size +Default：30 -Default：10240 （10K） +The heartbeat timeout of bdbje between master and follower. the default is 30 seconds, which is same as default value in bdbje. If the network is experiencing transient problems, of some unexpected long java GC annoying you, you can try to increase this value to decrease the chances of false timeouts -http header size configuration parameter, the default value is 10K +#### `replica_ack_policy` -### frontend_address +Default：SIMPLE_MAJORITY -Status: Deprecated, not recommended use. This parameter may be deleted later Type: string Description: Explicitly set the IP address of FE instead of using *InetAddress.getByName* to get the IP address. Usually in *InetAddress.getByName* When the expected results cannot be obtained. Only IP address is supported, not hostname. Default value: 0.0.0.0 +OPTION：ALL, NONE, SIMPLE_MAJORITY -### default_max_filter_ratio +Replica ack policy of bdbje. more info, see: http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.ReplicaAckPolicy.html -Default：0 +#### `replica_sync_policy` -IsMutable：true +Default：SYNC -MasterOnly：true +选项：SYNC, NO_SYNC, WRITE_NO_SYNC -Maximum percentage of data that can be filtered (due to reasons such as data is irregularly) , The default value is 0. +Follower FE sync policy of bdbje. -### default_db_data_quota_bytes +#### `master_sync_policy` -Default：1PB +Default：SYNC -IsMutable：true +选项：SYNC, NO_SYNC, WRITE_NO_SYNC -MasterOnly：true +Master FE sync policy of bdbje. If you only deploy one Follower FE, set this to 'SYNC'. If you deploy more than 3 Follower FE, you can set this and the following 'replica_sync_policy' to WRITE_NO_SYNC. more info, see: http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.SyncPolicy.html -Used to set the default database data quota size. To set the quota size of a single database, you can use: +#### `bdbje_reserved_disk_bytes` -``` -Set the database data quota, the unit is:B/K/KB/M/MB/G/GB/T/TB/P/PB -ALTER DATABASE db_name SET DATA QUOTA quota; -View configuration -show data （Detail：HELP SHOW DATA） -``` - -### default_db_replica_quota_size +The desired upper limit on the number of bytes of reserved space to retain in a replicated JE Environment. Default: 1073741824 +Is it possible to dynamically configure: false + +Is it a configuration item unique to the Master FE node: false + +#### `ignore_meta_check` + +Default：false + +IsMutable：true + +If true, non-master FE will ignore the meta data delay gap between Master FE and its self, even if the metadata delay gap exceeds *meta_delay_toleration_second*. Non-master FE will still offer read service. +This is helpful when you try to stop the Master FE for a relatively long time for some reason, but still wish the non-master FE can offer read service. + +#### `meta_delay_toleration_second` + +Default：300 （5分钟） + +Non-master FE will stop offering service if meta data delay gap exceeds *meta_delay_toleration_second* + +#### `edit_log_port` + +Default：9010 + +bdbje port + +#### `edit_log_type` + +Default：BDB + +Edit log type. +BDB: write log to bdbje +LOCAL: deprecated.. + +#### `edit_log_roll_num` + +Default：50000 + IsMutable：true MasterOnly：true -Used to set the default database replica quota. To set the quota size of a single database, you can use: +Master FE will save image every *edit_log_roll_num* meta journals. -``` -Set the database replica quota -ALTER DATABASE db_name SET REPLICA QUOTA quota; -View configuration -show data （Detail：HELP SHOW DATA） -``` - -### enable_batch_delete_by_default +#### `force_do_metadata_checkpoint` Default：false @@ -279,138 +266,244 @@ IsMutable：true MasterOnly：true -Whether to add a delete sign column when create unique table +If set to true, the checkpoint thread will make the checkpoint regardless of the jvm memory used percent -### recover_with_empty_tablet +#### `metadata_checkpoint_memory_threshold` -Default：false +Default：60 （60%） IsMutable：true MasterOnly：true - In some very special circumstances, such as code bugs, or human misoperation, etc., all replicas of some tablets may be lost. In this case, the data has been substantially lost. However, in some scenarios, the business still hopes to ensure that the query will not report errors even if there is data loss, and reduce the perception of the user layer. At this point, we can use the blank Tablet to fill the missing replica to ensure that the query can be executed normally. +If the jvm memory used percent(heap or old mem pool) exceed this threshold, checkpoint thread will not work to avoid OOM. -Set to true so that Doris will automatically use blank replicas to fill tablets which all replicas have been damaged or missing +#### `max_same_name_catalog_trash_num` -### max_allowed_in_element_num_of_delete +It is used to set the maximum number of meta information with the same name in the catalog recycle bin. When the maximum value is exceeded, the earliest deleted meta trash will be completely deleted and cannot be recovered. 0 means not to keep objects of the same name. < 0 means no limit. + +Note: The judgment of metadata with the same name will be limited to a certain range. For example, the judgment of the database with the same name will be limited to the same cluster, the judgment of the table with the same name will be limited to the same database (with the same database id), the judgment of the partition with the same name will be limited to the same database (with the same database id) and the same table (with the same table) same table id). + +Default: 3 + +Is it possible to dynamically configure: true + +Is it a configuration item unique to the Master FE node: true + +#### `cluster_id` + +Default：-1 + +node(FE or BE) will be considered belonging to the same Palo cluster if they have same cluster id. Cluster id is usually a random integer generated when master FE start at first time. You can also specify one. + +#### `heartbeat_mgr_blocking_queue_size` Default：1024 -IsMutable：true +MasterOnly：true + +blocking queue size to store heartbeat task in heartbeat_mgr. + +#### `heartbeat_mgr_threads_num` + +Default：8 MasterOnly：true -This configuration is used to limit element num of InPredicate in delete statement. +num of thread to handle heartbeat events in heartbeat_mgr. -### cache_result_max_row_count - -Default：3000 - -IsMutable：true - -MasterOnly：false - -In order to avoid occupying too much memory, the maximum number of rows that can be cached is 2000 by default. If this threshold is exceeded, the cache cannot be set - -### cache_last_version_interval_second - -Default：900 - -IsMutable：true - -MasterOnly：false - -The time interval of the latest partitioned version of the table refers to the time interval between the data update and the current version. It is generally set to 900 seconds, which distinguishes offline and real-time import - -### cache_enable_partition_mode +#### `disable_cluster_feature` Default：true IsMutable：true -MasterOnly：false +The multi cluster feature will be deprecated in version 0.12 ，set this config to true will disable all operations related to cluster feature, include: -When this switch is turned on, the query result set will be cached according to the partition. If the interval between the query table partition time and the query time is less than cache_last_version_interval_second, the result set will be cached according to the partition. +1. create/drop cluster +2. add free backend/add backend to cluster/decommission cluster balance +3. change the backends num of cluster +4. link/migration db -Part of the data will be obtained from the cache and some data from the disk when querying, and the data will be merged and returned to the client. +#### `enable_deploy_manager` -### cache_enable_sql_mode +Default：disable + +Set to true if you deploy Doris using thirdparty deploy manager + +Valid options are: + +- disable: no deploy manager +- k8s: Kubernetes +- ambari: Ambari +- local: Local File (for test or Boxer2 BCC version) + +#### `with_k8s_certs` + +Default：false + +If use k8s deploy manager locally, set this to true and prepare the certs files + +#### `enable_fqdn_mode` + +This configuration is mainly used in the k8s cluster environment. When enable_fqdn_mode is true, the name of the pod where the be is located will remain unchanged after reconstruction, while the ip can be changed. + +Default: false + +Is it possible to dynamically configure: false + +Is it a configuration item unique to the Master FE node: true + +#### `enable_token_check` Default：true -IsMutable：true +For forward compatibility, will be removed later. check token when download image file. -MasterOnly：false +#### `enable_multi_tags` -If this switch is turned on, the SQL query result set will be cached. If the interval between the last visit version time in all partitions of all tables in the query is greater than cache_last_version_interval_second, and the result set is less than cache_result_max_row_count, the result set will be cached, and the next same SQL will hit the cache +Default: false -If set to true, fe will enable sql result caching. This option is suitable for offline data update scenarios +Is it possible to dynamically configure: false -| | case1 | case2 | case3 | case4 | -| ---------------------- | ----- | ----- | ----- | ----- | -| enable_sql_cache | false | true | true | false | -| enable_partition_cache | false | false | true | true | +Is it a configuration item unique to the Master FE node: true -### min_clone_task_timeout_sec 和 max_clone_task_timeout_sec +Whether to enable the multi-tags function of a single BE -Default：Minimum 3 minutes, maximum two hours +### Service -IsMutable：true +#### `query_port` -MasterOnly：true +Default：9030 -Type: long Description: Used to control the maximum timeout of a clone task. The unit is second. Default value: 7200 Dynamic modification: yes +FE MySQL server port -Can cooperate with `mix_clone_task_timeout_sec` to control the maximum and minimum timeout of a clone task. Under normal circumstances, the timeout of a clone task is estimated by the amount of data and the minimum transfer rate (5MB/s). In some special cases, these two configurations can be used to set the upper and lower bounds of the clone task timeout to ensure that the clone task can be completed successfully. +#### `frontend_address` -### agent_task_resend_wait_time_ms +Status: Deprecated, not recommended use. This parameter may be deleted later -Default：5000 +Type: string -IsMutable：true +Description: Explicitly set the IP address of FE instead of using *InetAddress.getByName* to get the IP address. Usually in *InetAddress.getByName* When the expected results cannot be obtained. Only IP address is supported, not hostname. -MasterOnly：true +Default value: 0.0.0.0 -This configuration will decide whether to resend agent task when create_time for agent_task is set, only when current_time - create_time > agent_task_resend_wait_time_ms can ReportHandler do resend agent task. +#### `priority_networks` -This configuration is currently mainly used to solve the problem of repeated sending of `PUBLISH_VERSION` agent tasks. The current default value of this configuration is 5000, which is an experimental value. +Default：none -Because there is a certain time delay between submitting agent tasks to AgentTaskQueue and submitting to be, Increasing the value of this configuration can effectively solve the problem of repeated sending of agent tasks, +Declare a selection strategy for those servers have many ips. Note that there should at most one ip match this list. this is a list in semicolon-delimited format, in CIDR notation, e.g. 10.10.10.0/24 ， If no ip match this rule, will choose one randomly.. -But at the same time, it will cause the submission of failed or failed execution of the agent task to be executed again for an extended period of time +#### `http_port` -### enable_odbc_table +Default：8030 -Default：false +HTTP bind port. Defaults to 8030 -IsMutable：true +#### `qe_max_connection` -MasterOnly：true +Default：1024 -Whether to enable the ODBC table, it is not enabled by default. You need to manually configure it when you use it. This parameter can be set by: ADMIN SET FRONTEND CONFIG("key"="value") +Maximal number of connections per FE. -### enable_spark_load +#### `max_connection_scheduler_threads_num` -Default：false +Default：4096 -IsMutable：true +Maximal number of thread in connection-scheduler-pool. -MasterOnly：true +The current strategy is to apply for a separate thread for service when there is a request -Whether to enable spark load temporarily, it is not enabled by default +#### `check_java_version` -### disable_storage_medium_check +Default：true -Default：false +Doris will check whether the compiled and run Java versions are compatible, if not, it will throw a Java version mismatch exception message and terminate the startup -IsMutable：true +#### `rpc_port` -MasterOnly：true +Default：9020 -If disable_storage_medium_check is true, ReportHandler would not check tablet's storage medium and disable storage cool down function, the default value is false. You can set the value true when you don't care what the storage medium of the tablet is. +FE Thrift Server port -### drop_backend_after_decommission +#### `thrift_server_type` + +This configuration represents the service model used by The Thrift Service of FE, is of type String and is case-insensitive. + +If this parameter is 'SIMPLE', then the 'TSimpleServer' model is used, which is generally not suitable for production and is limited to test use. + +If the parameter is 'THREADED', then the 'TThreadedSelectorServer' model is used, which is a non-blocking I/O model, namely the master-slave Reactor model, which can timely respond to a large number of concurrent connection requests and performs well in most scenarios. + +If this parameter is `THREAD_POOL`, then the `TThreadPoolServer` model is used, the model for blocking I/O model, use the thread pool to handle user connections, the number of simultaneous connections are limited by the number of thread pool, if we can estimate the number of concurrent requests in advance, and tolerant enough thread resources cost, this model will have a better performance, the service model is used by default + +#### `thrift_server_max_worker_threads` + +Default：4096 + +The thrift server max worker threads + +#### `thrift_backlog_num` + +Default：1024 + +The backlog_num for thrift server ， When you enlarge this backlog_num, you should ensure it's value larger than the linux /proc/sys/net/core/somaxconn config + +#### `thrift_client_timeout_ms` + +Default：0 + +The connection timeout and socket timeout config for thrift server. + +The value for thrift_client_timeout_ms is set to be zero to prevent read timeout. + +#### `use_compact_thrift_rpc` + +Default: true + +Whether to use compressed format to send query plan structure. After it is turned on, the size of the query plan structure can be reduced by about 50%, thereby avoiding some "send fragment timeout" errors. +However, in some high-concurrency small query scenarios, the concurrency may be reduced by about 10%. + +#### `grpc_max_message_size_bytes` + +Default：1G + +Used to set the initial flow window size of the GRPC client channel, and also used to max message size. When the result set is large, you may need to increase this value. + +#### `max_mysql_service_task_threads_num` + +Default：4096 + +When FeEstarts the MySQL server based on NIO model, the number of threads responsible for Task events. Only `mysql_service_nio_enabled` is true takes effect. + +#### `mysql_service_io_threads_num` + +Default：4 + +When FeEstarts the MySQL server based on NIO model, the number of threads responsible for IO events. + +#### `mysql_nio_backlog_num` + +Default：1024 + +The backlog_num for mysql nio server, When you enlarge this backlog_num, you should enlarge the value in the linux /proc/sys/net/core/somaxconn file at the same time + +#### `broker_timeout_ms` + +Default：10000 （10s） + +Default broker RPC timeout + +#### `backend_rpc_timeout_ms` + +Timeout millisecond for Fe sending rpc request to BE + +Default: 60000 + +Is it possible to dynamically configure: false + +Is it a configuration item unique to the Master FE node: true + +#### `drop_backend_after_decommission` Default：false @@ -427,7 +520,49 @@ MasterOnly：true 3. After the decommission operation is completed, the BE will not be dropped. At this time, cancel the decommission status of the BE. Then the data will start to balance from other BE nodes back to this node. At this time, the data will be evenly distributed to all disks of the BE. 4. Perform steps 2 and 3 for all BE nodes in sequence, and finally achieve the purpose of disk balancing for all nodes -### decommission_tablet_check_threshold +#### max_backend_down_time_second + +Default：3600 （1 hours） + +IsMutable：true + +MasterOnly：true + +If a backend is down for *max_backend_down_time_second*, a BACKEND_DOWN event will be triggered. + +#### `disable_backend_black_list` + +Used to disable the BE blacklist function. After this function is disabled, if the query request to the BE fails, the BE will not be added to the blacklist. +This parameter is suitable for regression testing environments to reduce occasional bugs that cause a large number of regression tests to fail. + +Default: false + +Is it possible to configure dynamically: true + +Is it a configuration item unique to the Master FE node: false + +#### `max_backend_heartbeat_failure_tolerance_count` + +The maximum tolerable number of BE node heartbeat failures. If the number of consecutive heartbeat failures exceeds this value, the BE state will be set to dead. +This parameter is suitable for regression test environments to reduce occasional heartbeat failures that cause a large number of regression test failures. + +Default: 1 + +Is it possible to configure dynamically: true + +Whether it is a configuration item unique to the Master FE node: true + +#### `enable_access_file_without_broker` + +Default：false + +IsMutable：true + +MasterOnly：true + +This config is used to try skip broker when access bos or other cloud storage via broker + +#### `agent_task_resend_wait_time_ms` Default：5000 @@ -435,47 +570,143 @@ IsMutable：true MasterOnly：true -This configuration is used to control whether the Master FE need to check the status of tablets on decommissioned BE. If the size of tablets on decommissioned BE is lower than this threshold, FE will start a periodic check, if all tablets on decommissioned BE have been recycled, FE will drop this BE immediately. +This configuration will decide whether to resend agent task when create_time for agent_task is set, only when current_time - create_time > agent_task_resend_wait_time_ms can ReportHandler do resend agent task. -For performance consideration, please don't set a very high value for this configuration. +This configuration is currently mainly used to solve the problem of repeated sending of `PUBLISH_VERSION` agent tasks. The current default value of this configuration is 5000, which is an experimental value. -### period_of_auto_resume_min +Because there is a certain time delay between submitting agent tasks to AgentTaskQueue and submitting to be, Increasing the value of this configuration can effectively solve the problem of repeated sending of agent tasks, -Default：5 （s） +But at the same time, it will cause the submission of failed or failed execution of the agent task to be executed again for an extended period of time -IsMutable：true +#### `max_agent_task_threads_num` + +Default：4096 MasterOnly：true -Automatically restore the cycle of Routine load +max num of thread to handle agent task in agent task thread-pool. -### max_tolerable_backend_down_num +#### `remote_fragment_exec_timeout_ms` + +Default：5000 （ms） + +IsMutable：true + +The timeout of executing async remote fragment. In normal case, the async remote fragment will be executed in a short time. If system are under high load condition，try to set this timeout longer. + +#### `auth_token` + +Default：empty + +Cluster token used for internal authentication. + +#### `enable_http_server_v2` + +Default：The default is true after the official 0.14.0 version is released, and the default is false before + +HTTP Server V2 is implemented by SpringBoot. It uses an architecture that separates the front and back ends. Only when httpv2 is enabled can users use the new front-end UI interface. + +#### `http_api_extra_base_path` + +In some deployment environments, user need to specify an additional base path as the unified prefix of the HTTP API. This parameter is used by the user to specify additional prefixes. +After setting, user can get the parameter value through the `GET /api/basepath` interface. And the new UI will also try to get this base path first to assemble the URL. Only valid when `enable_http_server_v2` is true. + +The default is empty, that is, not set + +#### `jetty_server_acceptors` + +Default：2 + +#### `jetty_server_selectors` + +Default：4 + +#### `jetty_server_workers` Default：0 -IsMutable：true +With the above three parameters, Jetty's thread architecture model is very simple, divided into acceptors, selectors and workers three thread pools. Acceptors are responsible for accepting new connections, and then hand them over to selectors to process the unpacking of the HTTP message protocol, and finally workers process the request. The first two thread pools adopt a non-blocking model, and one thread can handle the read and write of many sockets, so the number of thread pools is small. -MasterOnly：true +For most projects, only 1-2 acceptors threads are required, and 2 to 4 selectors threads are sufficient. Workers are obstructive business logic, often have more database operations, and require a large number of threads. The specific number depends on the proportion of QPS and IO events of the application. The higher the QPS, the more threads are required, the higher the proportion of IO, the more threads waiting, and the more total threads required. -As long as one BE is down, Routine Load cannot be automatically restored +Worker thread pool is not set by default, set according to your needs -### check_java_version +#### `jetty_server_max_http_post_size` -Default：true +Default：`100 * 1024 * 1024` （100MB） -Doris will check whether the compiled and run Java versions are compatible, if not, it will throw a Java version mismatch exception message and terminate the startup +This is the maximum number of bytes of the file uploaded by the put or post method, the default value: 100MB -### max_running_rollup_job_num_per_table +#### `jetty_server_max_http_header_size` + +Default：10240 （10K） + +http header size configuration parameter, the default value is 10K + +#### `enable_tracing` + +Default：false + +IsMutable：false + +MasterOnly：false + +Whether to enable tracking + +If this configuration is enabled, you should also specify the trace_export_url. + +#### `trace_exporter` + +Default：zipkin + +IsMutable：false + +MasterOnly：false + +Current support for exporting traces: + zipkin: Export traces directly to zipkin, which is used to enable the tracing feature quickly. + collector: The collector can be used to receive and process traces and support export to a variety of third-party systems. +If this configuration is enabled, you should also specify the enable_tracing=true and trace_export_url. + +#### `trace_export_url` + +Default：`http://127.0.0.1:9411/api/v2/spans` + +IsMutable：false + +MasterOnly：false + +trace export to zipkin like: `http://127.0.0.1:9411/api/v2/spans` + +trace export to collector like: `http://127.0.0.1:4318/v1/traces` + +### Query Engine + +#### `default_max_query_instances` + +The default value when user property max_query_instances is equal or less than 0. This config is used to limit the max number of instances for a user. This parameter is less than or equal to 0 means unlimited. + +The default value is -1 + +#### `max_query_retry_time` Default：1 IsMutable：true +The number of query retries. A query may retry if we encounter RPC exception and no result has been sent to user. You may reduce this number to avoid Avalanche disaster + +#### `max_dynamic_partition_num` + +Default：500 + +IsMutable：true + MasterOnly：true -Control the concurrency limit of Rollup jobs +Used to limit the maximum number of partitions that can be created when creating a dynamic partition table, to avoid creating too many partitions at one time. The number is determined by "start" and "end" in the dynamic partition parameters.. -### dynamic_partition_enable +#### `dynamic_partition_enable` Default：true @@ -485,7 +716,7 @@ MasterOnly：true Whether to enable dynamic partition scheduler, enabled by default -### dynamic_partition_check_interval_seconds +#### `dynamic_partition_check_interval_seconds` Default：600 （s） @@ -495,19 +726,113 @@ MasterOnly：true Decide how often to check dynamic partition -### disable_cluster_feature + + +#### `max_multi_partition_num` + +Default：4096 + +IsMutable：false + +MasterOnly：true + +Used to limit the maximum number of partitions that can be created when multi creating partitions, to avoid creating too many partitions at one time. + + + +#### `partition_in_memory_update_interval_secs` + +Default：300 (s) + +IsMutable：true + +MasterOnly：true + +Time to update global partition information in memory + +#### `enable_concurrent_update` + +Default：false + +IsMutable：false + +MasterOnly：true + +Whether to enable concurrent update + +#### `lower_case_table_names` + +Default：0 + +IsMutable：false + +MasterOnly：true + +This configuration can only be configured during cluster initialization and cannot be modified during cluster +restart and upgrade after initialization is complete. + +0: table names are stored as specified and comparisons are case sensitive. +1: table names are stored in lowercase and comparisons are not case sensitive. +2: table names are stored as given but compared in lowercase. + +#### `table_name_length_limit` + +Default：64 + +IsMutable：true + +MasterOnly：true + +Used to control the maximum table name length + +#### `cache_enable_sql_mode` Default：true IsMutable：true -The multi cluster feature will be deprecated in version 0.12 ，set this config to true will disable all operations related to cluster feature, include: - create/drop cluster - add free backend/add backend to cluster/decommission cluster balance - change the backends num of cluster - link/migration db +MasterOnly：false -### force_do_metadata_checkpoint +If this switch is turned on, the SQL query result set will be cached. If the interval between the last visit version time in all partitions of all tables in the query is greater than cache_last_version_interval_second, and the result set is less than cache_result_max_row_count, the result set will be cached, and the next same SQL will hit the cache + +If set to true, fe will enable sql result caching. This option is suitable for offline data update scenarios + +| | case1 | case2 | case3 | case4 | +| ---------------------- | ----- | ----- | ----- | ----- | +| enable_sql_cache | false | true | true | false | +| enable_partition_cache | false | false | true | true | + +#### `cache_enable_partition_mode` + +Default：true + +IsMutable：true + +MasterOnly：false + +If set to true, fe will get data from be cache, This option is suitable for real-time updating of partial partitions. + +#### `cache_result_max_row_count` + +Default：3000 + +IsMutable：true + +MasterOnly：false + +In order to avoid occupying too much memory, the maximum number of rows that can be cached is 2000 by default. If this threshold is exceeded, the cache cannot be set + +#### `cache_last_version_interval_second` + +Default：900 + +IsMutable：true + +MasterOnly：false + +The time interval of the latest partitioned version of the table refers to the time interval between the data update and the current version. It is generally set to 900 seconds, which distinguishes offline and real-time import + +#### `enable_batch_delete_by_default` Default：false @@ -515,19 +840,29 @@ IsMutable：true MasterOnly：true -If set to true, the checkpoint thread will make the checkpoint regardless of the jvm memory used percent +Whether to add a delete sign column when create unique table -### metadata_checkpoint_memory_threshold +#### `max_allowed_in_element_num_of_delete` -Default：60 （60%） +Default：1024 IsMutable：true MasterOnly：true - If the jvm memory used percent(heap or old mem pool) exceed this threshold, checkpoint thread will not work to avoid OOM. +This configuration is used to limit element num of InPredicate in delete statement. -### max_distribution_pruner_recursion_depth +#### `max_running_rollup_job_num_per_table` + +Default：1 + +IsMutable：true + +MasterOnly：true + +Control the concurrency limit of Rollup jobs + +#### `max_distribution_pruner_recursion_depth` Default：100 @@ -536,80 +871,135 @@ IsMutable：true MasterOnly：false This will limit the max recursion depth of hash distribution pruner. - eg: where a in (5 elements) and b in (4 elements) and c in (3 elements) and d in (2 elements). - a/b/c/d are distribution columns, so the recursion depth will be 5 * 4 * 3 * 2 = 120, larger than 100, - So that distribution pruner will no work and just return all buckets. - Increase the depth can support distribution pruning for more elements, but may cost more CPU. +eg: where a in (5 elements) and b in (4 elements) and c in (3 elements) and d in (2 elements). +a/b/c/d are distribution columns, so the recursion depth will be 5 * 4 * 3 * 2 = 120, larger than 100, +So that distribution pruner will no work and just return all buckets. +Increase the depth can support distribution pruning for more elements, but may cost more CPU. -### max_backup_restore_job_num_per_db - -Default: 10 - -This configuration is mainly used to control the number of backup/restore tasks recorded in each database. - -### using_old_load_usage_pattern +#### `enable_local_replica_selection` Default：false IsMutable：true -MasterOnly：true +If set to true, Planner will try to select replica of tablet on same host as this Frontend. +This may reduce network transmission in following case: -If set to true, the insert stmt with processing error will still return a label to user. And user can use this label to check the load job's status. The default value is false, which means if insert operation encounter errors, exception will be thrown to user client directly without load label. +- N hosts with N Backends and N Frontends deployed. -### small_file_dir +- The data has N replicas. -Default：DORIS_HOME_DIR/small_files +- High concurrency queries are syyuyuient to all Frontends evenly -Save small files +In this case, all Frontends can only use local replicas to do the query. If you want to allow fallback to nonlocal replicas when no local replicas available, set enable_local_replica_selection_fallback to true. -### max_small_file_size_bytes +#### `enable_local_replica_selection_fallback` -Default：1M +Default：false + +IsMutable：true + +Used with enable_local_replica_selection. If the local replicas is not available, fallback to the nonlocal replicas. + +#### `expr_depth_limit` + +Default：3000 + +IsMutable：true + +Limit on the depth of an expr tree. Exceed this limit may cause long analysis time while holding db read lock. Do not set this if you know what you are doing + +#### expr_children_limit + +Default：10000 + +IsMutable：true + +Limit on the number of expr children of an expr tree. Exceed this limit may cause long analysis time while holding database read lock. + +#### `be_exec_version` + +Used to define the serialization format for passing blocks between fragments. + +Sometimes some of our code changes will change the data format of the block. In order to make the BE compatible with each other during the rolling upgrade process, we need to issue a data version from the FE to decide what format to send the data in. + +Specifically, for example, there are 2 BEs in the cluster, one of which can support the latest $v_1$ after being upgraded, while the other only supports $v_0$. At this time, since the FE has not been upgraded yet, $v_0 is issued uniformly. $, BE interact in the old data format. After all BEs are upgraded, we will upgrade FE. At this time, the new FE will issue $v_1$, and the cluster will be uniformly switched to the new data format. + + +The default value is `max_be_exec_version`. If there are special needs, we can manually set the format version to lower, but it should not be lower than `min_be_exec_version`. + +Note that we should always keep the value of this variable between `BeExecVersionManager::min_be_exec_version` and `BeExecVersionManager::max_be_exec_version` for all BEs. (That is to say, if a cluster that has completed the update needs to be downgraded, it should ensure the order of downgrading FE and then downgrading BE, or manually lower the variable in the settings and downgrade BE) + +#### `max_be_exec_version` + +The latest data version currently supported, cannot be modified, and should be consistent with the `BeExecVersionManager::max_be_exec_version` in the BE of the matching version. + +#### `min_be_exec_version` + +The oldest data version currently supported, which cannot be modified, should be consistent with the `BeExecVersionManager::min_be_exec_version` in the BE of the matching version. + +#### `max_query_profile_num` + +The max number of query profile. + +Default: 100 + +Is it possible to dynamically configure: true + +Is it a configuration item unique to the Master FE node: false + +#### `publish_version_interval_ms` + +Default：10 （ms） + +minimal intervals between two publish version action + +#### `publish_version_timeout_second` + +Default：30 （s） IsMutable：true MasterOnly：true -The max size of a single file store in SmallFileMgr +Maximal waiting time for all publish version tasks of one transaction to be finished -### max_small_file_number +#### `query_colocate_join_memory_limit_penalty_factor` -Default：100 +Default：1 + +IsMutable：true + +colocote join PlanFragment instance的memory_limit = exec_mem_limit / min (query_colocate_join_memory_limit_penalty_factor, instance_num) + +#### `rewrite_count_distinct_to_bitmap_hll` + +Default: true + +This variable is a session variable, and the session level takes effect. + +- Type: boolean +- Description: **Only for the table of the AGG model**, when the variable is true, when the user query contains aggregate functions such as count(distinct c1), if the type of the c1 column itself is bitmap, count distnct will be rewritten It is bitmap_union_count(c1). When the type of the c1 column itself is hll, count distinct will be rewritten as hll_union_agg(c1) If the variable is false, no overwriting occurs.. + +### Load And Export + +#### `enable_vectorized_load` + +Default: true + +Whether to enable vectorized load + +#### `default_max_filter_ratio` + +Default：0 IsMutable：true MasterOnly：true -The max number of files store in SmallFileMgr +Maximum percentage of data that can be filtered (due to reasons such as data is irregularly) , The default value is 0. -### max_routine_load_task_num_per_be - -Default：5 - -IsMutable：true - -MasterOnly：true - -the max concurrent routine load task num per BE. This is to limit the num of routine load tasks sending to a BE, and it should also less than BE config 'routine_load_thread_pool_size'(default 10), which is the routine load task thread pool size on BE. - -### max_routine_load_task_concurrent_num - -Default：5 - -IsMutable：true - -MasterOnly：true - -the max concurrent routine load task num of a single routine load job - -### max_routine_load_job_num - -Default：100 - -the max routine load job num, including NEED_SCHEDULED, RUNNING, PAUSE - -### max_running_txn_num_per_db +#### `max_running_txn_num_per_db` Default：100 @@ -629,76 +1019,7 @@ When this error is encountered, it means that the load jobs currently running in Generally it is not recommended to increase this configuration value. An excessively high number of concurrency may cause excessive system load -### enable_metric_calculator - -Default：true - -If set to true, metric collector will be run as a daemon timer to collect metrics at fix interval - -### report_queue_size - -Default： 100 - -IsMutable：true - -MasterOnly：true - - This threshold is to avoid piling up too many report task in FE, which may cause OOM exception. In some large Doris cluster, eg: 100 Backends with ten million replicas, a tablet report may cost several seconds after some modification of metadata(drop partition, etc..). And one Backend will report tablets info every 1 min, so unlimited receiving reports is unacceptable. we will optimize the processing speed of tablet report in future, but now, just discard the report if queue size exceeding limit. - Some online time cost: - 1. disk report: 0-1 msta - 2. sk report: 0-1 ms - 3. tablet report - 4. 10000 replicas: 200ms - -### partition_rebalance_max_moves_num_per_selection - -Default：10 - -IsMutable：true - -MasterOnly：true - -Valid only if use PartitionRebalancer， - -### partition_rebalance_move_expire_after_access - -Default：600 (s) - -IsMutable：true - -MasterOnly：true - -Valid only if use PartitionRebalancer. If this changed, cached moves will be cleared - -### tablet_rebalancer_type - -Default：BeLoad - -MasterOnly：true - -Rebalancer type(ignore case): BeLoad, Partition. If type parse failed, use BeLoad as default - -### max_balancing_tablets - -Default：100 - -IsMutable：true - -MasterOnly：true - -if the number of balancing tablets in TabletScheduler exceed max_balancing_tablets, no more balance check - -### max_scheduling_tablets - -Default：2000 - -IsMutable：true - -MasterOnly：true - -if the number of scheduled tablets in TabletScheduler exceed max_scheduling_tablets skip checking. - -### disable_balance +#### `using_old_load_usage_pattern` Default：false @@ -706,67 +1027,9 @@ IsMutable：true MasterOnly：true -if set to true, TabletScheduler will not do balance. +If set to true, the insert stmt with processing error will still return a label to user. And user can use this label to check the load job's status. The default value is false, which means if insert operation encounter errors, exception will be thrown to user client directly without load label. -### balance_load_score_threshold - -Default：0.1 (10%) - -IsMutable：true - -MasterOnly：true - -the threshold of cluster balance score, if a backend's load score is 10% lower than average score, this backend will be marked as LOW load, if load score is 10% higher than average score, HIGH load will be marked - -### schedule_slot_num_per_path - -Default：2 - -the default slot number per path in tablet scheduler , remove this config and dynamically adjust it by clone task statistic - -### tablet_repair_delay_factor_second - -Default：60 （s） - -IsMutable：true - -MasterOnly：true - -the factor of delay time before deciding to repair tablet. if priority is VERY_HIGH, repair it immediately. - -- HIGH, delay tablet_repair_delay_factor_second * 1; -- NORMAL: delay tablet_repair_delay_factor_second * 2; -- LOW: delay tablet_repair_delay_factor_second * 3; - -### es_state_sync_interval_second - -Default：10 - -fe will call es api to get es index shard info every es_state_sync_interval_secs - -### disable_hadoop_load - -Default：false - -IsMutable：true - -MasterOnly：true - -Load using hadoop cluster will be deprecated in future. Set to true to disable this kind of load. - -### db_used_data_quota_update_interval_secs - -Default：300 (s) - -IsMutable：true - -MasterOnly：true - -For better data load performance, in the check of whether the amount of data used by the database before data load exceeds the quota, we do not calculate the amount of data already used by the database in real time, but obtain the periodically updated value of the daemon thread. - -This configuration is used to set the time interval for updating the value of the amount of data used by the database - -### disable_load_job +#### `disable_load_job` Default：false @@ -776,56 +1039,22 @@ MasterOnly：true if this is set to true -- all pending load job will failed when call begin txn api -- all prepare load job will failed when call commit txn api -- all committed load job will waiting to be published +- all pending load job will failed when call begin txn api +- all prepare load job will failed when call commit txn api +- all committed load job will waiting to be published -### catalog_try_lock_timeout_ms +#### `commit_timeout_second` -Default：5000 （ms） +Default：30 IsMutable：true -The tryLock timeout configuration of catalog lock. Normally it does not need to change, unless you need to test something. +MasterOnly：true -### max_query_retry_time +Maximal waiting time for all data inserted before one transaction to be committed +This is the timeout second for the command "commit" -Default：1 - -IsMutable：true - -The number of query retries. A query may retry if we encounter RPC exception and no result has been sent to user. You may reduce this number to avoid Avalanche disaster - -### remote_fragment_exec_timeout_ms - -Default：5000 （ms） - -IsMutable：true - -The timeout of executing async remote fragment. In normal case, the async remote fragment will be executed in a short time. If system are under high load condition，try to set this timeout longer. - -### enable_local_replica_selection - -Default：false - -IsMutable：true - -If set to true, Planner will try to select replica of tablet on same host as this Frontend. This may reduce network transmission in following case: - -- N hosts with N Backends and N Frontends deployed. -- The data has N replicas. -- High concurrency queries are syyuyuient to all Frontends evenly -- In this case, all Frontends can only use local replicas to do the query. If you want to allow fallback to nonlocal replicas when no local replicas available, set enable_local_replica_selection_fallback to true. - -### enable_local_replica_selection_fallback - -Default：false - -IsMutable：true - -Used with enable_local_replica_selection. If the local replicas is not available, fallback to the nonlocal replicas. - -### max_unfinished_load_job +#### `max_unfinished_load_job` Default：1000 @@ -833,9 +1062,53 @@ IsMutable：true MasterOnly：true - Max number of load jobs, include PENDING、ETL、LOADING、QUORUM_FINISHED. If exceed this number, load job is not allowed to be submitted +Max number of load jobs, include PENDING、ETL、LOADING、QUORUM_FINISHED. If exceed this number, load job is not allowed to be submitted -### max_bytes_per_broker_scanner +#### `db_used_data_quota_update_interval_secs` + +Default：300 (s) + +IsMutable：true + +MasterOnly：true + +One master daemon thread will update database used data quota for db txn manager every `db_used_data_quota_update_interval_secs` + +For better data load performance, in the check of whether the amount of data used by the database before data load exceeds the quota, we do not calculate the amount of data already used by the database in real time, but obtain the periodically updated value of the daemon thread. + +This configuration is used to set the time interval for updating the value of the amount of data used by the database + +#### `disable_show_stream_load` + +Default：false + +IsMutable：true + +MasterOnly：true + +Whether to disable show stream load and clear stream load records in memory. + +#### `max_stream_load_record_size` + +Default：5000 + +IsMutable：true + +MasterOnly：true + +Default max number of recent stream load record that can be stored in memory. + +#### `fetch_stream_load_record_interval_second` + +Default：120 + +IsMutable：true + +MasterOnly：true + +fetch stream load record interval. + +#### `max_bytes_per_broker_scanner` Default：`3 * 1024 * 1024 * 1024L` （3G） @@ -845,257 +1118,7 @@ MasterOnly：true Max bytes a broker scanner can process in one broker load job. Commonly, each Backends has one broker scanner. -### enable_auth_check - -Default：true - -if set to false, auth check will be disable, in case some goes wrong with the new privilege system. - -### tablet_stat_update_interval_second - -Default：300（5min） - -update interval of tablet stat , All frontends will get tablet stat from all backends at each interval - -### storage_flood_stage_usage_percent - -Default：95 （95%） - -IsMutable：true - -MasterOnly：true - -### storage_flood_stage_left_capacity_bytes - -Default： - - storage_flood_stage_usage_percent : 95 (95%) - - storage_flood_stage_left_capacity_bytes : 1 * 1024 * 1024 * 1024 (1GB) - -IsMutable：true - -MasterOnly：true - -If capacity of disk reach the 'storage_flood_stage_usage_percent' and 'storage_flood_stage_left_capacity_bytes', the following operation will be rejected: - -1. load job -2. restore job - -### storage_high_watermark_usage_percent - -Default：85 (85%) - -IsMutable：true - -MasterOnly：true - -### storage_min_left_capacity_bytes - -Default： `2 * 1024 * 1024 * 1024` (2GB) - -IsMutable：true - -MasterOnly：true - - 'storage_high_watermark_usage_percent' limit the max capacity usage percent of a Backend storage path. 'storage_min_left_capacity_bytes' limit the minimum left capacity of a Backend storage path. If both limitations are reached, this storage path can not be chose as tablet balance destination. But for tablet recovery, we may exceed these limit for keeping data integrity as much as possible. - -### backup_job_default_timeout_ms - -Default：86400 * 1000 (1day) - -IsMutable：true - -MasterOnly：true - -default timeout of backup job - -### with_k8s_certs - -Default：false - -If use k8s deploy manager locally, set this to true and prepare the certs files - -### dpp_hadoop_client_path - -Default：/lib/hadoop-client/hadoop/bin/hadoop - -### dpp_bytes_per_reduce - -Default：`100 * 1024 * 1024L` (100M) - -### dpp_default_cluster - -Default：palo-dpp - -### dpp_default_config_str - -Default：{ - hadoop_configs : 'mapred.job.priority=NORMAL;mapred.job.map.capacity=50;mapred.job.reduce.capacity=50;mapred.hce.replace.streaming=false;abaci.long.stored.job=true;dce.shuffle.enable=false;dfs.client.authserver.force_stop=true;dfs.client.auth.method=0' - } - -### dpp_config_str - -Default：{ - palo-dpp : { - hadoop_palo_path : '/dir', - hadoop_configs : 'fs.default.name=hdfs://host:port;mapred.job.tracker=host:port;hadoop.job.ugi=user,password' - } - } - -### enable_deploy_manager - -Default：disable - - Set to true if you deploy Palo using thirdparty deploy manager Valid options are: - -- disable: no deploy manager -- k8s: Kubernetes -- ambari: Ambari -- local: Local File (for test or Boxer2 BCC version) - -### enable_token_check - -Default：true - -For forward compatibility, will be removed later. check token when download image file. - -### expr_depth_limit - -Default：3000 - -IsMutable：true - -Limit on the depth of an expr tree. Exceed this limit may cause long analysis time while holding db read lock. Do not set this if you know what you are doing - -### expr_children_limit - -Default：10000 - -IsMutable：true - -Limit on the number of expr children of an expr tree. Exceed this limit may cause long analysis time while holding database read lock. - -### proxy_auth_magic_prefix - -Default：x@8 - -### proxy_auth_enable - -Default：false - -### meta_publish_timeout_ms - -Default：1000 （ms） - -The default user resource publishing timeout - -### disable_colocate_balance - -Default：false - -IsMutable：true - -MasterOnly：true - -This configs can set to true to disable the automatic colocate tables's relocate and balance. If 'disable_colocate_balance' is set to true, ColocateTableBalancer will not relocate and balance colocate tables. - **Attention**: - -- Under normal circumstances, there is no need to turn off balance at all. -- Because once the balance is turned off, the unstable colocate table may not be restored -- Eventually the colocate plan cannot be used when querying. - -### query_colocate_join_memory_limit_penalty_factor - -Default：1 - -IsMutable：true - -colocote join PlanFragment instance的memory_limit = exec_mem_limit / min (query_colocate_join_memory_limit_penalty_factor, instance_num) - -### max_connection_scheduler_threads_num - -Default：4096 - -Maximal number of thread in connection-scheduler-pool. - -### qe_max_connection - -Default：1024 - -Maximal number of connections per FE. - -### check_consistency_default_timeout_second - -Default：600 （10 minutes） - -IsMutable：true - -MasterOnly：true - -Default timeout of a single consistency check task. Set long enough to fit your tablet size - -### consistency_check_start_time - -Default：23 - -IsMutable：true - -MasterOnly：true - -Consistency checker will run from *consistency_check_start_time* to *consistency_check_end_time*. - -If the two times are the same, no consistency check will be triggered. - -### consistency_check_end_time - -Default：23 - -IsMutable：true - -MasterOnly：true - -Consistency checker will run from *consistency_check_start_time* to *consistency_check_end_time*. - -If the two times are the same, no consistency check will be triggered. - -### export_tablet_num_per_task - -Default：5 - -IsMutable：true - -MasterOnly：true - -Number of tablets per export query plan - -### export_task_default_timeout_second - -Default：2 * 3600 （2 hour） - -IsMutable：true - -MasterOnly：true - -Default timeout of export jobs. - -### export_running_job_num_limit - -Default：5 - -IsMutable：true - -MasterOnly：true - -Limitation of the concurrency of running export jobs. Default is 5. 0 is unlimited - -### export_checker_interval_second - -Default：5 - -Export checker's running interval. - -### default_load_parallelism +#### `default_load_parallelism` Default: 1 @@ -1105,8 +1128,9 @@ MasterOnly：true Default parallelism of the broker load execution plan on a single node. If the user to set the parallelism when the broker load is submitted, this parameter will be ignored. +This parameter will determine the concurrency of import tasks together with multiple configurations such as `max broker concurrency`, `min bytes per broker scanner`. -### max_broker_concurrency +#### `max_broker_concurrency` Default：10 @@ -1114,9 +1138,9 @@ IsMutable：true MasterOnly：true -Maximal concurrency of broker scanners. +Maximal concurrency of broker scanners. -### min_bytes_per_broker_scanner +#### `min_bytes_per_broker_scanner` Default：67108864L (64M) @@ -1124,87 +1148,19 @@ IsMutable：true MasterOnly：true -Minimum bytes that a single broker scanner will read. +Minimum bytes that a single broker scanner will read. -### catalog_trash_expire_second +#### `period_of_auto_resume_min` -Default：86400L (1day) +Default：5 （s） IsMutable：true MasterOnly：true -After dropping database(table/partition), you can recover it by using RECOVER stmt. And this specifies the maximal data retention time. After time, the data will be deleted permanently. +Automatically restore the cycle of Routine load -### storage_cooldown_second - -Default：`30 * 24 * 3600L` （30 days） - -When create a table(or partition), you can specify its storage medium(HDD or SSD). If set to SSD, this specifies the default duration that tablets will stay on SSD. After that, tablets will be moved to HDD automatically. You can set storage cooldown time in CREATE TABLE stmt. - -### default_storage_medium - -Default：HDD - -When create a table(or partition), you can specify its storage medium(HDD or SSD). If not set, this specifies the default medium when creat. - -### max_backend_down_time_second - -Default：3600 （1 hours） - -IsMutable：true - -MasterOnly：true - -If a backend is down for *max_backend_down_time_second*, a BACKEND_DOWN event will be triggered. - -### alter_table_timeout_second - -Default：86400 （1 day） - -IsMutable：true - -MasterOnly：true - -Maximal timeout of ALTER TABLE request. Set long enough to fit your table data size. - -### capacity_used_percent_high_water - -Default：0.75 （75%） - -IsMutable：true - -MasterOnly：true - -The high water of disk capacity used percent. This is used for calculating load score of a backend - -### clone_distribution_balance_threshold - -Default：0.2 - -IsMutable：true - -MasterOnly：true - -Balance threshold of num of replicas in Backends. - -### clone_capacity_balance_threshold - -Default：0.2 - -IsMutable：true - -MasterOnly：true - -Balance threshold of data size in BE. - The balance algorithm is: - -1. Calculate the average used capacity(AUC) of the entire cluster. (total data size / total backends num) -2. The high water level is (AUC * (1 + clone_capacity_balance_threshold)) -3. The low water level is (AUC * (1 - clone_capacity_balance_threshold)) -4. The Clone checker will try to move replica from high water level BE to low water level BE. - -### replica_delay_recovery_second +#### `max_tolerable_backend_down_num` Default：0 @@ -1212,19 +1168,73 @@ IsMutable：true MasterOnly：true -the minimal delay seconds between a replica is failed and fe try to recovery it using clone. +As long as one BE is down, Routine Load cannot be automatically restored -### tablet_delete_timeout_second +#### `max_routine_load_task_num_per_be` -Default：2 +Default：5 IsMutable：true MasterOnly：true -Same meaning as *tablet_create_timeout_second*, but used when delete a tablet. +the max concurrent routine load task num per BE. This is to limit the num of routine load tasks sending to a BE, and it should also less than BE config 'routine_load_thread_pool_size'(default 10), which is the routine load task thread pool size on BE. -### async_loading_load_task_pool_size +#### `max_routine_load_task_concurrent_num` + +Default：5 + +IsMutable：true + +MasterOnly：true + +the max concurrent routine load task num of a single routine load job + +#### `max_routine_load_job_num` + +Default：100 + +the max routine load job num, including NEED_SCHEDULED, RUNNING, PAUSE + +#### `desired_max_waiting_jobs` + +Default：100 + +IsMutable：true + +MasterOnly：true + +Default number of waiting jobs for routine load and version 2 of load ， This is a desired number. In some situation, such as switch the master, the current number is maybe more than desired_max_waiting_jobs. + +#### `disable_hadoop_load` + +Default：false + +IsMutable：true + +MasterOnly：true + +Load using hadoop cluster will be deprecated in future. Set to true to disable this kind of load. + +#### `enable_spark_load` + +Default：false + +IsMutable：true + +MasterOnly：true + +Whether to enable spark load temporarily, it is not enabled by default + +**Note:** This parameter has been deleted in version 1.2, spark_load is enabled by default + +#### `spark_load_checker_interval_second` + +Default：60 + +Spark load scheduler run interval, default 60 seconds + +#### `async_loading_load_task_pool_size` Default：10 @@ -1236,7 +1246,7 @@ The loading_load task executor pool size. This pool size limits the max running Currently, it only limits the loading_load task of broker load -### async_pending_load_task_pool_size +#### `async_pending_load_task_pool_size` Default：10 @@ -1250,7 +1260,7 @@ Currently, it only limits the pending_load task of broker load and spark load. It should be less than 'max_running_txn_num_per_db' -### async_load_task_pool_size +#### `async_load_task_pool_size` Default：10 @@ -1260,7 +1270,7 @@ MasterOnly：true This configuration is just for compatible with old version, this config has been replaced by async_loading_load_task_pool_size, it will be removed in the future. -### disable_show_stream_load +#### `enable_single_replica_load` Default：false @@ -1268,126 +1278,9 @@ IsMutable：true MasterOnly：true -Whether to disable show stream load and clear stream load records in memory. +Whether to enable to write single replica for stream load and broker load. -### max_stream_load_record_size - -Default：5000 - -IsMutable：true - -MasterOnly：true - -Default max number of recent stream load record that can be stored in memory. - -### fetch_stream_load_record_interval_second - -Default：120 - -IsMutable：true - -MasterOnly：true - -fetch stream load record interval. - -### `enable_single_replica_stream_load` - -Default：false - -IsMutable：true - -MasterOnly：true - -Whether to enable the function of single replica load for stream load. - -### `enable_single_replica_broker_load` - -Default：false - -IsMutable：true - -MasterOnly：true - -Whether to enable the function of single replica load for broker load. - -### `enable_single_replica_insert` - -Default：false - -IsMutable：true - -MasterOnly：true - -Whether to enable the function of single replica load for insert. - -### desired_max_waiting_jobs - -Default：100 - -IsMutable：true - -MasterOnly：true - -Default number of waiting jobs for routine load and version 2 of load ， This is a desired number. In some situation, such as switch the master, the current number is maybe more than desired_max_waiting_jobs. - -### yarn_config_dir - -Default：PaloFe.DORIS_HOME_DIR + "/lib/yarn-config" - -Default yarn config file directory ，Each time before running the yarn command, we need to check that the config file exists under this path, and if not, create them. - - -### yarn_client_path - -Default：DORIS_HOME_DIR + "/lib/yarn-client/hadoop/bin/yarn" - -Default yarn client path - -### spark_launcher_log_dir - -Default： sys_log_dir + "/spark_launcher_log" - -The specified spark launcher log dir - -### spark_resource_path - -Default：none - -Default spark dependencies path - -### spark_home_default_dir - -Default：DORIS_HOME_DIR + "/lib/spark2x" - -Default spark home dir - -### spark_load_default_timeout_second - -Default：86400 (1天) - -IsMutable：true - -MasterOnly：true - -Default spark load timeout - -### spark_dpp_version - -Default：1.0.0 - -Default spark dpp version - -### hadoop_load_default_timeout_second - -Default：86400 * 3 (3天) - -IsMutable：true - -MasterOnly：true - -Default hadoop load timeout - -### min_load_timeout_second +#### `min_load_timeout_second` Default：1 （1s） @@ -1397,7 +1290,7 @@ MasterOnly：true Min stream load timeout applicable to all type of load -### max_stream_load_timeout_second +#### `max_stream_load_timeout_second` Default：259200 （3天） @@ -1407,7 +1300,7 @@ MasterOnly：true This configuration is specifically used to limit timeout setting for stream load. It is to prevent that failed stream load transactions cannot be canceled within a short time because of the user's large timeout setting -### max_load_timeout_second +#### `max_load_timeout_second` Default：259200 （3天） @@ -1417,9 +1310,9 @@ MasterOnly：true Max load timeout applicable to all type of load except for stream load -### stream_load_default_timeout_second +#### `stream_load_default_timeout_second` -Default：600 （s） +Default：600（s） IsMutable：true @@ -1427,9 +1320,19 @@ MasterOnly：true Default stream load and streaming mini load timeout -### insert_load_default_timeout_second +#### `stream_load_default_precommit_timeout_second` -Default：3600 （1 hour） +Default：3600（s） + +IsMutable：true + +MasterOnly：true + +Default stream load pre-submission timeout + +#### `insert_load_default_timeout_second` + +Default：3600（1 hour） IsMutable：true @@ -1437,9 +1340,9 @@ MasterOnly：true Default insert load timeout -### mini_load_default_timeout_second +#### `mini_load_default_timeout_second` -Default：3600 （1 hour） +Default：3600（1 hour） IsMutable：true @@ -1447,9 +1350,9 @@ MasterOnly：true Default non-streaming mini load timeout -### broker_load_default_timeout_second +#### `broker_load_default_timeout_second` -Default：14400 （4 hour） +Default：14400（4 hour） IsMutable：true @@ -1457,13 +1360,27 @@ MasterOnly：true Default broker load timeout -### broker_timeout_ms +#### `spark_load_default_timeout_second` -Default：10000 （10s） +Default：86400 (1 Day) -Default broker RPC timeout +IsMutable：true -### load_running_job_num_limit +MasterOnly：true + +Default spark load timeout + +#### `hadoop_load_default_timeout_second` + +Default：86400 * 3 (3 Day) + +IsMutable：true + +MasterOnly：true + +Default hadoop load timeout + +#### `load_running_job_num_limit` Default：0 @@ -1473,7 +1390,7 @@ MasterOnly：true The number of loading tasks is limited, the default is 0, no limit -### load_input_size_limit_gb +#### `load_input_size_limit_gb` Default：0 @@ -1483,59 +1400,37 @@ MasterOnly：true The size of the data entered by the Load job, the default is 0, unlimited -### delete_thread_num - -Default：10 - -Concurrency of delete jobs. - -### load_etl_thread_num_normal_priority +#### `load_etl_thread_num_normal_priority` Default：10 Concurrency of NORMAL priority etl load jobs. Do not change this if you know what you are doing. -### load_etl_thread_num_high_priority +#### `load_etl_thread_num_high_priority` Default：3 Concurrency of HIGH priority etl load jobs. Do not change this if you know what you are doing -### load_pending_thread_num_normal_priority +#### `load_pending_thread_num_normal_priority` Default：10 Concurrency of NORMAL priority pending load jobs. Do not change this if you know what you are doing. -### load_pending_thread_num_high_priority +#### `load_pending_thread_num_high_priority` Default：3 - Concurrency of HIGH priority pending load jobs. Load job priority is defined as HIGH or NORMAL. All mini batch load jobs are HIGH priority, other types of load jobs are NORMAL priority. Priority is set to avoid that a slow load job occupies a thread for a long time. This is just a internal optimized scheduling policy. Currently, you can not specified the job priority manually, and do not change this if you know what you are doing. +Concurrency of HIGH priority pending load jobs. Load job priority is defined as HIGH or NORMAL. All mini batch load jobs are HIGH priority, other types of load jobs are NORMAL priority. Priority is set to avoid that a slow load job occupies a thread for a long time. This is just a internal optimized scheduling policy. Currently, you can not specified the job priority manually, and do not change this if you know what you are doing. -### load_checker_interval_second +#### `load_checker_interval_second` Default：5 （s） The load scheduler running interval. A load job will transfer its state from PENDING to LOADING to FINISHED. The load scheduler will transfer load job from PENDING to LOADING while the txn callback will transfer load job from LOADING to FINISHED. So a load job will cost at most one interval to finish when the concurrency has not reached the upper limit. -### max_layout_length_per_row - -Default：100000 - -IsMutable：true - -MasterOnly：true - -Maximal memory layout length of a row. default is 100 KB. In BE, the maximal size of a RowBlock is 100MB(Configure as max_unpacked_row_block_size in be.conf). And each RowBlock contains 1024 rows. So the maximal size of a row is approximately 100 KB. - eg. - schema: k1(int), v1(decimal), v2(varchar(2000)) - then the memory layout length of a row is: 4(int) + 16(decimal) + 2000(varchar) = 2020 (Bytes) - See memory layout length of all types, run 'help create table' in mysql-client. - If you want to increase this number to support more columns in a row, you also need to increase the - max_unpacked_row_block_size in be.conf. But the performance impact is unknown. - -### load_straggler_wait_second +#### `load_straggler_wait_second` Default：300 @@ -1544,428 +1439,17 @@ IsMutable：true MasterOnly：true Maximal wait seconds for straggler node in load - eg. - there are 3 replicas A, B, C - load is already quorum finished(A,B) at t1 and C is not finished - if (current_time - t1) > 300s, then palo will treat C as a failure node - will call transaction manager to commit the transaction and tell transaction manager - that C is failed - - This is also used when waiting for publish tasks - this parameter is the default value for all job and the DBA could specify it for separate job + eg. + there are 3 replicas A, B, C + load is already quorum finished(A,B) at t1 and C is not finished + if (current_time - t1) > 300s, then palo will treat C as a failure node + will call transaction manager to commit the transaction and tell transaction manager that C is failed -### thrift_server_max_worker_threads +This is also used when waiting for publish tasks -Default：4096 +**Note:** this parameter is the default value for all job and the DBA could specify it for separate job -The thrift server max worker threads - -### publish_version_interval_ms - -Default：10 （ms） - -minimal intervals between two publish version action - -### publish_version_timeout_second - -Default：30 （s） - -IsMutable：true - -MasterOnly：true - -Maximal waiting time for all publish version tasks of one transaction to be finished - -### max_create_table_timeout_second - -Default：60 （s） - -IsMutable：true - -MasterOnly：true - -In order not to wait too long for create table(index), set a max timeout. - -### tablet_create_timeout_second - -Default：1（s） - -IsMutable：true - -MasterOnly：true - -Maximal waiting time for creating a single replica. - eg. - if you create a table with #m tablets and #n replicas for each tablet, - the create table request will run at most (m * n * tablet_create_timeout_second) before timeout. - -### max_mysql_service_task_threads_num - -Default：4096 - -When FeEstarts the MySQL server based on NIO model, the number of threads responsible for Task events. Only `mysql_service_nio_enabled` is true takes effect. - -### rewrite_count_distinct_to_bitmap_hll - -Default: true - -This variable is a session variable, and the session level takes effect. - -- Type: boolean -- Description: **Only for the table of the AGG model**, when the variable is true, when the user query contains aggregate functions such as count(distinct c1), if the type of the c1 column itself is bitmap, count distnct will be rewritten It is bitmap_union_count(c1). When the type of the c1 column itself is hll, count distinct will be rewritten as hll_union_agg(c1) If the variable is false, no overwriting occurs.. - -### cluster_id - -Default：-1 - -node(FE or BE) will be considered belonging to the same Palo cluster if they have same cluster id. Cluster id is usually a random integer generated when master FE start at first time. You can also specify one. - -### auth_token - -Default：empty - -Cluster token used for internal authentication. - -### cluster_name - -Default： Apache doris - -Cluster name will be shown as the title of web page - -### mysql_service_io_threads_num - -Default：4 - -When FeEstarts the MySQL server based on NIO model, the number of threads responsible for IO events. - -### query_port - -Default：9030 - -FE MySQL server port - -### rpc_port - -Default：9020 - -FE Thrift Server port - -### thrift_server_type - -This configuration represents the service model used by The Thrift Service of FE, is of type String and is case-insensitive. - -If this parameter is 'SIMPLE', then the 'TSimpleServer' model is used, which is generally not suitable for production and is limited to test use. - -If the parameter is 'THREADED', then the 'TThreadedSelectorServer' model is used, which is a non-blocking I/O model, namely the master-slave Reactor model, which can timely respond to a large number of concurrent connection requests and performs well in most scenarios. - -If this parameter is `THREAD_POOL`, then the `TThreadPoolServer` model is used, the model for blocking I/O model, use the thread pool to handle user connections, the number of simultaneous connections are limited by the number of thread pool, if we can estimate the number of concurrent requests in advance, and tolerant enough thread resources cost, this model will have a better performance, the service model is used by default - -### thrift_backlog_num - -Default：1024 - -The backlog_num for thrift server ， When you enlarge this backlog_num, you should ensure it's value larger than the linux /proc/sys/net/core/somaxconn config - -### thrift_client_timeout_ms - -Default：0 - -The connection timeout and socket timeout config for thrift server. - -The value for thrift_client_timeout_ms is set to be zero to prevent read timeout. - -### mysql_nio_backlog_num - -Default：1024 - -The backlog_num for mysql nio server, When you enlarge this backlog_num, you should enlarge the value in the linux /proc/sys/net/core/somaxconn file at the same time - -### http_port - -Default：8030 - -HTTP bind port. Defaults to 8030 - -### http_api_extra_base_path - -In some deployment environments, user need to specify an additional base path as the unified prefix of the HTTP API. This parameter is used by the user to specify additional prefixes. After setting, user can get the parameter value through the `GET /api/basepath` interface. And the new UI will also try to get this base path first to assemble the URL. Only valid when `enable_http_server_v2` is true. - -The default is empty, that is, not set - -### max_bdbje_clock_delta_ms - -Default：5000 （5s） - -Set the maximum acceptable clock skew between non-master FE to Master FE host. This value is checked whenever a non-master FE establishes a connection to master FE via BDBJE. The connection is abandoned if the clock skew is larger than this value. - -### ignore_meta_check - -Default：false - -IsMutable：true - -If true, non-master FE will ignore the meta data delay gap between Master FE and its self, even if the metadata delay gap exceeds *meta_delay_toleration_second*. Non-master FE will still offer read service. -This is helpful when you try to stop the Master FE for a relatively long time for some reason, but still wish the non-master FE can offer read service. - -### metadata_failure_recovery - -Default：false - -If true, FE will reset bdbje replication group(that is, to remove all electable nodes info) and is supposed to start as Master. If all the electable nodes can not start, we can copy the meta data to another node and set this config to true to try to restart the FE.. - -### priority_networks - -Default：none - -Declare a selection strategy for those servers have many ips. Note that there should at most one ip match this list. this is a list in semicolon-delimited format, in CIDR notation, e.g. 10.10.10.0/24 ， If no ip match this rule, will choose one randomly.. - -### txn_rollback_limit - -Default：100 - -the max txn number which bdbje can rollback when trying to rejoin the group - -### max_agent_task_threads_num - -Default：4096 - -MasterOnly：true - -max num of thread to handle agent task in agent task thread-pool. - -### heartbeat_mgr_blocking_queue_size - -Default：1024 - -MasterOnly：true - -blocking queue size to store heartbeat task in heartbeat_mgr. - -### heartbeat_mgr_threads_num - -Default：8 - -MasterOnly：true - -num of thread to handle heartbeat events in heartbeat_mgr. - -### bdbje_replica_ack_timeout_second - -Default：10 (s) - -The replica ack timeout when writing to bdbje ， When writing some relatively large logs, the ack time may time out, resulting in log writing failure. At this time, you can increase this value appropriately. - -### bdbje_lock_timeout_second - -Default：1 - -The lock timeout of bdbje operation， If there are many LockTimeoutException in FE WARN log, you can try to increase this value - -### bdbje_heartbeat_timeout_second - -Default：30 - -The heartbeat timeout of bdbje between master and follower. the default is 30 seconds, which is same as default value in bdbje. If the network is experiencing transient problems, of some unexpected long java GC annoying you, you can try to increase this value to decrease the chances of false timeouts - -### replica_ack_policy - -Default：SIMPLE_MAJORITY - -OPTION：ALL, NONE, SIMPLE_MAJORITY - -Replica ack policy of bdbje. more info, see: http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.ReplicaAckPolicy.html - -### replica_sync_policy - -Default：SYNC - -选项：SYNC, NO_SYNC, WRITE_NO_SYNC - -Follower FE sync policy of bdbje. - -### master_sync_policy - -Default：SYNC - -选项：SYNC, NO_SYNC, WRITE_NO_SYNC - -Master FE sync policy of bdbje. If you only deploy one Follower FE, set this to 'SYNC'. If you deploy more than 3 Follower FE, you can set this and the following 'replica_sync_policy' to WRITE_NO_SYNC. more info, see: http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.SyncPolicy.html - -### meta_delay_toleration_second - -Default：300 （5分钟） - -Non-master FE will stop offering service if meta data delay gap exceeds *meta_delay_toleration_second* - -### edit_log_roll_num - -Default：50000 - -IsMutable：true - -MasterOnly：true - -Master FE will save image every *edit_log_roll_num* meta journals. - -### edit_log_port - -Default：9010 - -bdbje port - -### edit_log_type - -Default：BDB - -Edit log type. - BDB: write log to bdbje - LOCAL: deprecated.. - -### tmp_dir - -Default：PaloFe.DORIS_HOME_DIR + "/temp_dir" - -temp dir is used to save intermediate results of some process, such as backup and restore process. file in this dir will be cleaned after these process is finished. - -### meta_dir - -Default：DORIS_HOME_DIR + "/doris-meta" - -Type: string Description: Doris meta data will be saved here.The storage of this dir is highly recommended as to be: - -- High write performance (SSD) -- Safe (RAID） - -### custom_config_dir - -Default：PaloFe.DORIS_HOME_DIR + "/conf" - -Configure the location of the `fe_custom.conf` file. The default is in the `conf/` directory. - -In some deployment environments, the `conf/` directory may be overwritten due to system upgrades. This will cause the user modified configuration items to be overwritten. At this time, we can store `fe_custom.conf` in another specified directory to prevent the configuration file from being overwritten. - -### log_roll_size_mb - -Default：1024 （1G） - -The max size of one sys log and audit log - -### sys_log_dir - -Default：PaloFe.DORIS_HOME_DIR + "/log" - -sys_log_dir: - This specifies FE log dir. FE will produces 2 log files: - fe.log: all logs of FE process. - fe.warn.log all WARNING and ERROR log of FE process. - -### sys_log_level - -Default：INFO - -log level：INFO, WARNING, ERROR, FATAL - -### sys_log_roll_num - -Default：10 - -Maximal FE log files to be kept within an sys_log_roll_interval. default is 10, which means there will be at most 10 log files in a day - -### sys_log_verbose_modules - -Default：{} - -Verbose modules. VERBOSE level is implemented by log4j DEBUG level. - -eg： - sys_log_verbose_modules = org.apache.doris.catalog - This will only print debug log of files in package org.apache.doris.catalog and all its sub packages. - -### sys_log_roll_interval - -Default：DAY - -sys_log_roll_interval: - -- DAY: log suffix is yyyyMMdd -- HOUR: log suffix is yyyyMMddHH - -### sys_log_delete_age - -Default：7d - -sys_log_delete_age: - default is 7 days, if log's last modify time is 7 days ago, it will be deleted. - - support format: - 7d 7 day - 10h 10 hours - 60m 60 min - 120s 120 seconds - - -### audit_log_dir - -Default：DORIS_HOME_DIR + "/log" - -audit_log_dir： - This specifies FE audit log dir.. - Audit log fe.audit.log contains all requests with related infos such as user, host, cost, status, etc - -### audit_log_roll_num - -Default：90 - -Maximal FE audit log files to be kept within an audit_log_roll_interval. - -### audit_log_modules - -Default：{"slow_query", "query", "load", "stream_load"} - -Slow query contains all queries which cost exceed *qe_slow_log_ms* - -### qe_slow_log_ms - -Default：5000 （5 seconds） - -If the response time of a query exceed this threshold, it will be recorded in audit log as slow_query. - -### audit_log_roll_interval - -Default：DAY - -DAY: logsuffix is ：yyyyMMdd -HOUR: logsuffix is ：yyyyMMddHH - -### audit_log_delete_age - -Default：30d - -default is 30 days, if log's last modify time is 30 days ago, it will be deleted. - - support format: - 7d 7 day - 10h 10 hours - 60m 60 min - 120s 120 seconds - -### plugin_dir - -Default：DORIS_HOME + "/plugins - -plugin install directory - -### plugin_enable - -Default:true - -IsMutable：true - -MasterOnly：true - -Whether the plug-in is enabled, enabled by default - -### label_keep_max_second +#### `label_keep_max_second` Default：`3 * 24 * 3600` (3 days) @@ -1973,11 +1457,14 @@ IsMutable：true MasterOnly：true -labels of finished or cancelled load jobs will be removed after *label_keep_max_second* ， The removed labels can be reused. Set a short time will lower the FE memory usage. (Because all load jobs' info is kept in memory before being removed) +labels of finished or cancelled load jobs will be removed after `label_keep_max_second` ， + +1. The removed labels can be reused. +2. Set a short time will lower the FE memory usage. (Because all load jobs' info is kept in memory before being removed) In the case of high concurrent writes, if there is a large backlog of jobs and call frontend service failed, check the log. If the metadata write takes too long to lock, you can adjust this value to 12 hours, or 6 hours less -### streaming_label_keep_max_second +#### `streaming_label_keep_max_second` Default：43200 （12 hour） @@ -1987,53 +1474,463 @@ MasterOnly：true For some high-frequency load work, such as: INSERT, STREAMING LOAD, ROUTINE_LOAD_TASK. If it expires, delete the completed job or task. -### history_job_keep_max_second - -Default：`7 * 24 * 3600` （7 day） - -IsMutable：true - -MasterOnly：true - -The max keep time of some kind of jobs. like schema change job and rollup job. - -### label_clean_interval_second +#### `label_clean_interval_second` Default：1 * 3600 （1 hour） Load label cleaner will run every *label_clean_interval_second* to clean the outdated jobs. -### delete_info_keep_max_second - -Default：`3 * 24 * 3600` (3day) - -IsMutable：true - -MasterOnly：false - -Delete all deleteInfo older than *delete_info_keep_max_second* , Setting a shorter time will reduce FE memory usage and image file size. (Because all deleteInfo is stored in memory and image files before being deleted) - -### transaction_clean_interval_second +#### `transaction_clean_interval_second` Default：30 the transaction will be cleaned after transaction_clean_interval_second seconds if the transaction is visible or aborted we should make this interval as short as possible and each clean cycle as soon as possible +#### `sync_commit_interval_second` -### default_max_query_instances +The maximum time interval for committing transactions. If there is still data in the channel that has not been submitted after this time, the consumer will notify the channel to submit the transaction. -The default value when user property max_query_instances is equal or less than 0. This config is used to limit the max number of instances for a user. This parameter is less than or equal to 0 means unlimited. +Default: 10 (seconds) -The default value is -1 +Is it possible to configure dynamically: true -### use_compact_thrift_rpc +Whether it is a configuration item unique to the Master FE node: true -Default: true +#### `sync_checker_interval_second` -Whether to use compressed format to send query plan structure. After it is turned on, the size of the query plan structure can be reduced by about 50%, thereby avoiding some "send fragment timeout" errors. -However, in some high-concurrency small query scenarios, the concurrency may be reduced by about 10%. +Data synchronization job running status check. -### enable_force_drop_redundant_replica +Default: 10（s） + +#### `max_sync_task_threads_num` + +The maximum number of threads in the data synchronization job thread pool. + +默认值：10 + +#### `min_sync_commit_size` + +The minimum number of events that must be satisfied to commit a transaction. If the number of events received by Fe is less than it, it will continue to wait for the next batch of data until the time exceeds `sync_commit_interval_second`. The default value is 10000 events. If you want to modify this configuration, please make sure that this value is smaller than the `canal.instance.memory.buffer.size` configuration on the canal side (default 16384), otherwise Fe will try to get the queue length longer than the store before ack More events cause the store queue to block until it times out. + +Default: 10000 + +Is it possible to configure dynamically: true + +Whether it is a configuration item unique to the Master FE node: true + +#### `min_bytes_sync_commit` + +The minimum data size required to commit a transaction. If the data size received by Fe is smaller than it, it will continue to wait for the next batch of data until the time exceeds `sync_commit_interval_second`. The default value is 15MB, if you want to modify this configuration, please make sure this value is less than the product of `canal.instance.memory.buffer.size` and `canal.instance.memory.buffer.memunit` on the canal side (default 16MB), otherwise Before the ack, Fe will try to obtain data that is larger than the store space, causing the store queue to block until it times out. + +Default: `15*1024*1024` (15M) + +Is it possible to configure dynamically: true + +Whether it is a configuration item unique to the Master FE node: true + +#### `max_bytes_sync_commit` + +The maximum number of threads in the data synchronization job thread pool. There is only one thread pool in the entire FE, which is used to process all data synchronization tasks in the FE that send data to the BE. The implementation of the thread pool is in the `SyncTaskPool` class. + +Default: 10 + +Is it possible to dynamically configure: false + +Is it a configuration item unique to the Master FE node: false + +#### `enable_outfile_to_local` + +Default：false + +Whether to allow the outfile function to export the results to the local disk. + +#### `export_tablet_num_per_task` + +Default：5 + +IsMutable：true + +MasterOnly：true + +Number of tablets per export query plan + +#### `export_task_default_timeout_second` + +Default：2 * 3600 （2 hour） + +IsMutable：true + +MasterOnly：true + +Default timeout of export jobs. + +#### `export_running_job_num_limit` + +Default：5 + +IsMutable：true + +MasterOnly：true + +Limitation of the concurrency of running export jobs. Default is 5. 0 is unlimited + +#### `export_checker_interval_second` + +Default：5 + +Export checker's running interval. + +### Log + +#### `log_roll_size_mb` + +Default：1024 （1G） + +The max size of one sys log and audit log + +#### `sys_log_dir` + +Default：PaloFe.DORIS_HOME_DIR + "/log" + +sys_log_dir: + +This specifies FE log dir. FE will produces 2 log files: + +fe.log: all logs of FE process. +fe.warn.log all WARNING and ERROR log of FE process. + +#### `sys_log_level` + +Default：INFO + +log level：INFO, WARNING, ERROR, FATAL + +#### `sys_log_roll_num` + +Default：10 + +Maximal FE log files to be kept within an sys_log_roll_interval. default is 10, which means there will be at most 10 log files in a day + +#### `sys_log_verbose_modules` + +Default：{} + +Verbose modules. VERBOSE level is implemented by log4j DEBUG level. + +eg： + sys_log_verbose_modules = org.apache.doris.catalog + This will only print debug log of files in package org.apache.doris.catalog and all its sub packages. + +#### `sys_log_roll_interval` + +Default：DAY + +sys_log_roll_interval: + +- DAY: log suffix is yyyyMMdd +- HOUR: log suffix is yyyyMMddHH + +#### `sys_log_delete_age` + +Default：7d + +default is 7 days, if log's last modify time is 7 days ago, it will be deleted. + +support format: + +- 7d 7 day +- 10h 10 hours +- 60m 60 min +- 120s 120 seconds + +#### `sys_log_roll_mode` + +Default：SIZE-MB-1024 + +The size of the log split, split a log file every 1 G + +#### `audit_log_dir` + +Default：DORIS_HOME_DIR + "/log" + +audit_log_dir： +This specifies FE audit log dir.. +Audit log fe.audit.log contains all requests with related infos such as user, host, cost, status, etc + +#### `audit_log_roll_num` + +Default：90 + +Maximal FE audit log files to be kept within an audit_log_roll_interval. + +#### `audit_log_modules` + +Default：{"slow_query", "query", "load", "stream_load"} + +Slow query contains all queries which cost exceed *qe_slow_log_ms* + +#### `qe_slow_log_ms` + +Default：5000 （5 seconds） + +If the response time of a query exceed this threshold, it will be recorded in audit log as slow_query. + +#### `audit_log_roll_interval` + +Default：DAY + +DAY: logsuffix is ：yyyyMMdd +HOUR: logsuffix is ：yyyyMMddHH + +#### `audit_log_delete_age` + +Default：30d + +default is 30 days, if log's last modify time is 30 days ago, it will be deleted. + +support format: +- 7d 7 day +- 10h 10 hours +- 60m 60 min +- 120s 120 seconds + +### Storage + +#### `min_replication_num_per_tablet` + +Default: 1 + +Used to set minimal number of replication per tablet. + +#### `max_replication_num_per_tablet` + +Default: 32767 + +Used to set maximal number of replication per tablet. + +#### `default_db_data_quota_bytes` + +Default：1PB + +IsMutable：true + +MasterOnly：true + +Used to set the default database data quota size. To set the quota size of a single database, you can use: + +``` +Set the database data quota, the unit is:B/K/KB/M/MB/G/GB/T/TB/P/PB +ALTER DATABASE db_name SET DATA QUOTA quota; +View configuration +show data （Detail：HELP SHOW DATA） +``` + +#### `default_db_replica_quota_size` + +Default: 1073741824 + +IsMutable：true + +MasterOnly：true + +Used to set the default database replica quota. To set the quota size of a single database, you can use: + +``` +Set the database replica quota +ALTER DATABASE db_name SET REPLICA QUOTA quota; +View configuration +show data （Detail：HELP SHOW DATA） +``` + +#### `recover_with_empty_tablet` + +Default：false + +IsMutable：true + +MasterOnly：true + +In some very special circumstances, such as code bugs, or human misoperation, etc., all replicas of some tablets may be lost. In this case, the data has been substantially lost. However, in some scenarios, the business still hopes to ensure that the query will not report errors even if there is data loss, and reduce the perception of the user layer. At this point, we can use the blank Tablet to fill the missing replica to ensure that the query can be executed normally. + +Set to true so that Doris will automatically use blank replicas to fill tablets which all replicas have been damaged or missing + +#### `min_clone_task_timeout_sec` `And max_clone_task_timeout_sec` + +Default：Minimum 3 minutes, maximum two hours + +IsMutable：true + +MasterOnly：true + +Can cooperate with `mix_clone_task_timeout_sec` to control the maximum and minimum timeout of a clone task. Under normal circumstances, the timeout of a clone task is estimated by the amount of data and the minimum transfer rate (5MB/s). In some special cases, these two configurations can be used to set the upper and lower bounds of the clone task timeout to ensure that the clone task can be completed successfully. + +#### `disable_storage_medium_check` + +Default：false + +IsMutable：true + +MasterOnly：true + +If disable_storage_medium_check is true, ReportHandler would not check tablet's storage medium and disable storage cool down function, the default value is false. You can set the value true when you don't care what the storage medium of the tablet is. + +#### `decommission_tablet_check_threshold` + +Default：5000 + +IsMutable：true + +MasterOnly：true + +This configuration is used to control whether the Master FE need to check the status of tablets on decommissioned BE. If the size of tablets on decommissioned BE is lower than this threshold, FE will start a periodic check, if all tablets on decommissioned BE have been recycled, FE will drop this BE immediately. + +For performance consideration, please don't set a very high value for this configuration. + +#### `partition_rebalance_max_moves_num_per_selection` + +Default：10 + +IsMutable：true + +MasterOnly：true + +Valid only if use PartitionRebalancer， + +#### `partition_rebalance_move_expire_after_access` + +Default：600 (s) + +IsMutable：true + +MasterOnly：true + +Valid only if use PartitionRebalancer. If this changed, cached moves will be cleared + +#### `tablet_rebalancer_type` + +Default：BeLoad + +MasterOnly：true + +Rebalancer type(ignore case): BeLoad, Partition. If type parse failed, use BeLoad as default + +#### `max_balancing_tablets` + +Default：100 + +IsMutable：true + +MasterOnly：true + +if the number of balancing tablets in TabletScheduler exceed max_balancing_tablets, no more balance check + +#### `max_scheduling_tablets` + +Default：2000 + +IsMutable：true + +MasterOnly：true + +if the number of scheduled tablets in TabletScheduler exceed max_scheduling_tablets skip checking. + +#### `disable_balance` + +Default：false + +IsMutable：true + +MasterOnly：true + +if set to true, TabletScheduler will not do balance. + +#### `disable_disk_balance` + +Default：true + +IsMutable：true + +MasterOnly：true + +if set to true, TabletScheduler will not do disk balance. + +#### `balance_load_score_threshold` + +Default：0.1 (10%) + +IsMutable：true + +MasterOnly：true + +the threshold of cluster balance score, if a backend's load score is 10% lower than average score, this backend will be marked as LOW load, if load score is 10% higher than average score, HIGH load will be marked + +#### `capacity_used_percent_high_water` + +Default：0.75 （75%） + +IsMutable：true + +MasterOnly：true + +The high water of disk capacity used percent. This is used for calculating load score of a backend + +#### `clone_distribution_balance_threshold` + +Default：0.2 + +IsMutable：true + +MasterOnly：true + +Balance threshold of num of replicas in Backends. + +#### `clone_capacity_balance_threshold` + +Default：0.2 + +IsMutable：true + +MasterOnly：true + +* Balance threshold of data size in BE. + + The balance algorithm is: + + 1. Calculate the average used capacity(AUC) of the entire cluster. (total data size / total backends num) + + 2. The high water level is (AUC * (1 + clone_capacity_balance_threshold)) + + 3. The low water level is (AUC * (1 - clone_capacity_balance_threshold)) + + 4. The Clone checker will try to move replica from high water level BE to low water level BE. + +#### `disable_colocate_balance` + +Default：false + +IsMutable：true + +MasterOnly：true + +This configs can set to true to disable the automatic colocate tables's relocate and balance. If 'disable_colocate_balance' is set to true, ColocateTableBalancer will not relocate and balance colocate tables. + +**Attention**: + +1. Under normal circumstances, there is no need to turn off balance at all. +2. Because once the balance is turned off, the unstable colocate table may not be restored +3. Eventually the colocate plan cannot be used when querying. + +#### `disable_tablet_scheduler` + +Default:false + +IsMutable：true + +MasterOnly：true + +If set to true, the tablet scheduler will not work, so that all tablet repair/balance task will not work. + +#### `enable_force_drop_redundant_replica` Default: false @@ -2044,17 +1941,7 @@ Only for Master FE: true If set to true, the system will immediately drop redundant replicas in the tablet scheduling logic. This may cause some load jobs that are writing to the corresponding replica to fail, but it will speed up the balance and repair speed of the tablet. When there are a large number of replicas waiting to be balanced or repaired in the cluster, you can try to set this config to speed up the balance and repair of replicas at the expense of partial load success rate. -### repair_slow_replica - -Default: false - -IsMutable：true - -MasterOnly: true - -If set to true, the replica with slower compaction will be automatically detected and migrated to other machines. The detection condition is that the version count of the fastest replica exceeds the value of `min_version_count_indicate_replica_compaction_too_slow`, and the ratio of the version count difference from the fastest replica exceeds the value of `valid_version_count_delta_ratio_between_replicas` - -### colocate_group_relocate_delay_second +#### `colocate_group_relocate_delay_second` Default: 1800 @@ -2065,7 +1952,7 @@ Only for Master FE: true The relocation of a colocation group may involve a large number of tablets moving within the cluster. Therefore, we should use a more conservative strategy to avoid relocation of colocation groups as much as possible. Reloaction usually occurs after a BE node goes offline or goes down. This parameter is used to delay the determination of BE node unavailability. The default is 30 minutes, i.e., if a BE node recovers within 30 minutes, relocation of the colocation group will not be triggered. -### allow_replica_on_same_host +####` allow_replica_on_same_host` Default: false @@ -2075,7 +1962,17 @@ Only for Master FE: false Whether to allow multiple replicas of the same tablet to be distributed on the same host. This parameter is mainly used for local testing, to facilitate building multiple BEs to test certain multi-replica situations. Do not use it for non-test environments. -### min_version_count_indicate_replica_compaction_too_slow +#### `repair_slow_replica` + +Default: false + +IsMutable：true + +MasterOnly: true + +If set to true, the replica with slower compaction will be automatically detected and migrated to other machines. The detection condition is that the version count of the fastest replica exceeds the value of `min_version_count_indicate_replica_compaction_too_slow`, and the ratio of the version count difference from the fastest replica exceeds the value of `valid_version_count_delta_ratio_between_replicas` + +#### `min_version_count_indicate_replica_compaction_too_slow` Default: 200 @@ -2085,27 +1982,7 @@ Only for Master FE: false The version count threshold used to judge whether replica compaction is too slow -### valid_version_count_delta_ratio_between_replicas - -Default: 0.5 - -Dynamically configured: true - -Only for Master FE: true - -The valid ratio threshold of the difference between the version count of the slowest replica and the fastest replica. If `repair_slow_replica` is set to true, it is used to determine whether to repair the slowest replica - -### min_bytes_indicate_replica_too_large - -Default: `2 * 1024 * 1024 * 1024` (2G) - -Dynamically configured: true - -Only for Master FE: true - -The data size threshold used to judge whether replica is too large - -### skip_compaction_slower_replica +#### `skip_compaction_slower_replica` Default: true @@ -2115,120 +1992,208 @@ Only for Master FE: false If set to true, the compaction slower replica will be skipped when select get queryable replicas -### sync_commit_interval_second +#### `valid_version_count_delta_ratio_between_replicas` -The maximum time interval for committing transactions. If there is still data in the channel that has not been submitted after this time, the consumer will notify the channel to submit the transaction. +Default: 0.5 -Default: 10 (seconds) +Dynamically configured: true -Is it possible to configure dynamically: true +Only for Master FE: true -Whether it is a configuration item unique to the Master FE node: true +The valid ratio threshold of the difference between the version count of the slowest replica and the fastest replica. If `repair_slow_replica` is set to true, it is used to determine whether to repair the slowest replica -### min_sync_commit_size +#### `min_bytes_indicate_replica_too_large` -The minimum number of events that must be satisfied to commit a transaction. If the number of events received by Fe is less than it, it will continue to wait for the next batch of data until the time exceeds `sync_commit_interval_second`. The default value is 10000 events. If you want to modify this configuration, please make sure that this value is smaller than the `canal.instance.memory.buffer.size` configuration on the canal side (default 16384), otherwise Fe will try to get the queue length longer than the store before ack More events cause the store queue to block until it times out. +Default: `2 * 1024 * 1024 * 1024` (2G) -Default: 10000 +Dynamically configured: true -Is it possible to configure dynamically: true +Only for Master FE: true -Whether it is a configuration item unique to the Master FE node: true +The data size threshold used to judge whether replica is too large -### min_bytes_sync_commit +#### `schedule_slot_num_per_path` -The minimum data size required to commit a transaction. If the data size received by Fe is smaller than it, it will continue to wait for the next batch of data until the time exceeds `sync_commit_interval_second`. The default value is 15MB, if you want to modify this configuration, please make sure this value is less than the product of `canal.instance.memory.buffer.size` and `canal.instance.memory.buffer.memunit` on the canal side (default 16MB), otherwise Before the ack, Fe will try to obtain data that is larger than the store space, causing the store queue to block until it times out. +Default：2 -Default: `15*1024*1024` (15M) +the default slot number per path in tablet scheduler , remove this config and dynamically adjust it by clone task statistic -Is it possible to configure dynamically: true +#### `tablet_repair_delay_factor_second` -Whether it is a configuration item unique to the Master FE node: true +Default：60 （s） -### max_bytes_sync_commit +IsMutable：true - The maximum number of threads in the data synchronization job thread pool. There is only one thread pool in the entire FE, which is used to process all data synchronization tasks in the FE that send data to the BE. The implementation of the thread pool is in the `SyncTaskPool` class. +MasterOnly：true -Default: 10 +the factor of delay time before deciding to repair tablet. -Is it possible to dynamically configure: false +- if priority is VERY_HIGH, repair it immediately. +- HIGH, delay tablet_repair_delay_factor_second * 1; +- NORMAL: delay tablet_repair_delay_factor_second * 2; +- LOW: delay tablet_repair_delay_factor_second * 3; -Is it a configuration item unique to the Master FE node: false +#### `tablet_stat_update_interval_second` -### backend_rpc_timeout_ms +Default：300（5min） - Timeout millisecond for Fe sending rpc request to BE +update interval of tablet stat, +All frontends will get tablet stat from all backends at each interval -Default: 60000 +#### `storage_flood_stage_usage_percent` -Is it possible to dynamically configure: false +Default：95 （95%） -Is it a configuration item unique to the Master FE node: true +IsMutable：true -### `bdbje_reserved_disk_bytes` +MasterOnly：true -The desired upper limit on the number of bytes of reserved space to retain in a replicated JE Environment. +##### `storage_flood_stage_left_capacity_bytes` -Default: 1073741824 +Default：1 * 1024 * 1024 * 1024 (1GB) -Is it possible to dynamically configure: false +IsMutable：true -Is it a configuration item unique to the Master FE node: false +MasterOnly：true -### `be_exec_version` +If capacity of disk reach the 'storage_flood_stage_usage_percent' and 'storage_flood_stage_left_capacity_bytes', the following operation will be rejected: -Used to define the serialization format for passing blocks between fragments. +1. load job +2. restore job -Sometimes some of our code changes will change the data format of the block. In order to make the BE compatible with each other during the rolling upgrade process, we need to issue a data version from the FE to decide what format to send the data in. +#### `storage_high_watermark_usage_percent` -Specifically, for example, there are 2 BEs in the cluster, one of which can support the latest $v_1$ after being upgraded, while the other only supports $v_0$. At this time, since the FE has not been upgraded yet, $v_0 is issued uniformly. $, BE interact in the old data format. After all BEs are upgraded, we will upgrade FE. At this time, the new FE will issue $v_1$, and the cluster will be uniformly switched to the new data format. +Default：85 (85%) +IsMutable：true -The default value is `max_be_exec_version`. If there are special needs, we can manually set the format version to lower, but it should not be lower than `min_be_exec_version`. +MasterOnly：true -Note that we should always keep the value of this variable between `BeExecVersionManager::min_be_exec_version` and `BeExecVersionManager::max_be_exec_version` for all BEs. (That is to say, if a cluster that has completed the update needs to be downgraded, it should ensure the order of downgrading FE and then downgrading BE, or manually lower the variable in the settings and downgrade BE) +#### `storage_min_left_capacity_bytes` -### `max_be_exec_version` +Default： `2 * 1024 * 1024 * 1024` (2GB) -The latest data version currently supported, cannot be modified, and should be consistent with the `BeExecVersionManager::max_be_exec_version` in the BE of the matching version. +IsMutable：true -### `min_be_exec_version` +MasterOnly：true -The oldest data version currently supported, which cannot be modified, should be consistent with the `BeExecVersionManager::min_be_exec_version` in the BE of the matching version. +'storage_high_watermark_usage_percent' limit the max capacity usage percent of a Backend storage path. 'storage_min_left_capacity_bytes' limit the minimum left capacity of a Backend storage path. If both limitations are reached, this storage path can not be chose as tablet balance destination. But for tablet recovery, we may exceed these limit for keeping data integrity as much as possible. -### `max_query_profile_num` +#### `catalog_trash_expire_second` -The max number of query profile. +Default：86400L (1day) -Default: 100 +IsMutable：true -Is it possible to dynamically configure: true +MasterOnly：true -Is it a configuration item unique to the Master FE node: false +After dropping database(table/partition), you can recover it by using RECOVER stmt. And this specifies the maximal data retention time. After time, the data will be deleted permanently. -### `disable_backend_black_list` +#### `storage_cooldown_second` -Used to disable the BE blacklist function. After this function is disabled, if the query request to the BE fails, the BE will not be added to the blacklist. -This parameter is suitable for regression testing environments to reduce occasional bugs that cause a large number of regression tests to fail. +Default：`30 * 24 * 3600L` （30 days） + +When create a table(or partition), you can specify its storage medium(HDD or SSD). If set to SSD, this specifies the default duration that tablets will stay on SSD. After that, tablets will be moved to HDD automatically. You can set storage cooldown time in CREATE TABLE stmt. + +#### `default_storage_medium` + +Default：HDD + +When create a table(or partition), you can specify its storage medium(HDD or SSD). If not set, this specifies the default medium when creat. + +#### `enable_storage_policy` + +Whether to enable the Storage Policy feature. This feature allows users to separate hot and cold data. This feature is still under development. Recommended for test environments only. Default: false -Is it possible to configure dynamically: true +Is it possible to dynamically configure: true -Is it a configuration item unique to the Master FE node: false +Is it a configuration item unique to the Master FE node: true -### `max_backend_heartbeat_failure_tolerance_count` +#### `check_consistency_default_timeout_second` -The maximum tolerable number of BE node heartbeat failures. If the number of consecutive heartbeat failures exceeds this value, the BE state will be set to dead. -This parameter is suitable for regression test environments to reduce occasional heartbeat failures that cause a large number of regression test failures. +Default：600 （10 minutes） -Default: 1 +IsMutable：true -Is it possible to configure dynamically: true +MasterOnly：true -Whether it is a configuration item unique to the Master FE node: true +Default timeout of a single consistency check task. Set long enough to fit your tablet size -### `max_replica_count_when_schema_change` +#### `consistency_check_start_time` + +Default：23 + +IsMutable：true + +MasterOnly：true + +Consistency check start time + +Consistency checker will run from *consistency_check_start_time* to *consistency_check_end_time*. + +If the two times are the same, no consistency check will be triggered. + +#### `consistency_check_end_time` + +Default：23 + +IsMutable：true + +MasterOnly：true + +Consistency check end time + +Consistency checker will run from *consistency_check_start_time* to *consistency_check_end_time*. + +If the two times are the same, no consistency check will be triggered. + +#### `replica_delay_recovery_second` + +Default：0 + +IsMutable：true + +MasterOnly：true + +the minimal delay seconds between a replica is failed and fe try to recovery it using clone. + +#### `tablet_create_timeout_second` + +Default：1（s） + +IsMutable：true + +MasterOnly：true + +Maximal waiting time for creating a single replica. + +eg. + if you create a table with #m tablets and #n replicas for each tablet, + the create table request will run at most (m * n * tablet_create_timeout_second) before timeout. + +#### `tablet_delete_timeout_second` + +Default：2 + +IsMutable：true + +MasterOnly：true + +Same meaning as *tablet_create_timeout_second*, but used when delete a tablet. + +#### `alter_table_timeout_second` + +Default：86400 （1 day） + +IsMutable：true + +MasterOnly：true + +Maximal timeout of ALTER TABLE request. Set long enough to fit your table data size. + +#### `max_replica_count_when_schema_change` The maximum number of replicas allowed when OlapTable is doing schema changes. Too many replicas will lead to FE OOM. @@ -2238,7 +2203,115 @@ Is it possible to configure dynamically: true Whether it is a configuration item unique to the Master FE node: true -### `max_hive_partition_cache_num` +#### `history_job_keep_max_second` + +Default：`7 * 24 * 3600` （7 day） + +IsMutable：true + +MasterOnly：true + +The max keep time of some kind of jobs. like schema change job and rollup job. + +#### `max_create_table_timeout_second` + +Default：60 （s） + +IsMutable：true + +MasterOnly：true + +In order not to wait too long for create table(index), set a max timeout. + +### External Table + +#### `enable_multi_catalog` + +Default：false + +IsMutable：true + +MasterOnly：true + +Whether to enable the multi catalog function, it is disabled by default. +Subsequent versions may enable multi catalog by default, and this configuration will be deleted + +#### `file_scan_node_split_num` + +Default：128 + +IsMutable：true + +MasterOnly：false + +multi catalog concurrent file scanning threads + +#### `file_scan_node_split_size` + +Default：256 * 1024 * 1024 + +IsMutable：true + +MasterOnly：false + +multi catalog concurrent file scan size + +#### `enable_odbc_table` + +Default：false + +IsMutable：true + +MasterOnly：true + +Whether to enable the ODBC table, it is not enabled by default. You need to manually configure it when you use it. + +This parameter can be set by: ADMIN SET FRONTEND CONFIG("key"="value") + +**Note:** This parameter has been deleted in version 1.2. The ODBC External Table is enabled by default, and the ODBC External Table will be deleted in a later version. It is recommended to use the JDBC External Table + +#### `disable_iceberg_hudi_table` + +Default：true + +IsMutable：true + +MasterOnly：false + +Starting from version 1.2, we no longer support create hudi and iceberg External Table. Please use the multi catalog. + +#### `iceberg_table_creation_interval_second` + +Default：10 (s) + +IsMutable：true + +MasterOnly：false + +fe will create iceberg table every iceberg_table_creation_interval_second + +#### `iceberg_table_creation_strict_mode` + +Default：true + +IsMutable：true + +MasterOnly：true + +If set to TRUE, the column definitions of iceberg table and the doris table must be consistent +If set to FALSE, Doris only creates columns of supported data types. + +#### `max_iceberg_table_creation_record_size` + +Default max number of recent iceberg database table creation record that can be stored in memory. + +Default：2000 + +IsMutable：true + +MasterOnly：true + +#### `max_hive_partition_cache_num` The maximum number of caches for the hive partition. @@ -2248,7 +2321,17 @@ Is it possible to dynamically configure: false Is it a configuration item unique to the Master FE node: false -### `max_external_file_cache_num` +#### `hive_metastore_client_timeout_second` + +The default connection timeout for hive metastore. + +Default: 10 + +Is it possible to dynamically configure: true + +Is it a configuration item unique to the Master FE node: true + +#### `max_external_file_cache_num` Maximum number of file cache to use for external external tables. @@ -2258,7 +2341,7 @@ Is it possible to dynamically configure: false Is it a configuration item unique to the Master FE node: false -### `max_external_schema_cache_num` +#### `max_external_schema_cache_num` Maximum number of schema cache to use for external external tables. @@ -2268,7 +2351,7 @@ Is it possible to dynamically configure: false Is it a configuration item unique to the Master FE node: false -### `external_cache_expire_time_minutes_after_access` +#### `external_cache_expire_time_minutes_after_access` Set how long the data in the cache expires after the last access. The unit is minutes. Applies to External Schema Cache as well as Hive Partition Cache. @@ -2279,33 +2362,218 @@ Is it possible to dynamically configure: false Is it a configuration item unique to the Master FE node: false -### `max_same_name_catalog_trash_num` +#### `es_state_sync_interval_second` -It is used to set the maximum number of meta information with the same name in the catalog recycle bin. When the maximum value is exceeded, the earliest deleted meta trash will be completely deleted and cannot be recovered. 0 means not to keep objects of the same name. < 0 means no limit. +Default：10 -Note: The judgment of metadata with the same name will be limited to a certain range. For example, the judgment of the database with the same name will be limited to the same cluster, the judgment of the table with the same name will be limited to the same database (with the same database id), the judgment of the partition with the same name will be limited to the same database (with the same database id) and the same table (with the same table) same table id). +fe will call es api to get es index shard info every es_state_sync_interval_secs -Default: 3 +#### `enable_new_es_dsl` + +Default：true Is it possible to dynamically configure: true -### `enable_storage_policy` +Is it a configuration item unique to the Master FE node: false -Whether to enable the Storage Policy feature. This feature allows users to separate hot and cold data. This feature is still under development. Recommended for test environments only. +Use new fe generate es dsl. -Default: false +### External Resources -Is it possible to dynamically configure: true +#### `dpp_hadoop_client_path` -Is it a configuration item unique to the Master FE node: true +Default：/lib/hadoop-client/hadoop/bin/hadoop -### `enable_fqdn_mode` +#### `dpp_bytes_per_reduce` -This configuration is mainly used in the k8s cluster environment. When enable_fqdn_mode is true, the name of the pod where the be is located will remain unchanged after reconstruction, while the ip can be changed. +Default：`100 * 1024 * 1024L` (100M) -Default: false +#### `dpp_default_cluster` -Is it possible to dynamically configure: false +Default：palo-dpp -Is it a configuration item unique to the Master FE node: true +#### `dpp_default_config_str` +Default：{ + hadoop_configs : 'mapred.job.priority=NORMAL;mapred.job.map.capacity=50;mapred.job.reduce.capacity=50;mapred.hce.replace.streaming=false;abaci.long.stored.job=true;dce.shuffle.enable=false;dfs.client.authserver.force_stop=true;dfs.client.auth.method=0' + } + +#### `dpp_config_str` + +Default：{ + palo-dpp : { + hadoop_palo_path : '/dir', + hadoop_configs : 'fs.default.name=hdfs://host:port;mapred.job.tracker=host:port;hadoop.job.ugi=user,password' + } + } + +#### `yarn_config_dir` + +Default：PaloFe.DORIS_HOME_DIR + "/lib/yarn-config" + +Default yarn config file directory ，Each time before running the yarn command, we need to check that the config file exists under this path, and if not, create them. + +#### `yarn_client_path` + +Default：DORIS_HOME_DIR + "/lib/yarn-client/hadoop/bin/yarn" + +Default yarn client path + +#### `spark_launcher_log_dir` + +Default： sys_log_dir + "/spark_launcher_log" + +The specified spark launcher log dir + +#### `spark_resource_path` + +Default：none + +Default spark dependencies path + +#### `spark_home_default_dir` + +Default：DORIS_HOME_DIR + "/lib/spark2x" + +Default spark home dir + +#### `spark_dpp_version` + +Default：1.0.0 + +Default spark dpp version + +### Else + +#### `tmp_dir` + +Default：PaloFe.DORIS_HOME_DIR + "/temp_dir" + +temp dir is used to save intermediate results of some process, such as backup and restore process. file in this dir will be cleaned after these process is finished. + +#### `custom_config_dir` + +Default：PaloFe.DORIS_HOME_DIR + "/conf" + +Custom configuration file directory + +Configure the location of the `fe_custom.conf` file. The default is in the `conf/` directory. + +In some deployment environments, the `conf/` directory may be overwritten due to system upgrades. This will cause the user modified configuration items to be overwritten. At this time, we can store `fe_custom.conf` in another specified directory to prevent the configuration file from being overwritten. + +#### `plugin_dir` + +Default：DORIS_HOME + "/plugins + +plugin install directory + +#### `plugin_enable` + +Default:true + +IsMutable：true + +MasterOnly：true + +Whether the plug-in is enabled, enabled by default + +#### `small_file_dir` + +Default：DORIS_HOME_DIR/small_files + +Save small files + +#### `max_small_file_size_bytes` + +Default：1M + +IsMutable：true + +MasterOnly：true + +The max size of a single file store in SmallFileMgr + +#### `max_small_file_number` + +Default：100 + +IsMutable：true + +MasterOnly：true + +The max number of files store in SmallFileMgr + +#### `enable_metric_calculator` + +Default：true + +If set to true, metric collector will be run as a daemon timer to collect metrics at fix interval + +#### `report_queue_size` + +Default： 100 + +IsMutable：true + +MasterOnly：true + +This threshold is to avoid piling up too many report task in FE, which may cause OOM exception. In some large Doris cluster, eg: 100 Backends with ten million replicas, a tablet report may cost several seconds after some modification of metadata(drop partition, etc..). And one Backend will report tablets info every 1 min, so unlimited receiving reports is unacceptable. we will optimize the processing speed of tablet report in future, but now, just discard the report if queue size exceeding limit. + Some online time cost: + 1. disk report: 0-1 msta + 2. sk report: 0-1 ms + 3. tablet report + 4. 10000 replicas: 200ms + +#### `backup_job_default_timeout_ms` + +Default：86400 * 1000 (1day) + +IsMutable：true + +MasterOnly：true + +default timeout of backup job + +#### `max_backup_restore_job_num_per_db` + +Default: 10 + +This configuration is mainly used to control the number of backup/restore tasks recorded in each database. + +#### `enable_quantile_state_type` + +Default：false + +IsMutable：true + +MasterOnly：true + +Whether to enable the quantile_state data type + +#### `enable_date_conversion` + +Default：false + +IsMutable：true + +MasterOnly：true + +If set to TRUE, FE will convert date/datetime to datev2/datetimev2(0) automatically. + +#### `enable_decimal_conversion` + +Default：false + +IsMutable：true + +MasterOnly：true + +If set to TRUE, FE will convert DecimalV2 to DecimalV3 automatically. + +#### `proxy_auth_magic_prefix` + +Default：x@8 + +#### `proxy_auth_enable` + +Default：false diff --git a/docs/zh-CN/docs/admin-manual/config/fe-config.md b/docs/zh-CN/docs/admin-manual/config/fe-config.md index f9b2d5eead..0bfc3a8307 100644 --- a/docs/zh-CN/docs/admin-manual/config/fe-config.md +++ b/docs/zh-CN/docs/admin-manual/config/fe-config.md @@ -1,7 +1,9 @@ --- { "title": "FE 配置项", - "language": "zh-CN" + "language": "zh-CN", + "toc_min_heading_level": 2, + "toc_max_heading_level": 4 } --- @@ -121,151 +123,142 @@ FE 的配置项有两种方式进行配置： ## 配置项列表 -### `max_dynamic_partition_num` +### 元数据与集群管理 -默认值：500 +#### `meta_dir` + +默认值：PaloFe.DORIS_HOME_DIR + "/doris-meta" + +Doris 元数据将保存在这里。 强烈建议将此目录的存储为： + +1. 高写入性能（SSD） + +2. 安全（RAID） + +#### `catalog_try_lock_timeout_ms` + +默认值：5000 （ms） 是否可以动态配置：true -是否为 Master FE 节点独有的配置项：true +元数据锁的 tryLock 超时配置。 通常它不需要改变，除非你需要测试一些东西。 -用于限制创建动态分区表时可以创建的最大分区数，避免一次创建过多分区。 数量由动态分区参数中的“开始”和“结束”决定。 - - - -### `max_multi_partition_num` - -默认值：4096 - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：true - -用于限制批量创建分区表时可以创建的最大分区数，避免一次创建过多分区。 - - - -### `grpc_max_message_size_bytes` - -默认值：1G - -用于设置 GRPC 客户端通道的初始流窗口大小，也用于设置最大消息大小。当结果集较大时，可能需要增大该值。 - -### `min_replication_num_per_tablet` - -默认值：1 - -用于设置单个tablet的最小replication数量。 - -### `max_replication_num_per_tablet` - -默认值：32767 - -用于设置单个 tablet 的最大 replication 数量。 - -### `enable_outfile_to_local` - -默认值：false - -是否允许 outfile 函数将结果导出到本地磁盘 - -### `enable_access_file_without_broker` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -此配置用于在通过代理访问 bos 或其他云存储时尝试跳过代理 - -### `enable_bdbje_debug_mode` +#### `enable_bdbje_debug_mode` 默认值：false 如果设置为 true，FE 将在 BDBJE 调试模式下启动，在 Web 页面 `System->bdbje` 可以查看相关信息，否则不可以查看 -### `enable_http_server_v2` +#### `max_bdbje_clock_delta_ms` -默认值：从官方 0.14.0 release 版之后默认是 true，之前默认 false +默认值：5000 （5秒） -HTTP Server V2 由 SpringBoot 实现, 并采用前后端分离的架构。只有启用 httpv2，用户才能使用新的前端 UI 界面 +设置非主 FE 到主 FE 主机之间的最大可接受时钟偏差。 每当非主 FE 通过 BDBJE 建立到主 FE 的连接时，都会检查该值。 如果时钟偏差大于此值，则放弃连接。 -### `jetty_server_acceptors` +#### `metadata_failure_recovery` -默认值：2 +默认值：false -### `jetty_server_selectors` +如果为 true，FE 将重置 bdbje 复制组（即删除所有可选节点信息）并应该作为 Master 启动。 如果所有可选节点都无法启动，我们可以将元数据复制到另一个节点并将此配置设置为 true 以尝试重新启动 FE。 -默认值：4 +#### `txn_rollback_limit` -### `jetty_server_workers` +默认值：100 -默认值：0 +尝试重新加入组时 bdbje 可以回滚的最大 txn 数 -Jetty 的线程数量由以上三个参数控制。Jetty的线程架构模型非常简单，分为 acceptors、selectors 和 workers 三个线程池。acceptors 负责接受新连接，然后交给 selectors 处理HTTP消息协议的解包，最后由 workers 处理请求。前两个线程池采用非阻塞模型，一个线程可以处理很多 socket 的读写，所以线程池数量较小。 +#### `bdbje_replica_ack_timeout_second` -大多数项目，acceptors 线程只需要1～2个，selectors 线程配置2～4个足矣。workers 是阻塞性的业务逻辑，往往有较多的数据库操作，需要的线程数量较多，具体数量随应用程序的 QPS 和 IO 事件占比而定。QPS 越高，需要的线程数量越多，IO 占比越高，等待的线程数越多，需要的总线程数也越多。 +默认值：10 -workers 线程池默认不做设置，根据自己需要进行设置 +元数据会同步写入到多个 Follower FE，这个参数用于控制 Master FE 等待 Follower FE 发送 ack 的超时时间。当写入的数据较大时，可能 ack 时间较长，如果超时，会导致写元数据失败，FE 进程退出。此时可以适当调大这个参数。 -### `jetty_server_max_http_post_size` +#### `bdbje_lock_timeout_second` -默认值：`100 * 1024 * 1024` （100MB） +默认值：1 -这个是 put 或 post 方法上传文件的最大字节数，默认值：100MB +bdbje 操作的 lock timeout 如果 FE WARN 日志中有很多 LockTimeoutException，可以尝试增加这个值 -### jetty_server_max_http_header_size +#### `bdbje_heartbeat_timeout_second` -默认值：10240 （10K） +默认值：30 -http header size 配置参数 +master 和 follower 之间 bdbje 的心跳超时。 默认为 30 秒，与 bdbje 中的默认值相同。 如果网络遇到暂时性问题，一些意外的长 Java GC 使您烦恼，您可以尝试增加此值以减少错误超时的机会 -### `default_max_filter_ratio` +#### `replica_ack_policy` -默认值：0 +默认值：SIMPLE_MAJORITY -是否可以动态配置：true +选项：ALL, NONE, SIMPLE_MAJORITY -是否为 Master FE 节点独有的配置项：true +bdbje 的副本 ack 策略。 更多信息，请参见：http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.ReplicaAckPolicy.html -可过滤数据（由于数据不规则等原因）的最大百分比。默认值为0，表示严格模式，只要数据有一条被过滤掉整个导入失败 +#### `replica_sync_policy` -### `default_db_data_quota_bytes` +默认值：SYNC -默认值：1PB +选项：SYNC, NO_SYNC, WRITE_NO_SYNC -是否可以动态配置：true +bdbje 的Follower FE 同步策略。 -是否为 Master FE 节点独有的配置项：true +#### `master_sync_policy` -用于设置默认数据库数据配额大小，设置单个数据库的配额大小可以使用： +默认值：SYNC -``` -设置数据库数据量配额，单位为B/K/KB/M/MB/G/GB/T/TB/P/PB -ALTER DATABASE db_name SET DATA QUOTA quota; -查看配置 -show data （其他用法：HELP SHOW DATA） -``` +选项：SYNC, NO_SYNC, WRITE_NO_SYNC -### `default_db_replica_quota_size` +Master FE 的 bdbje 同步策略。 如果您只部署一个 Follower FE，请将其设置为“SYNC”。 如果你部署了超过 3 个 Follower FE，你可以将这个和下面的 `replica_sync_policy ` 设置为 WRITE_NO_SYNC。 更多信息，参见：http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.SyncPolicy.html + +#### `bdbje_reserved_disk_bytes` + +用于限制 bdbje 能够保留的文件的最大磁盘空间。 默认值：1073741824 +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：false + +#### `ignore_meta_check` + +默认值：false + +是否可以动态配置：true + +如果为 true，非主 FE 将忽略主 FE 与其自身之间的元数据延迟间隙，即使元数据延迟间隙超过 `meta_delay_toleration_second`。 +非主 FE 仍将提供读取服务。 当您出于某种原因尝试停止 Master FE 较长时间，但仍希望非 Master FE 可以提供读取服务时，这会很有帮助。 + +#### `meta_delay_toleration_second` + +默认值：300 （5分钟） + +如果元数据延迟间隔超过 `meta_delay_toleration_second `，非主 FE 将停止提供服务 + +#### `edit_log_port` + +默认值：9010 + +bdbje端口 + +#### `edit_log_type` + +默认值：BDB + +编辑日志类型。 +BDB：将日志写入 bdbje +LOCAL：已弃用。 + +#### `edit_log_roll_num` + +默认值：50000 + 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -用于设置默认数据库Replica数量配额大小，设置单个数据库配额大小可以使用： +Master FE will save image every `edit_log_roll_num ` meta journals. -``` -设置数据库Replica数量配额 -ALTER DATABASE db_name SET REPLICA QUOTA quota; -查看配置 -show data （其他用法：HELP SHOW DATA） -``` - -### `enable_batch_delete_by_default` +#### `force_do_metadata_checkpoint` 默认值：false @@ -273,130 +266,244 @@ show data （其他用法：HELP SHOW DATA） 是否为 Master FE 节点独有的配置项：true -创建唯一表时是否添加删除标志列，具体原理参照官方文档：操作手册->数据导入->批量删除 +如果设置为 true，则无论 jvm 内存使用百分比如何，检查点线程都会创建检查点 -### `recover_with_empty_tablet` +#### `metadata_checkpoint_memory_threshold` -默认值：false +默认值：60 （60%） 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -在某些情况下，某些 tablet 可能会损坏或丢失所有副本。 此时数据已经丢失，损坏的 tablet 会导致整个查询失败，无法查询剩余的健康 tablet。 在这种情况下，您可以将此配置设置为 true。 系统会将损坏的 tablet 替换为空 tablet，以确保查询可以执行。 （但此时数据已经丢失，所以查询结果可能不准确） +如果 jvm 内存使用百分比（堆或旧内存池）超过此阈值，则检查点线程将无法工作以避免 OOM。 -### `max_allowed_in_element_num_of_delete` +#### `max_same_name_catalog_trash_num` + +用于设置回收站中同名元数据的最大个数，超过最大值时，最早删除的元数据将被彻底删除，不能再恢复。0 表示不保留同名对象。< 0 表示不做限制。 + +注意：同名元数据的判断会局限在一定的范围内。比如同名database的判断会限定在相同cluster下，同名table的判断会限定在相同database（指相同database id）下，同名partition的判断会限定在相同database（指相同database id）并且相同table（指相同table id）下。 + +默认值：3 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `cluster_id` + +默认值：-1 + +如果节点（FE 或 BE）具有相同的集群 id，则将认为它们属于同一个Doris 集群。 Cluster id 通常是主 FE 首次启动时生成的随机整数。 您也可以指定一个。 + +#### `heartbeat_mgr_blocking_queue_size` 默认值：1024 -是否可以动态配置：true +是否为 Master FE 节点独有的配置项：true + +在 heartbeat_mgr 中存储心跳任务的阻塞队列大小。 + +#### `heartbeat_mgr_threads_num` + +默认值：8 是否为 Master FE 节点独有的配置项：true -用于限制 delete 语句中 Predicate 的元素个数 +heartbeat_mgr 中处理心跳事件的线程数。 -### `cache_result_max_row_count` - -默认值：3000 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：false - -设置可以缓存的最大行数，详细的原理可以参考官方文档：操作手册->分区缓存 - -### `cache_last_version_interval_second` - -默认值：900 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：false - -缓存结果时上一版本的最小间隔，该参数区分离线更新和实时更新 - -### `cache_enable_partition_mode` +#### `disable_cluster_feature` 默认值：true 是否可以动态配置：true -是否为 Master FE 节点独有的配置项：false +多集群功能将在 0.12 版本中弃用 ，将此配置设置为 true 将禁用与集群功能相关的所有操作，包括： -如果设置为 true，FE 将从 BE cache 中获取数据，该选项适用于部分分区的实时更新。 +1. 创建/删除集群 +2. 添加、释放BE/将BE添加到集群/停用集群balance +3. 更改集群的后端数量 +4. 链接/迁移数据库 -### `cache_enable_sql_mode` +#### `enable_deploy_manager` + +默认值：disable + +如果使用第三方部署管理器部署 Doris，则设置为 true + +有效的选项是： + +- disable：没有部署管理器 +- k8s：Kubernetes +- ambari：Ambari +- local：本地文件（用于测试或 Boxer2 BCC 版本） + +#### `with_k8s_certs` + +默认值：false + +如果在本地使用 k8s 部署管理器，请将其设置为 true 并准备证书文件 + +#### `enable_fqdn_mode` + +此配置用于 k8s 部署环境。当 enable_fqdn_mode 为 true 时，将允许更改 be 的重建 pod的 ip。 + +默认值： false + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：true + +#### `enable_token_check` 默认值：true -是否可以动态配置：true +为了向前兼容，稍后将被删除。 下载image文件时检查令牌。 -是否为 Master FE 节点独有的配置项：false - -如果设置为 true，FE 会启用 sql 结果缓存，该选项适用于离线数据更新场景 - -| | case1 | case2 | case3 | case4 | -| ---------------------- | ----- | ----- | ----- | ----- | -| enable_sql_cache | false | true | true | false | -| enable_partition_cache | false | false | true | true | - -### `min_clone_task_timeout_sec` 和 `max_clone_task_timeout_sec` - -默认值：最小3分钟，最大两小时 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -`min_clone_task_timeout_sec` 和 `max_clone_task_timeout_sec` 用于限制克隆任务的最小和最大超时间。 一般情况下，克隆任务的超时时间是通过数据量和最小传输速度（5MB/s）来估计的。 但在特殊情况下，您可能需要手动设置这两个配置，以确保克隆任务不会因超时而失败。 - -### `agent_task_resend_wait_time_ms` - -默认值：5000 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -当代理任务的创建时间被设置的时候，此配置将决定是否重新发送代理任务， 当且仅当当前时间减去创建时间大于 `agent_task_task_resend_wait_time_ms` 时，ReportHandler可以重新发送代理任务。 - -该配置目前主要用来解决 `PUBLISH_VERSION` 代理任务的重复发送问题, 目前该配置的默认值是5000，是个实验值，由于把代理任务提交到代理任务队列和提交到 BE 存在一定的时间延迟，所以调大该配置的值可以有效解决代理任务的重复发送问题， - -但同时会导致提交失败或者执行失败的代理任务再次被执行的时间延长。 - -### `enable_odbc_table` +#### `enable_multi_tags` 默认值：false -是否可以动态配置：true +是否可以动态配置：false 是否为 Master FE 节点独有的配置项：true -是否启用 ODBC 表，默认不启用，在使用的时候需要手动配置启用，该参数可以通过： +是否开启单BE的多标签功能 -`ADMIN SET FRONTEND CONFIG("key"="value") `方式进行设置 +### 服务 -### `enable_spark_load` +#### `query_port` -默认值：false +默认值：9030 -是否可以动态配置：true +Doris FE 通过 mysql 协议查询连接端口 + +### `frontend_address` + +状态:已弃用，不建议使用。 + +类型:string + +描述:显式配置FE的IP地址，不使用*InetAddress。getByName*获取IP地址。通常在*InetAddress中。getByName*当无法获得预期结果时。只支持IP地址，不支持主机名。 + +默认值:0.0.0.0 + +#### `priority_networks` + +默认值：空 + +为那些有很多 ip 的服务器声明一个选择策略。 请注意，最多应该有一个 ip 与此列表匹配。 这是一个以分号分隔格式的列表，用 CIDR 表示法，例如 10.10.10.0/24。 如果没有匹配这条规则的ip，会随机选择一个。 + +#### `http_port` + +默认值：8030 + +FE http 端口，当前所有 FE http 端口都必须相同 + +#### `qe_max_connection` + +默认值：1024 + +每个 FE 的最大连接数 + +#### `max_connection_scheduler_threads_num` + +默认值：4096 + +查询请求调度器中的最大线程数。 + +目前的策略是，有请求过来，就为其单独申请一个线程进行服务 + +#### `check_java_version` + +默认值：true + +Doris 将检查已编译和运行的 Java 版本是否兼容，如果不兼容将抛出Java版本不匹配的异常信息，并终止启动 + +#### `rpc_port` + +默认值：9020 + +FE Thrift Server的端口 + +#### `thrift_server_type` + +该配置表示FE的Thrift服务使用的服务模型, 类型为string, 大小写不敏感。 + +若该参数为 `SIMPLE`, 则使用 `TSimpleServer` 模型, 该模型一般不适用于生产环境，仅限于测试使用。 + +若该参数为 `THREADED`, 则使用 `TThreadedSelectorServer` 模型，该模型为非阻塞式I/O模型，即主从 Reactor 模型，该模型能及时响应大量的并发连接请求，在多数场景下有较好的表现。 + +若该参数为 `THREAD_POOL`, 则使用 `TThreadPoolServer` 模型，该模型为阻塞式I/O模型，使用线程池处理用户连接，并发连接数受限于线程池的数量，如果能提前预估并发请求的数量，并且能容忍足够多的线程资源开销，该模型会有较好的性能表现，默认使用该服务模型 + +#### `thrift_server_max_worker_threads` + +默认值：4096 + +Thrift Server最大工作线程数 + +#### `thrift_backlog_num` + +默认值：1024 + +thrift 服务器的 backlog_num 当你扩大这个 backlog_num 时，你应该确保它的值大于 linux `/proc/sys/net/core/somaxconn` 配置 + +#### `thrift_client_timeout_ms` + +默认值：0 + +thrift 服务器的连接超时和套接字超时配置 + +thrift_client_timeout_ms 的默认值设置为零以防止读取超时 + +#### `use_compact_thrift_rpc` + +默认值：true + +是否使用压缩格式发送查询计划结构体。开启后，可以降低约50%的查询计划结构体大小，从而避免一些 "send fragment timeout" 错误。 +但是在某些高并发小查询场景下，可能会降低约10%的并发度。 + +#### `grpc_max_message_size_bytes` + +默认值：1G + +用于设置 GRPC 客户端通道的初始流窗口大小，也用于设置最大消息大小。当结果集较大时，可能需要增大该值。 + +#### `max_mysql_service_task_threads_num` + +默认值：4096 + +mysql 中处理任务的最大线程数。 + +#### `mysql_service_io_threads_num` + +默认值：4 + +mysql 中处理 io 事件的线程数。 + +#### `mysql_nio_backlog_num` + +默认值：1024 + +mysql nio server 的 backlog_num 当你放大这个 backlog_num 时，你应该同时放大 linux `/proc/sys/net/core/somaxconn`文件中的值 + +#### `broker_timeout_ms` + +默认值：10000 （10秒） + +Broker rpc 的默认超时时间 + +#### `backend_rpc_timeout_ms` + +FE向BE的BackendService发送rpc请求时的超时时间，单位：毫秒。 + +默认值：60000 + +是否可以动态配置：false 是否为 Master FE 节点独有的配置项：true -是否临时启用 spark load，默认不启用 - -### `disable_storage_medium_check` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -如果 disable_storage_medium_check 为true， ReportHandler 将不会检查 tablet 的存储介质， 并使得存储冷却功能失效，默认值为false。当您不关心 tablet 的存储介质是什么时，可以将值设置为true 。 - -### `drop_backend_after_decommission` +#### `drop_backend_after_decommission` 默认值：false @@ -413,45 +520,31 @@ show data （其他用法：HELP SHOW DATA） 3. decommission 操作完成后，该 BE 不会被删除。此时，取消掉该 BE 的 decommission 状态。则数据会开始从其他 BE 节点均衡回这个节点。此时，数据将会均匀的分布到该 BE 的所有磁盘上。 4. 对所有 BE 节点依次执行 2，3 两个步骤，最终达到所有节点磁盘均衡的目的。 -### `decommission_tablet_check_threshold` +#### `max_backend_down_time_second` -默认值: 5000 - -是否可以动态配置: true - -是否为 Master FE 节点独有的配置项：true - -该配置用于控制FE是否执行检测（Decommission）BE上Tablets状态的阈值。如果（Decommission）BE上的Tablets个数大于0但小于该阈值，FE会定时对该BE开启一项检测， - -如果该BE上的Tablets数量大于0但是所有Tablets均处于被回收的状态，那么FE会立即下线该（Decommission）BE。注意，不要把该值配置的太大，不然在Decommission阶段可能会对FE造成性能压力。 - -### `period_of_auto_resume_min` - -默认值：5 （s） +默认值：3600 （1小时） 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -自动恢复 Routine load 的周期 +如果 BE 关闭了 `max_backend_down_time_second`，将触发 BACKEND_DOWN 事件。 -### `max_tolerable_backend_down_num` +#### `disable_backend_black_list` -默认值：0 +用于禁止BE黑名单功能。禁止该功能后，如果向BE发送查询请求失败，也不会将这个BE添加到黑名单。 +该参数适用于回归测试环境，以减少偶发的错误导致大量回归测试失败。 + +默认值：false 是否可以动态配置：true -是否为 Master FE 节点独有的配置项：true +是否为 Master FE 节点独有的配置项：false -只要有一个BE宕机，Routine Load 就无法自动恢复 +#### `max_backend_heartbeat_failure_tolerance_count` -### `check_java_version` - -默认值：true - -Doris 将检查已编译和运行的 Java 版本是否兼容，如果不兼容将抛出Java版本不匹配的异常信息，并终止启动 - -### `max_running_rollup_job_num_per_table` +最大可容忍的BE节点心跳失败次数。如果连续心跳失败次数超过这个值，则会将BE状态置为 dead。 +该参数适用于回归测试环境，以减少偶发的心跳失败导致大量回归测试失败。 默认值：1 @@ -459,9 +552,161 @@ Doris 将检查已编译和运行的 Java 版本是否兼容，如果不兼容 是否为 Master FE 节点独有的配置项：true -控制 Rollup 作业并发限制 +#### `enable_access_file_without_broker` -### `dynamic_partition_enable` +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +此配置用于在通过代理访问 bos 或其他云存储时尝试跳过代理 + +#### `agent_task_resend_wait_time_ms` + +默认值：5000 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +当代理任务的创建时间被设置的时候，此配置将决定是否重新发送代理任务， 当且仅当当前时间减去创建时间大于 `agent_task_task_resend_wait_time_ms` 时，ReportHandler可以重新发送代理任务。 + +该配置目前主要用来解决 `PUBLISH_VERSION` 代理任务的重复发送问题, 目前该配置的默认值是5000，是个实验值。 + +由于把代理任务提交到代理任务队列和提交到 BE 存在一定的时间延迟，所以调大该配置的值可以有效解决代理任务的重复发送问题， + +但同时会导致提交失败或者执行失败的代理任务再次被执行的时间延长。 + +#### `max_agent_task_threads_num` + +默认值：4096 + +是否为 Master FE 节点独有的配置项：true + +代理任务线程池中处理代理任务的最大线程数。 + +#### `remote_fragment_exec_timeout_ms` + +默认值：5000 （ms） + +是否可以动态配置：true + +异步执行远程 fragment 的超时时间。 在正常情况下，异步远程 fragment 将在短时间内执行。 如果系统处于高负载状态，请尝试将此超时设置更长的时间。 + +#### `auth_token` + +默认值：空 + +用于内部身份验证的集群令牌。 + +#### `enable_http_server_v2` + +默认值：从官方 0.14.0 release 版之后默认是 true，之前默认 false + +HTTP Server V2 由 SpringBoot 实现, 并采用前后端分离的架构。只有启用 httpv2，用户才能使用新的前端 UI 界面 + +#### `http_api_extra_base_path` + +基本路径是所有 API 路径的 URL 前缀。 +一些部署环境需要配置额外的基本路径来匹配资源。 +此 Api 将返回在 Config.http_api_extra_base_path 中配置的路径。 +默认为空，表示未设置。 + +#### `jetty_server_acceptors` + +默认值：2 + +#### `jetty_server_selectors` + +默认值：4 + +#### `jetty_server_workers` + +默认值：0 + +Jetty 的线程数量由以上三个参数控制。Jetty的线程架构模型非常简单，分为 acceptors、selectors 和 workers 三个线程池。acceptors 负责接受新连接，然后交给 selectors 处理HTTP消息协议的解包，最后由 workers 处理请求。前两个线程池采用非阻塞模型，一个线程可以处理很多 socket 的读写，所以线程池数量较小。 + +大多数项目，acceptors 线程只需要1～2个，selectors 线程配置2～4个足矣。workers 是阻塞性的业务逻辑，往往有较多的数据库操作，需要的线程数量较多，具体数量随应用程序的 QPS 和 IO 事件占比而定。QPS 越高，需要的线程数量越多，IO 占比越高，等待的线程数越多，需要的总线程数也越多。 + +workers 线程池默认不做设置，根据自己需要进行设置 + +#### `jetty_server_max_http_post_size` + +默认值：`100 * 1024 * 1024` （100MB） + +这个是 put 或 post 方法上传文件的最大字节数，默认值：100MB + +#### `jetty_server_max_http_header_size` + +默认值：10240 （10K） + +http header size 配置参数 + +#### `enable_tracing` + +默认值：false + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：false + +是否开启链路追踪 + +如果启用此配置，您还应该指定 trace_export_url。 + +#### `trace_exporter` + +默认值：zipkin + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：false + +当前支持导出的链路追踪： + zipkin：直接将trace导出到zipkin，用于快速开启tracing特性。 + collector：collector可用于接收和处理traces，支持导出到多种第三方系统 +如果启用此配置，您还应该指定 enable_tracing=true 和 trace_export_url。 + +#### `trace_export_url` + +默认值：`http://127.0.0.1:9411/api/v2/spans` + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：false + +trace导出到 zipkin: `http://127.0.0.1:9411/api/v2/spans` + +trace导出到 collector: `http://127.0.0.1:4318/v1/traces` + +### 查询引擎 + +#### `default_max_query_instances` + +默认值：-1 + +用户属性max_query_instances小于等于0时，使用该配置，用来限制单个用户同一时刻可使用的查询instance个数。该参数小于等于0表示无限制。 + +#### `max_query_retry_time` + +默认值：1 + +是否可以动态配置：true + +查询重试次数。 如果我们遇到 RPC 异常并且没有将结果发送给用户，则可能会重试查询。 您可以减少此数字以避免雪崩灾难。 + +#### `max_dynamic_partition_num` + +默认值：500 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +用于限制创建动态分区表时可以创建的最大分区数，避免一次创建过多分区。 数量由动态分区参数中的“开始”和“结束”决定。 + +#### `dynamic_partition_enable` 默认值：true @@ -471,7 +716,7 @@ Doris 将检查已编译和运行的 Java 版本是否兼容，如果不兼容 是否启用动态分区调度，默认启用 -### `dynamic_partition_check_interval_seconds` +#### `dynamic_partition_check_interval_seconds` 默认值：600秒，10分钟 @@ -481,20 +726,113 @@ Doris 将检查已编译和运行的 Java 版本是否兼容，如果不兼容 检查动态分区的频率 -### `disable_cluster_feature` + + +#### `max_multi_partition_num` + +默认值：4096 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +用于限制批量创建分区表时可以创建的最大分区数，避免一次创建过多分区。 + + + +#### `partition_in_memory_update_interval_secs` + +默认值：300 (s) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +更新内存中全局分区信息的时间 + +#### `enable_concurrent_update` + +默认值：false + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：true + +是否启用并发更新 + +#### `lower_case_table_names` + +默认值：0 + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：true + +用于控制用户表表名大小写是否敏感。 +该配置只能在集群初始化时配置，初始化完成后集群重启和升级时不能修改。 + +0：表名按指定存储，比较区分大小写。 +1：表名以小写形式存储，比较不区分大小写。 +2：表名按指定存储，但以小写形式进行比较。 + +#### `table_name_length_limit` + +默认值：64 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +用于控制最大的表名长度 + +#### `cache_enable_sql_mode` 默认值：true 是否可以动态配置：true -多集群功能将在 0.12 版本中弃用 ，将此配置设置为 true 将禁用与集群功能相关的所有操作，包括： +是否为 Master FE 节点独有的配置项：false -1. 创建/删除集群 -2. 添加、释放BE/将BE添加到集群/停用集群balance -3. 更改集群的后端数量 -4. 链接/迁移数据库 +如果设置为 true，SQL 查询结果集将被缓存。如果查询中所有表的所有分区最后一次访问版本时间的间隔大于cache_last_version_interval_second，且结果集小于cache_result_max_row_count，则结果集会被缓存，下一条相同的SQL会命中缓存 -### `force_do_metadata_checkpoint` +如果设置为 true，FE 会启用 sql 结果缓存，该选项适用于离线数据更新场景 + +| | case1 | case2 | case3 | case4 | +| ---------------------- | ----- | ----- | ----- | ----- | +| enable_sql_cache | false | true | true | false | +| enable_partition_cache | false | false | true | true | + +#### `cache_enable_partition_mode` + +默认值：true + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +如果设置为 true，FE 将从 BE cache 中获取数据，该选项适用于部分分区的实时更新。 + +#### `cache_result_max_row_count` + +默认值：3000 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +设置可以缓存的最大行数，详细的原理可以参考官方文档：操作手册->分区缓存 + +#### `cache_last_version_interval_second` + +默认值：900 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +缓存结果时上一版本的最小间隔，该参数区分离线更新和实时更新 + +#### `enable_batch_delete_by_default` 默认值：false @@ -502,19 +840,29 @@ Doris 将检查已编译和运行的 Java 版本是否兼容，如果不兼容 是否为 Master FE 节点独有的配置项：true -如果设置为 true，则无论 jvm 内存使用百分比如何，检查点线程都会创建检查点 +创建唯一表时是否添加删除标志列，具体原理参照官方文档：操作手册->数据导入->批量删除 -### `metadata_checkpoint_memory_threshold` +#### `max_allowed_in_element_num_of_delete` -默认值：60 （60%） +默认值：1024 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -如果 jvm 内存使用百分比（堆或旧内存池）超过此阈值，则检查点线程将无法工作以避免 OOM。 +用于限制 delete 语句中 Predicate 的元素个数 -### `max_distribution_pruner_recursion_depth` +#### `max_running_rollup_job_num_per_table` + +默认值：1 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +控制 Rollup 作业并发限制 + +#### `max_distribution_pruner_recursion_depth` 默认值：100 @@ -528,76 +876,130 @@ Doris 将检查已编译和运行的 Java 版本是否兼容，如果不兼容 同样，我们可以通过动态修改配置的命令修改该配置。因为该配置不是 Master FE 独有配置，所以需要单独连接到不同的 FE，进行动态修改配置的操作，这样才能保证所有 FE 都使用了修改后的配置值 - -### `using_old_load_usage_pattern` +#### `enable_local_replica_selection` 默认值：false 是否可以动态配置：true -是否为 Master FE 节点独有的配置项：true +如果设置为 true，Planner 将尝试在与此前端相同的主机上选择 tablet 的副本。 +在以下情况下，这可能会减少网络传输： -如果设置为 true，处理错误的 insert stmt 仍将返回一个标签给用户。 用户可以使用此标签来检查加载作业的状态。 默认值为 false，表示插入操作遇到错误，不带加载标签，直接抛出异常给用户客户端。 +1. N 个主机，部署了 N 个 BE 和 N 个 FE。 -### `small_file_dir` +2. 数据有N个副本。 -默认值：DORIS_HOME_DIR + “/small_files” +3. 高并发查询均匀发送到所有 Frontends -保存小文件的目录 +在这种情况下，所有 Frontends 只能使用本地副本进行查询。如果想当本地副本不可用时，使用非本地副本服务查询，请将 enable_local_replica_selection_fallback 设置为 true -### `max_small_file_size_bytes` +#### `enable_local_replica_selection_fallback` -默认值：1M +默认值：false 是否可以动态配置：true -是否为 Master FE 节点独有的配置项：true +与 enable_local_replica_selection 配合使用，当本地副本不可用时，使用非本地副本服务查询。 -SmallFileMgr 中单个文件存储的最大大小 +#### `expr_depth_limit` -### `max_small_file_number` +默认值：3000 + +是否可以动态配置：true + +限制 expr 树的深度。 超过此限制可能会导致在持有 db read lock 时分析时间过长。 + +#### `expr_children_limit` + +默认值：10000 + +是否可以动态配置：true + +限制 expr 树的 expr 子节点的数量。 超过此限制可能会导致在持有数据库读锁时分析时间过长。 + +#### `be_exec_version` + +用于定义fragment之间传递block的序列化格式。 + +有时我们的一些代码改动会改变block的数据格式，为了使得BE在滚动升级的过程中能够相互兼容数据格式，我们需要从FE下发一个数据版本来决定以什么格式发送数据。 + +具体的来说，例如集群中有2个BE，其中一台经过升级能够支持最新的$v_1$，而另一台只支持$v_0$，此时由于FE还未升级，所以统一下发$v_0$，BE之间以旧的数据格式进行交互。待BE都升级完成，我们再升级FE，此时新的FE会下发$v_1$，集群统一切换到新的数据格式。 + + +默认值为`max_be_exec_version`，如果有特殊需要，我们可以手动设置将格式版本降低，但不应低于`min_be_exec_version`。 + +需要注意的是，我们应该始终保持该变量的值处于**所有**BE的`BeExecVersionManager::min_be_exec_version`和`BeExecVersionManager::max_be_exec_version`之间。（也就是说如果一个已经完成更新的集群如果需要降级，应该保证先降级FE再降级BE的顺序，或者手动在设置中将该变量调低再降级BE） + +#### `max_be_exec_version` + +目前支持的最新数据版本，不可修改，应与配套版本的BE中的`BeExecVersionManager::max_be_exec_version`一致。 + +#### `min_be_exec_version` + +目前支持的最旧数据版本，不可修改，应与配套版本的BE中的`BeExecVersionManager::min_be_exec_version`一致。 + +#### `max_query_profile_num` + +用于设置保存查询的 profile 的最大个数。 默认值：100 是否可以动态配置：true -是否为 Master FE 节点独有的配置项：true +是否为 Master FE 节点独有的配置项：false -SmallFileMgr 中存储的最大文件数 +#### `publish_version_interval_ms` -### `max_routine_load_task_num_per_be` +默认值：10 （ms） -默认值：5 +两个发布版本操作之间的最小间隔 + +#### `publish_version_timeout_second` + +默认值：30 （s） 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -每个 BE 的最大并发例 Routine Load 任务数。 这是为了限制发送到 BE 的 Routine Load 任务的数量，并且它也应该小于 BE config `routine_load_thread_pool_size`（默认 10），这是 BE 上的 Routine Load 任务线程池大小。 +一个事务的所有发布版本任务完成的最大等待时间 -### `max_routine_load_task_concurrent_num` +#### `query_colocate_join_memory_limit_penalty_factor` -默认值：5 +默认值：1 + +是否可以动态配置：true + +colocate join PlanFragment instance 的 memory_limit = exec_mem_limit / min (query_colocate_join_memory_limit_penalty_factor, instance_num) + +#### `rewrite_count_distinct_to_bitmap_hll` + +默认值：true + +该变量为 session variable，session 级别生效。 + +- 类型：boolean +- 描述：**仅对于 AGG 模型的表来说**，当变量为 true 时，用户查询时包含 count(distinct c1) 这类聚合函数时，如果 c1 列本身类型为 bitmap，则 count distnct 会改写为 bitmap_union_count(c1)。 当 c1 列本身类型为 hll，则 count distinct 会改写为 hll_union_agg(c1) 如果变量为 false，则不发生任何改写。 + +### 导入与导出 + +### `enable_vectorized_load` + +默认值：true + +是否开启向量化导入 + +#### `default_max_filter_ratio` + +默认值：0 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -单个 Routine Load 作业的最大并发任务数 +可过滤数据（由于数据不规则等原因）的最大百分比。默认值为0，表示严格模式，只要数据有一条被过滤掉整个导入失败 -### `max_routine_load_job_num` - -默认值：100 - -最大 Routine Load 作业数，包括 NEED_SCHEDULED, RUNNING, PAUSE - -### `max_backup_restore_job_num_per_db` - -默认值：10 - -此配置用于控制每个 DB 能够记录的 backup/restore 任务的数量 - -### `max_running_txn_num_per_db` +#### `max_running_txn_num_per_db` 默认值：100 @@ -617,73 +1019,7 @@ current running txns on db xxx is xx, larger than limit xx 一般来说不推荐增大这个配置值。过高的并发数可能导致系统负载过大 -### `enable_metric_calculator` - -默认值：true - -如果设置为 true，指标收集器将作为守护程序计时器运行，以固定间隔收集指标 - -### `report_queue_size` - -默认值： 100 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -这个阈值是为了避免在 FE 中堆积过多的报告任务，可能会导致 OOM 异常等问题。 并且每个 BE 每 1 分钟会报告一次 tablet 信息，因此无限制接收报告是不可接受的。以后我们会优化 tablet 报告的处理速度 - -**不建议修改这个值** - -### `partition_rebalance_max_moves_num_per_selection` - -默认值：10 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -仅在使用 PartitionRebalancer 时有效 ， - -### `partition_rebalance_move_expire_after_access` - -默认值：600 (s) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -仅在使用 PartitionRebalancer 时有效。 如果更改，缓存的移动将被清除 - -### tablet_rebalancer_type - -默认值：BeLoad - -是否为 Master FE 节点独有的配置项：true - -rebalancer 类型（忽略大小写）：BeLoad、Partition。 如果类型解析失败，默认使用 BeLoad - -### `max_balancing_tablets` - -默认值：100 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -如果 TabletScheduler 中的 balance tablet 数量超过 `max_balancing_tablets`，则不再进行 balance 检查 - -### `max_scheduling_tablets` - -默认值：2000 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -如果 TabletScheduler 中调度的 tablet 数量超过 `max_scheduling_tablets`， 则跳过检查。 - -### `disable_balance` +#### `using_old_load_usage_pattern` 默认值：false @@ -691,46 +1027,9 @@ rebalancer 类型（忽略大小写）：BeLoad、Partition。 如果类型解 是否为 Master FE 节点独有的配置项：true -如果设置为 true，TabletScheduler 将不会做 balance +如果设置为 true，处理错误的 insert stmt 仍将返回一个标签给用户。 用户可以使用此标签来检查导入作业的状态。 默认值为 false，表示插入操作遇到错误，不带导入标签，直接抛出异常给用户客户端。 -### `balance_load_score_threshold` - -默认值：0.1 (10%) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -集群 balance 百分比的阈值，如果一个BE的负载分数比平均分数低10%，这个后端将被标记为低负载，如果负载分数比平均分数高10%，将被标记为高负载。 - -### `schedule_slot_num_per_path` - -默认值：2 - -tablet 调度程序中每个路径的默认 slot 数量 - -### `tablet_repair_delay_factor_second` - -默认值：60 （s） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -决定修复 tablet 前的延迟时间因素。 - -1. 如果优先级为 VERY_HIGH，请立即修复。 -2. HIGH，延迟 tablet_repair_delay_factor_second * 1； -3. 正常：延迟 tablet_repair_delay_factor_second * 2； -4. 低：延迟 tablet_repair_delay_factor_second * 3； - -### `es_state_sync_interval_second` - -默认值：10 - -FE 会在每隔 es_state_sync_interval_secs 调用 es api 获取 es 索引分片信息 - -### `disable_hadoop_load` +#### `disable_load_job` 默认值：false @@ -738,9 +1037,34 @@ FE 会在每隔 es_state_sync_interval_secs 调用 es api 获取 es 索引分片 是否为 Master FE 节点独有的配置项：true -默认不禁用，将来不推荐使用 hadoop 集群 load。 设置为 true 以禁用这种 load 方式。 +不禁用，如果这设置为 true -### `db_used_data_quota_update_interval_secs` +- 调用开始 txn api 时，所有挂起的导入作业都将失败 +- 调用 commit txn api 时，所有准备导入作业都将失败 +- 所有提交的导入作业将等待发布 + +#### `commit_timeout_second` + +默认值：30 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +在提交一个事务之前插入所有数据的最大等待时间 +这是命令“commit”的超时秒数 + +#### `max_unfinished_load_job` + +默认值：1000 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +最大加载任务数，包括 PENDING、ETL、LOADING、QUORUM_FINISHED。 如果超过此数量，则不允许提交导入作业。 + +#### `db_used_data_quota_update_interval_secs` 默认值：300 (s) @@ -754,7 +1078,7 @@ FE 会在每隔 es_state_sync_interval_secs 调用 es api 获取 es 索引分片 该配置用于设置更新数据库使用的数据量的值的时间间隔 -### `disable_load_job` +#### `disable_show_stream_load` 默认值：false @@ -762,72 +1086,29 @@ FE 会在每隔 es_state_sync_interval_secs 调用 es api 获取 es 索引分片 是否为 Master FE 节点独有的配置项：true -不禁用，如果这设置为 true +是否禁用显示 stream load 并清除内存中的 stream load 记录。 -- 调用开始 txn api 时，所有挂起的加载作业都将失败 -- 调用 commit txn api 时，所有准备加载作业都将失败 -- 所有提交的加载作业将等待发布 +#### `max_stream_load_record_size` -### `catalog_try_lock_timeout_ms` - -默认值：5000 （ms） - -是否可以动态配置：true - -元数据锁的 tryLock 超时配置。 通常它不需要改变，除非你需要测试一些东西。 - -### `max_query_retry_time` - -默认值：1 - -是否可以动态配置：true - -查询重试次数。 如果我们遇到 RPC 异常并且没有将结果发送给用户，则可能会重试查询。 您可以减少此数字以避免雪崩灾难。 - -### `remote_fragment_exec_timeout_ms` - -默认值：5000 （ms） - -是否可以动态配置：true - -异步执行远程 fragment 的超时时间。 在正常情况下，异步远程 fragment 将在短时间内执行。 如果系统处于高负载状态，请尝试将此超时设置更长的时间。 - -### `enable_local_replica_selection` - -默认值：false - -是否可以动态配置：true - -如果设置为 true，Planner 将尝试在与此前端相同的主机上选择 tablet 的副本。 -在以下情况下，这可能会减少网络传输： - -1. N 个主机，部署了 N 个 BE 和 N 个 FE。 - -2. 数据有N个副本。 - -3. 高并发查询均匀发送到所有 Frontends - -在这种情况下，所有 Frontends 只能使用本地副本进行查询。如果想当本地副本不可用时，使用非本地副本服务查询，请将 enable_local_replica_selection_fallback 设置为 true - -### `enable_local_replica_selection_fallback` - -默认值：false - -是否可以动态配置：true - -与 enable_local_replica_selection 配合使用，当本地副本不可用时，使用非本地副本服务查询。 - -### `max_unfinished_load_job` - -默认值：1000 +默认值：5000 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -最大加载任务数，包括 PENDING、ETL、LOADING、QUORUM_FINISHED。 如果超过此数量，则不允许提交加载作业。 +可以存储在内存中的最近 stream load 记录的默认最大数量 -### `max_bytes_per_broker_scanner` +#### `fetch_stream_load_record_interval_second` + +默认值：120 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +获取 stream load 记录间隔 + +#### `max_bytes_per_broker_scanner` 默认值：3 * 1024 * 1024 * 1024L （3G） @@ -837,155 +1118,793 @@ FE 会在每隔 es_state_sync_interval_secs 调用 es api 获取 es 索引分片 broker scanner 程序可以在一个 broker 加载作业中处理的最大字节数。 通常，每个 BE 都有一个 broker scanner 程序。 -### `enable_auth_check` +#### `default_load_parallelism` -默认值：true - -如果设置为 false，则身份验证检查将被禁用，以防新权限系统出现问题。 - -### `tablet_stat_update_interval_second` - -默认值：300，（5分钟） - -tablet 状态更新间隔 -所有 FE 将在每个时间间隔从所有 BE 获取 tablet 统计信息 - -### `storage_flood_stage_usage_percent ` - -默认值：95 （95%） +默认值：1 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -### ` storage_flood_stage_left_capacity_bytes` +单个节点broker load导入的默认并发度。 +如果用户在提交broker load任务时，在properties中自行指定了并发度，则采用用户自定义的并发度。 +此参数将与`max_broker_concurrency`、`min_bytes_per_broker_scanner`等多个配置共同决定导入任务的并发度。 -默认值： +#### `max_broker_concurrency` - storage_flood_stage_usage_percent : 95 (95%) - - storage_flood_stage_left_capacity_bytes : 1 * 1024 * 1024 * 1024 (1GB) +默认值：10 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -如果磁盘容量达到 `storage_flood_stage_usage_percent` 和 `storage_flood_stage_left_capacity_bytes` 以下操作将被拒绝： +broker scanner 的最大并发数。 -1. load 作业 -2. restore 工作 +#### `min_bytes_per_broker_scanner` -### `storage_high_watermark_usage_percent` - -默认值：85 (85%) +默认值：67108864L (64M) 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -### `storage_min_left_capacity_bytes` +单个 broker scanner 将读取的最小字节数。 -默认值： `2 * 1024 * 1024 * 1024` (2GB) +#### `period_of_auto_resume_min` + +默认值：5 （s） 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -`storage_high_watermark_usage_percent` 限制 BE 端存储路径使用最大容量百的分比。 `storage_min_left_capacity_bytes`限制 BE 端存储路径的最小剩余容量。 如果达到这两个限制，则不能选择此存储路径作为 tablet 存储目的地。 但是对于 tablet 恢复，我们可能会超过这些限制以尽可能保持数据完整性。 +自动恢复 Routine load 的周期 -### `backup_job_default_timeout_ms` +#### `max_tolerable_backend_down_num` -默认值：86400 * 1000 (1天) +默认值：0 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -备份作业的默认超时时间 +只要有一个BE宕机，Routine Load 就无法自动恢复 -### `with_k8s_certs` +#### `max_routine_load_task_num_per_be` + +默认值：5 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +每个 BE 的最大并发例 Routine Load 任务数。 这是为了限制发送到 BE 的 Routine Load 任务的数量，并且它也应该小于 BE config `routine_load_thread_pool_size`（默认 10），这是 BE 上的 Routine Load 任务线程池大小。 + +#### `max_routine_load_task_concurrent_num` + +默认值：5 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +单个 Routine Load 作业的最大并发任务数 + +#### `max_routine_load_job_num` + +默认值：100 + +最大 Routine Load 作业数，包括 NEED_SCHEDULED, RUNNING, PAUSE + +#### `desired_max_waiting_jobs` + +默认值：100 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +routine load V2 版本加载的默认等待作业数 ，这是一个理想的数字。 在某些情况下，例如切换 master，当前数量可能超过` desired_max_waiting_jobs` + +#### `disable_hadoop_load` 默认值：false -如果在本地使用 k8s 部署管理器，请将其设置为 true 并准备证书文件 +是否可以动态配置：true -### `dpp_hadoop_client_path` +是否为 Master FE 节点独有的配置项：true -默认值：/lib/hadoop-client/hadoop/bin/hadoop +默认不禁用，将来不推荐使用 hadoop 集群 load。 设置为 true 以禁用这种 load 方式。 -### `dpp_bytes_per_reduce` +#### `enable_spark_load` -默认值：100 * 1024 * 1024L (100M) - -### `dpp_default_cluster` - -默认值：palo-dpp - -### `dpp_default_config_str` - -默认值：{ - hadoop_configs : 'mapred.job.priority=NORMAL;mapred.job.map.capacity=50;mapred.job.reduce.capacity=50;mapred.hce.replace.streaming=false;abaci.long.stored.job=true;dce.shuffle.enable=false;dfs.client.authserver.force_stop=true;dfs.client.auth.method=0' - } - -### dpp_config_str - -默认值：{ - palo-dpp : { - hadoop_palo_path : '/dir', - hadoop_configs : 'fs.default.name=hdfs://host:port;mapred.job.tracker=host:port;hadoop.job.ugi=user,password' - } - } - -### `enable_deploy_manager` - -默认值：disable - -如果使用第三方部署管理器部署 Doris，则设置为 true - -有效的选项是： - -- disable：没有部署管理器 -- k8s：Kubernetes -- ambari：Ambari -- local：本地文件（用于测试或 Boxer2 BCC 版本） - -### `enable_token_check` - -默认值：true - -为了向前兼容，稍后将被删除。 下载image文件时检查令牌。 - -### `expr_depth_limit` - -默认值：3000 +默认值：false 是否可以动态配置：true -限制 expr 树的深度。 超过此限制可能会导致在持有 db read lock 时分析时间过长。 +是否为 Master FE 节点独有的配置项：true -### `expr_children_limit` +是否临时启用 spark load，默认不启用 + +**注意：** 这个参数在1.2版本中已经删除，默认开启spark_load + +#### `spark_load_checker_interval_second` + +默认值：60 + +Spark 负载调度程序运行间隔,默认 60 秒 + +#### `async_loading_load_task_pool_size` + +默认值：10 + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：true + +`loading_load`任务执行程序池大小。 该池大小限制了正在运行的最大 `loading_load`任务数。 + +当前，它仅限制 `broker load`的 `loading_load`任务的数量。 + +#### `async_pending_load_task_pool_size` + +默认值：10 + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：true + +`pending_load`任务执行程序池大小。 该池大小限制了正在运行的最大 `pending_load`任务数。 + +当前，它仅限制 `broker load`和 `spark load`的 `pending_load`任务的数量。 + +它应该小于 `max_running_txn_num_per_db`的值 + +#### `async_load_task_pool_size` + +默认值：10 + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：true + +此配置只是为了兼容旧版本，此配置已被 `async_loading_load_task_pool_size`取代，以后会被移除。 + +#### `enable_single_replica_load` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +是否启动单副本数据导入功能。 + +#### `min_load_timeout_second` + +默认值：1 （1秒） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +最小超时时间，适用于所有类型的load + +#### `max_stream_load_timeout_second` + +默认值：259200 （3天） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +stream load 和 mini load 最大超时时间 + +#### `max_load_timeout_second` + +默认值：259200 （3天） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +load 最大超时时间，适用于除 stream load 之外的所有类型的加载 + +#### `stream_load_default_timeout_second` + +默认值：600（s） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +默认 stream load 和 mini load 超时时间 + +#### `stream_load_default_precommit_timeout_second` + +默认值：3600（s） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +默认 stream load 预提交超时时间 + +#### `insert_load_default_timeout_second` + +默认值：3600（1小时） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +默认 insert load 超时时间 + +#### `mini_load_default_timeout_second` + +默认值：3600（1小时） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +默认非 stream load 类型的 mini load 的超时时间 + +#### `broker_load_default_timeout_second` + +默认值：14400（4小时） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +Broker load 的默认超时时间 + +#### `spark_load_default_timeout_second` + +默认值：86400 (1天) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +默认 Spark 导入超时时间 + +#### `hadoop_load_default_timeout_second` + +默认值：86400 * 3 (3天) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +Hadoop 导入超时时间 + +#### `load_running_job_num_limit` + +默认值：0 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +Load 任务数量限制，默认0，无限制 + +#### `load_input_size_limit_gb` + +默认值：0 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +Load 作业输入的数据大小，默认是0，无限制 + +#### `load_etl_thread_num_normal_priority` + +默认值：10 + +NORMAL 优先级 etl 加载作业的并发数。 + +#### `load_etl_thread_num_high_priority` + +默认值：3 + +高优先级 etl 加载作业的并发数。 + +#### `load_pending_thread_num_normal_priority` + +默认值：10 + +NORMAL 优先级挂起加载作业的并发数。 + +#### `load_pending_thread_num_high_priority` + +默认值：3 + +高优先级挂起加载作业的并发数。 加载作业优先级定义为 HIGH 或 NORMAL。 所有小批量加载作业都是 HIGH 优先级，其他类型的加载作业是 NORMAL 优先级。 设置优先级是为了避免慢加载作业长时间占用线程。 这只是内部优化的调度策略。 目前，您无法手动指定作业优先级。 + +#### `load_checker_interval_second` + +默认值：5 （s） + +负载调度器运行间隔。 加载作业将其状态从 PENDING 转移到 LOADING 到 FINISHED。 加载调度程序将加载作业从 PENDING 转移到 LOADING 而 txn 回调会将加载作业从 LOADING 转移到 FINISHED。 因此，当并发未达到上限时，加载作业最多需要一个时间间隔才能完成。 + +#### `load_straggler_wait_second` + +默认值：300 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +负载中落后节点的最大等待秒数 + 例如： + 有 3 个副本 A, B, C + load 已经在 t1 时仲裁完成 (A,B) 并且 C 没有完成， + 如果 (current_time-t1)> 300s，那么 doris会将 C 视为故障节点， + 将调用事务管理器提交事务并告诉事务管理器 C 失败。 + +这也用于等待发布任务时 + +**注意：** 这个参数是所有作业的默认值，DBA 可以为单独的作业指定它 + +#### `label_keep_max_second` + +默认值：3 * 24 * 3600 (3天) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +`label_keep_max_second `后将删除已完成或取消的加载作业的标签， + +1. 去除的标签可以重复使用。 +2. 设置较短的时间会降低 FE 内存使用量 （因为所有加载作业的信息在被删除之前都保存在内存中） + +在高并发写的情况下，如果出现大量作业积压，出现 `call frontend service failed`的情况，查看日志如果是元数据写占用锁的时间太长，可以将这个值调成12小时，或者更小6小时 + +#### `streaming_label_keep_max_second` + +默认值：43200 （12小时） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +对于一些高频负载工作，例如：INSERT、STREAMING LOAD、ROUTINE_LOAD_TASK 。 如果过期，则删除已完成的作业或任务。 + +#### `label_clean_interval_second` + +默认值：1 * 3600 （1小时） + +load 标签清理器将每隔 `label_clean_interval_second` 运行一次以清理过时的作业。 + +#### `transaction_clean_interval_second` + +默认值：30 + +如果事务 visible 或者 aborted 状态，事务将在 `transaction_clean_interval_second` 秒后被清除 ，我们应该让这个间隔尽可能短，每个清洁周期都尽快 + +#### `sync_commit_interval_second` + +提交事务的最大时间间隔。若超过了这个时间 channel 中还有数据没有提交，consumer 会通知 channel 提交事务。 + +默认值：10（秒） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `sync_checker_interval_second` + +数据同步作业运行状态检查 + +默认值：10（秒） + +#### `max_sync_task_threads_num` + +数据同步作业线程池中的最大线程数量。 + +默认值：10 + +#### `min_sync_commit_size` + +提交事务需满足的最小 event 数量。若 Fe 接收到的 event 数量小于它，会继续等待下一批数据直到时间超过了 `sync_commit_interval_second ` 为止。默认值是 10000 个 events，如果你想修改此配置，请确保此值小于 canal 端的 `canal.instance.memory.buffer.size` 配置（默认16384），否则在 ack 前Fe会尝试获取比 store 队列长度更多的 event，导致 store 队列阻塞至超时为止。 默认值：10000 是否可以动态配置：true -限制 expr 树的 expr 子节点的数量。 超过此限制可能会导致在持有数据库读锁时分析时间过长。 +是否为 Master FE 节点独有的配置项：true -### `proxy_auth_magic_prefix` +#### `min_bytes_sync_commit` -默认值：x@8 +提交事务需满足的最小数据大小。若 Fe 接收到的数据大小小于它，会继续等待下一批数据直到时间超过了 `sync_commit_interval_second` 为止。默认值是 15 MB，如果你想修改此配置，请确保此值小于 canal 端的 `canal.instance.memory.buffer.size` 和 `canal.instance.memory.buffer.memunit` 的乘积（默认 16 MB），否则在 ack 前 Fe 会尝试获取比 store 空间更大的数据，导致 store 队列阻塞至超时为止。 -### `proxy_auth_enable` +默认值：`15 * 1024 * 1024`（15M） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `max_bytes_sync_commit` + +数据同步作业线程池中的最大线程数量。此线程池整个FE中只有一个，用于处理FE中所有数据同步作业向BE发送数据的任务 task，线程池的实现在 `SyncTaskPool` 类。 + +默认值：10 + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：false + +#### `enable_outfile_to_local` 默认值：false -### `meta_publish_timeout_ms` +是否允许 outfile 函数将结果导出到本地磁盘 -默认值：1000ms +#### `export_tablet_num_per_task` -默认元数据发布超时时间 +默认值：5 -### `disable_colocate_balance` +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +每个导出查询计划的 tablet 数量 + +#### `export_task_default_timeout_second` + +默认值：2 * 3600 （2小时） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +导出作业的默认超时时间 + +#### `export_running_job_num_limit` + +默认值：5 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +运行导出作业的并发限制，默认值为 5，0 表示无限制 + +#### `export_checker_interval_second` + +默认值：5 + +导出检查器的运行间隔 + +### 日志 + +#### `log_roll_size_mb` + +默认值：1024 （1G） + +一个系统日志和审计日志的最大大小 + +#### `sys_log_dir` + +默认值：PaloFe.DORIS_HOME_DIR + "/log" + +sys_log_dir: + +这指定了 FE 日志目录。 FE 将产生 2 个日志文件： + +1. fe.log：FE进程的所有日志。 +2. fe.warn.log FE 进程的所有警告和错误日志。 + +#### `sys_log_level` + +默认值：INFO + +日志级别，可选项：INFO, WARNING, ERROR, FATAL + +#### `sys_log_roll_num` + +默认值：10 + +要保存在 `sys_log_roll_interval ` 内的最大 FE 日志文件。 默认为 10，表示一天最多有 10 个日志文件 + +#### `sys_log_verbose_modules` + +默认值：{} + +详细模块。 VERBOSE 级别由 log4j DEBUG 级别实现。 + +例如： + sys_log_verbose_modules = org.apache.doris.catalog + 这只会打印包 org.apache.doris.catalog 及其所有子包中文件的调试日志。 + +#### `sys_log_roll_interval` + +默认值：DAY + +可选项: + +- DAY: log 前缀是 yyyyMMdd +- HOUR: log 前缀是 yyyyMMddHH + +#### `sys_log_delete_age` + +默认值：7d + +默认为 7 天，如果日志的最后修改时间为 7 天前，则将其删除。 + +支持格式： + +- 7d: 7 天 +- 10h: 10 小时 +- 60m: 60 分钟 +- 120s: 120 秒 + +#### `sys_log_roll_mode` + +默认值：SIZE-MB-1024 + +日志拆分的大小，每1G拆分一个日志文件 + +#### `audit_log_dir` + +默认值：PaloFe.DORIS_HOME_DIR + "/log" + +审计日志目录： +这指定了 FE 审计日志目录。 +审计日志 fe.audit.log 包含所有请求以及相关信息，如 `user, host, cost, status ` 等。 + +#### `audit_log_roll_num` + +默认值：90 + +保留在 `audit_log_roll_interval ` 内的最大 FE 审计日志文件。 + +#### `audit_log_modules` + +默认值：{"slow_query", "query", "load", "stream_load"} + +慢查询包含所有开销超过 *qe_slow_log_ms* 的查询 + +#### `qe_slow_log_ms` + +默认值：5000 （5秒） + +如果查询的响应时间超过此阈值，则会在审计日志中记录为 slow_query。 + +#### `audit_log_roll_interval` + +默认值：DAY + +DAY: log前缀是：yyyyMMdd +HOUR: log前缀是：yyyyMMddHH + +#### `audit_log_delete_age` + +默认值：30d + +默认为 30 天，如果日志的最后修改时间为 30 天前，则将其删除。 + +支持格式： +- 7d 7 天 +- 10小时 10 小时 +- 60m 60 分钟 +- 120s 120 秒 + +### 存储 + +#### `min_replication_num_per_tablet` + +默认值：1 + +用于设置单个tablet的最小replication数量。 + +#### `max_replication_num_per_tablet` + +默认值：32767 + +用于设置单个 tablet 的最大 replication 数量。 + +#### `default_db_data_quota_bytes` + +默认值：1PB + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +用于设置默认数据库数据配额大小，设置单个数据库的配额大小可以使用： + +``` +设置数据库数据量配额，单位为B/K/KB/M/MB/G/GB/T/TB/P/PB +ALTER DATABASE db_name SET DATA QUOTA quota; +查看配置 +show data （其他用法：HELP SHOW DATA） +``` + +#### `default_db_replica_quota_size` + +默认值：1073741824 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +用于设置默认数据库Replica数量配额大小，设置单个数据库配额大小可以使用： + +``` +设置数据库Replica数量配额 +ALTER DATABASE db_name SET REPLICA QUOTA quota; +查看配置 +show data （其他用法：HELP SHOW DATA） +``` + +#### `recover_with_empty_tablet` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +在某些情况下，某些 tablet 可能会损坏或丢失所有副本。 此时数据已经丢失，损坏的 tablet 会导致整个查询失败，无法查询剩余的健康 tablet。 + +在这种情况下，您可以将此配置设置为 true。 系统会将损坏的 tablet 替换为空 tablet，以确保查询可以执行。 （但此时数据已经丢失，所以查询结果可能不准确） + +#### `min_clone_task_timeout_sec` 和 `max_clone_task_timeout_sec` + +默认值：最小3分钟，最大两小时 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +`min_clone_task_timeout_sec` 和 `max_clone_task_timeout_sec` 用于限制克隆任务的最小和最大超时间。 一般情况下，克隆任务的超时时间是通过数据量和最小传输速度（5MB/s）来估计的。 但在特殊情况下，您可能需要手动设置这两个配置，以确保克隆任务不会因超时而失败。 + +#### `disable_storage_medium_check` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果 disable_storage_medium_check 为true， ReportHandler 将不会检查 tablet 的存储介质， 并使得存储冷却功能失效，默认值为false。当您不关心 tablet 的存储介质是什么时，可以将值设置为true 。 + +#### `decommission_tablet_check_threshold` + +默认值: 5000 + +是否可以动态配置: true + +是否为 Master FE 节点独有的配置项：true + +该配置用于控制FE是否执行检测（Decommission）BE上Tablets状态的阈值。如果（Decommission）BE上的Tablets个数大于0但小于该阈值，FE会定时对该BE开启一项检测， + +如果该BE上的Tablets数量大于0但是所有Tablets均处于被回收的状态，那么FE会立即下线该（Decommission）BE。注意，不要把该值配置的太大，不然在Decommission阶段可能会对FE造成性能压力。 + +#### `partition_rebalance_max_moves_num_per_selection` + +默认值：10 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +仅在使用 PartitionRebalancer 时有效 ， + +#### `partition_rebalance_move_expire_after_access` + +默认值：600 (s) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +仅在使用 PartitionRebalancer 时有效。 如果更改，缓存的移动将被清除 + +#### tablet_rebalancer_type + +默认值：BeLoad + +是否为 Master FE 节点独有的配置项：true + +rebalancer 类型（忽略大小写）：BeLoad、Partition。 如果类型解析失败，默认使用 BeLoad + +#### `max_balancing_tablets` + +默认值：100 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果 TabletScheduler 中的 balance tablet 数量超过 `max_balancing_tablets`，则不再进行 balance 检查 + +#### `max_scheduling_tablets` + +默认值：2000 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果 TabletScheduler 中调度的 tablet 数量超过 `max_scheduling_tablets`， 则跳过检查。 + +#### `disable_balance` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果设置为 true，TabletScheduler 将不会做 balance + +#### `disable_disk_balance` + +默认值：true + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果设置为 true，TabletScheduler 将不会做单个BE上磁盘之间的 balance + +#### `balance_load_score_threshold` + +默认值：0.1 (10%) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +集群 balance 百分比的阈值，如果一个BE的负载分数比平均分数低10%，这个后端将被标记为低负载，如果负载分数比平均分数高10%，将被标记为高负载。 + +#### `capacity_used_percent_high_water` + +默认值：0.75 （75%） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +磁盘容量的高水位使用百分比。 这用于计算后端的负载分数 + +#### `clone_distribution_balance_threshold` + +默认值：0.2 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +BE副本数的平衡阈值。 + +#### `clone_capacity_balance_threshold` + +默认值：0.2 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +* BE 中数据大小的平衡阈值。 + + 平衡算法为： + + 1. 计算整个集群的平均使用容量（AUC）（总数据大小/BE数） + + 2. 高水位为(AUC * (1 + clone_capacity_balance_threshold)) + + 3. 低水位为(AUC * (1 - clone_capacity_balance_threshold)) + + 4. 克隆检查器将尝试将副本从高水位 BE 移动到低水位 BE。 + +#### `disable_colocate_balance` 默认值：false @@ -1001,29 +1920,198 @@ tablet 状态更新间隔 2. 因为一旦关闭平衡，不稳定的 colocate 表可能无法恢复 3. 最终查询时无法使用 colocate 计划。 -### `query_colocate_join_memory_limit_penalty_factor` +#### `disable_tablet_scheduler` -默认值：1 +默认值：false 是否可以动态配置：true -colocote join PlanFragment instance 的 memory_limit = exec_mem_limit / min (query_colocate_join_memory_limit_penalty_factor, instance_num) +是否为 Master FE 节点独有的配置项：true -### `max_connection_scheduler_threads_num` +如果设置为true，将关闭副本修复和均衡逻辑。 -默认值：4096 +#### `enable_force_drop_redundant_replica` -查询请求调度器中的最大线程数。 +默认值：false -前的策略是，有请求过来，就为其单独申请一个线程进行服务 +是否可以动态配置：true -### `qe_max_connection` +是否为 Master FE 节点独有的配置项：true -默认值：1024 +如果设置为 true，系统会在副本调度逻辑中，立即删除冗余副本。这可能导致部分正在对对应副本写入的导入作业失败，但是会加速副本的均衡和修复速度。 +当集群中有大量等待被均衡或修复的副本时，可以尝试设置此参数，以牺牲部分导入成功率为代价，加速副本的均衡和修复。 -每个 FE 的最大连接数 +#### `colocate_group_relocate_delay_second` -### `check_consistency_default_timeout_second` +默认值：1800 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +重分布一个 Colocation Group 可能涉及大量的tablet迁移。因此，我们需要一个更保守的策略来避免不必要的 Colocation 重分布。 +重分布通常发生在 Doris 检测到有 BE 节点宕机后。这个参数用于推迟对BE宕机的判断。如默认参数下，如果 BE 节点能够在 1800 秒内恢复，则不会触发 Colocation 重分布。 + +#### `allow_replica_on_same_host` + +默认值：false + +是否可以动态配置：false + +是否为 Master FE 节点独有的配置项：false + +是否允许同一个 tablet 的多个副本分布在同一个 host 上。这个参数主要用于本地测试是，方便搭建多个 BE 已测试某些多副本情况。不要用于非测试环境。 + +#### `repair_slow_replica` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果设置为 true，会自动检测compaction比较慢的副本，并将迁移到其他机器，检测条件是 最慢副本的版本计数超过 `min_version_count_indicate_replica_compaction_too_slow` 的值， 且与最快副本的版本计数差异所占比例超过 `valid_version_count_delta_ratio_between_replicas` 的值 + +#### `min_version_count_indicate_replica_compaction_too_slow` + +默认值：200 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +版本计数阈值，用来判断副本做 compaction 的速度是否太慢 + +#### `skip_compaction_slower_replica` + +默认值：true + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +如果设置为true，则在选择可查询副本时，将跳过 compaction 较慢的副本 + +#### `valid_version_count_delta_ratio_between_replicas` + +默认值：0.5 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +最慢副本的版本计数与最快副本的差异有效比率阈值，如果设置 `repair_slow_replica` 为 true，则用于判断是否修复最慢的副本 + +#### `min_bytes_indicate_replica_too_large` + +默认值：`2 * 1024 * 1024 * 1024` (2G) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +数据大小阈值，用来判断副本的数据量是否太大 + +#### `schedule_slot_num_per_path` + +默认值：2 + +tablet 调度程序中每个路径的默认 slot 数量 + +#### `tablet_repair_delay_factor_second` + +默认值：60 （s） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +决定修复 tablet 前的延迟时间因素。 + +1. 如果优先级为 VERY_HIGH，请立即修复。 +2. HIGH，延迟 tablet_repair_delay_factor_second * 1； +3. 正常：延迟 tablet_repair_delay_factor_second * 2； +4. 低：延迟 tablet_repair_delay_factor_second * 3； + +#### `tablet_stat_update_interval_second` + +默认值：300，（5分钟） + +tablet 状态更新间隔 +所有 FE 将在每个时间间隔从所有 BE 获取 tablet 统计信息 + +#### `storage_flood_stage_usage_percent` + +默认值：95 （95%） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `storage_flood_stage_left_capacity_bytes` + +默认值： 1 * 1024 * 1024 * 1024 (1GB) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果磁盘容量达到 `storage_flood_stage_usage_percent` 和 `storage_flood_stage_left_capacity_bytes` 以下操作将被拒绝： + +1. load 作业 +2. restore 工作 + +#### `storage_high_watermark_usage_percent` + +默认值：85 (85%) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `storage_min_left_capacity_bytes` + +默认值： `2 * 1024 * 1024 * 1024` (2GB) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +`storage_high_watermark_usage_percent` 限制 BE 端存储路径使用最大容量百的分比。 `storage_min_left_capacity_bytes`限制 BE 端存储路径的最小剩余容量。 如果达到这两个限制，则不能选择此存储路径作为 tablet 存储目的地。 但是对于 tablet 恢复，我们可能会超过这些限制以尽可能保持数据完整性。 + +#### `catalog_trash_expire_second` + +默认值：86400L (1天) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +删除数据库（表/分区）后，您可以使用 RECOVER stmt 恢复它。 这指定了最大数据保留时间。 一段时间后，数据将被永久删除。 + +#### `storage_cooldown_second` + +默认值：`30 * 24 * 3600L` （30天） + +创建表（或分区）时，可以指定其存储介质（HDD 或 SSD）。 如果设置为 SSD，这将指定tablet在 SSD 上停留的默认时间。 之后，tablet将自动移动到 HDD。 您可以在 `CREATE TABLE stmt` 中设置存储冷却时间。 + +### `default_storage_medium` + +默认值：HDD + +创建表（或分区）时，可以指定其存储介质（HDD 或 SSD）。 如果未设置，则指定创建时的默认介质。 + +#### `enable_storage_policy` + +是否开启 Storage Policy 功能。该功能用户冷热数据分离功能。该功能仍在开发中，不排除后续后功能修改或重构。仅建议测试环境使用。 + +默认值：false。即不开启 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `check_consistency_default_timeout_second` 默认值：600 （10分钟） @@ -1033,7 +2121,7 @@ colocote join PlanFragment instance 的 memory_limit = exec_mem_limit / min (que 单个一致性检查任务的默认超时。 设置足够长以适合您的tablet大小。 -### `consistency_check_start_time` +#### `consistency_check_start_time` 默认值：23 @@ -1047,7 +2135,7 @@ colocote join PlanFragment instance 的 memory_limit = exec_mem_limit / min (que 如果两个时间相同，则不会触发一致性检查。 -### `consistency_check_end_time` +#### `consistency_check_end_time` 默认值：23 @@ -1061,157 +2149,7 @@ colocote join PlanFragment instance 的 memory_limit = exec_mem_limit / min (que 如果两个时间相同，则不会触发一致性检查。 -### `export_tablet_num_per_task` - -默认值：5 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -每个导出查询计划的 tablet 数量 - -### `export_task_default_timeout_second` - -默认值：2 * 3600 （2小时） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -导出作业的默认超时时间 - -### `export_running_job_num_limit` - -默认值：5 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -运行导出作业的并发限制，默认值为 5，0 表示无限制 - -### `export_checker_interval_second` - -默认值：5 - -导出检查器的运行间隔 - -### `default_load_parallelism` - -默认值：1 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -单个节点broker load导入的默认并发度。 -如果用户在提交broker load任务时，在properties中自行指定了并发度，则采用用户自定义的并发度。 -此参数将与`max_broker_concurrency`、`min_bytes_per_broker_scanner`等多个配置共同决定导入任务的并发度。 - -### `max_broker_concurrency` - -默认值：10 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -broker scanner 的最大并发数。 - -### `min_bytes_per_broker_scanner` - -默认值：67108864L (64M) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -单个 broker scanner 将读取的最小字节数。 - -### `catalog_trash_expire_second` - -默认值：86400L (1天) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -删除数据库（表/分区）后，您可以使用 RECOVER stmt 恢复它。 这指定了最大数据保留时间。 一段时间后，数据将被永久删除。 - -### `storage_cooldown_second` - -默认值：`30 * 24 * 3600L` （30天） - -创建表（或分区）时，可以指定其存储介质（HDD 或 SSD）。 如果设置为 SSD，这将指定tablet在 SSD 上停留的默认时间。 之后，tablet将自动移动到 HDD。 您可以在 `CREATE TABLE stmt` 中设置存储冷却时间。 - -### `default_storage_medium` - -默认值：HDD - -创建表（或分区）时，可以指定其存储介质（HDD 或 SSD）。 如果未设置，则指定创建时的默认介质。 - -### `max_backend_down_time_second` - -默认值：3600 （1小时） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -如果 BE 关闭了 `max_backend_down_time_second`，将触发 BACKEND_DOWN 事件。 - -### `alter_table_timeout_second` - -默认值：86400 （1天） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -ALTER TABLE 请求的最大超时时间。 设置足够长以适合您的表格数据大小 - -### `capacity_used_percent_high_water` - -默认值：0.75 （75%） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -磁盘容量的高水位使用百分比。 这用于计算后端的负载分数 - -### `clone_distribution_balance_threshold` - -默认值：0.2 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -BE副本数的平衡阈值。 - -### `clone_capacity_balance_threshold` - -默认值：0.2 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -* BE 中数据大小的平衡阈值。 - - 平衡算法为： - - 1. 计算整个集群的平均使用容量（AUC）（总数据大小/BE数） - - 2. 高水位为(AUC * (1 + clone_capacity_balance_threshold)) - - 3. 低水位为(AUC * (1 - clone_capacity_balance_threshold)) - -克隆检查器将尝试将副本从高水位 BE 移动到低水位 BE。 - -### `replica_delay_recovery_second` +#### `replica_delay_recovery_second` 默认值：0 @@ -1221,7 +2159,21 @@ BE副本数的平衡阈值。 副本之间的最小延迟秒数失败，并且尝试使用克隆来恢复它。 -### `tablet_delete_timeout_second` +#### `tablet_create_timeout_second` + +默认值：1（s） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +创建单个副本的最长等待时间。 + +例如。 + 如果您为每个表创建一个包含 m 个 tablet 和 n 个副本的表， + 创建表请求将在超时前最多运行 (m * n * tablet_create_timeout_second)。 + +#### `tablet_delete_timeout_second` 默认值：2 @@ -1231,1059 +2183,17 @@ BE副本数的平衡阈值。 与 `tablet_create_timeout_second` 含义相同，但在删除 tablet 时使用 -### `async_loading_load_task_pool_size` +#### `alter_table_timeout_second` -默认值：10 - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：true - -`loading_load`任务执行程序池大小。 该池大小限制了正在运行的最大 `loading_load`任务数。 - -当前，它仅限制 `broker load`的 `loading_load`任务的数量。 - -### `async_pending_load_task_pool_size` - -默认值：10 - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：true - -`pending_load`任务执行程序池大小。 该池大小限制了正在运行的最大 `pending_load`任务数。 - -当前，它仅限制 `broker load`和 `spark load`的 `pending_load`任务的数量。 - -它应该小于 `max_running_txn_num_per_db`的值 - -### `async_load_task_pool_size` - -默认值：10 - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：true - -此配置只是为了兼容旧版本，此配置已被 `async_loading_load_task_pool_size`取代，以后会被移除。 - -### `disable_show_stream_load` - -默认值：false +默认值：86400 （1天） 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -是否禁用显示 stream load 并清除内存中的 stream load 记录。 +ALTER TABLE 请求的最大超时时间。 设置足够长以适合您的表格数据大小 -### `max_stream_load_record_size` - -默认值：5000 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -可以存储在内存中的最近 stream load 记录的默认最大数量 - -### `fetch_stream_load_record_interval_second` - -默认值：120 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -获取 stream load 记录间隔 - -### `enable_single_replica_stream_load` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -是否启动 stream load 的单副本数据导入功能。 - -### `enable_single_replica_broker_load` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -是否启动 broker load 的单副本数据导入功能。 - -### `enable_single_replica_insert` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -是否启动 insert 的单副本数据写入功能。 - -### `desired_max_waiting_jobs` - -默认值：100 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -routine load V2 版本加载的默认等待作业数 ，这是一个理想的数字。 在某些情况下，例如切换 master，当前数量可能超过` desired_max_waiting_jobs` - -### `yarn_config_dir` - -默认值：PaloFe.DORIS_HOME_DIR + "/lib/yarn-config" - - -默认的 Yarn 配置文件目录每次运行 Yarn 命令之前，我们需要检查一下这个路径下是否存在 config 文件，如果不存在，则创建它们。 - - -### `yarn_client_path` - -默认值：PaloFe.DORIS_HOME_DIR + "/lib/yarn-client/hadoop/bin/yarn" - -默认 Yarn 客户端路径 - -### `spark_launcher_log_dir` - -默认值： sys_log_dir + "/spark_launcher_log" - -指定的 Spark 启动器日志目录 - -### `spark_resource_path` - -默认值：空 - -默认值的 Spark 依赖路径 - -### `spark_home_default_dir` - -默认值：PaloFe.DORIS_HOME_DIR + "/lib/spark2x" - -默认的 Spark home 路径 - -### `spark_load_default_timeout_second` - -默认值：86400 (1天) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -默认 Spark 加载超时时间 - -### `spark_dpp_version` - -默认值：1.0.0 - -Spark 默认版本号 - -### `hadoop_load_default_timeout_second` - -默认值：86400 * 3 (3天) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -Hadoop 加载超时时间 - -### `min_load_timeout_second` - -默认值：1 （1秒） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -mini load 超时时间，适用于所有类型的加载 - -### `max_stream_load_timeout_second` - -默认值：259200 （3天） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -stream load 和 mini load 最大超时时间 - -### `max_load_timeout_second` - -默认值：259200 （3天） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -load 最大超时时间，适用于除 stream load 之外的所有类型的加载 - -### `stream_load_default_timeout_second` - -默认值：600 （s） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -默认 stream load 和 mini load 超时时间 - -### `insert_load_default_timeout_second` - -默认值：3600 （1小时） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -默认 insert load 超时时间 - -### `mini_load_default_timeout_second` - -默认值：3600 （1小时） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -默认非 stream load 类型的 mini load 的超时时间 - -### `broker_load_default_timeout_second` - -默认值：14400 （4小时） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -Broker load 的默认超时时间 - -### `broker_timeout_ms` - -默认值：10000 （10秒） - -Broker rpc 的默认超时时间 - -### `load_running_job_num_limit` - -默认值：0 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -Load 任务数量限制，默认0，无限制 - -### `load_input_size_limit_gb` - -默认值：0 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -Load 作业输入的数据大小，默认是0，无限制 - -### `delete_thread_num` - -默认值：10 - -删除作业的并发线程数 - -### `load_etl_thread_num_normal_priority` - -默认值：10 - -NORMAL 优先级 etl 加载作业的并发数。 - -### `load_etl_thread_num_high_priority` - -默认值：3 - -高优先级 etl 加载作业的并发数。 - -### `load_pending_thread_num_normal_priority` - -默认值：10 - -NORMAL 优先级挂起加载作业的并发数。 - -### `load_pending_thread_num_high_priority` - -默认值：3 - -高优先级挂起加载作业的并发数。 加载作业优先级定义为 HIGH 或 NORMAL。 所有小批量加载作业都是 HIGH 优先级，其他类型的加载作业是 NORMAL 优先级。 设置优先级是为了避免慢加载作业长时间占用线程。 这只是内部优化的调度策略。 目前，您无法手动指定作业优先级。 - -### `load_checker_interval_second` - -默认值：5 （s） - -负载调度器运行间隔。 加载作业将其状态从 PENDING 转移到 LOADING 到 FINISHED。 加载调度程序将加载作业从 PENDING 转移到 LOADING 而 txn 回调会将加载作业从 LOADING 转移到 FINISHED。 因此，当并发未达到上限时，加载作业最多需要一个时间间隔才能完成。 - -### `max_layout_length_per_row` - -默认值：100000 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -一行的最大内存布局长度。 默认为 100 KB。 -在 BE 中，RowBlock 的最大大小为 100MB（在 be.conf 中配置为 `max_unpacked_row_block_size `）。 -每个 RowBlock 包含 1024 行。 因此，一行的最大大小约为 100 KB。 - -例如。 -schema：k1(int), v1(decimal), v2(varchar(2000)) -那么一行的内存布局长度为：4(int) + 16(decimal) + 2000(varchar) = 2020 (Bytes) - -查看所有类型的内存布局长度，在 mysql-client 中运行 `help create table`。 - -如果要增加此数字以支持一行中的更多列，则还需要增加 -be.conf 中的 `max_unpacked_row_block_size `，但性能影响未知。 - -### `load_straggler_wait_second` - -默认值：300 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -负载中落后节点的最大等待秒数 -例如：有 3 个副本 A, B, C load 已经在 t1 时仲裁完成 (A,B) 并且 C 没有完成，如果 (current_time-t1)> 300s，那么 doris会将 C 视为故障节点，将调用事务管理器提交事务并告诉事务管理器 C 失败。 - -这也用于等待发布任务时 - -**注意：**这个参数是所有作业的默认值，DBA 可以为单独的作业指定它 - -### `thrift_server_type` - -该配置表示FE的Thrift服务使用的服务模型, 类型为string, 大小写不敏感。 - -若该参数为 `SIMPLE`, 则使用 `TSimpleServer` 模型, 该模型一般不适用于生产环境，仅限于测试使用。 - -若该参数为 `THREADED`, 则使用 `TThreadedSelectorServer` 模型，该模型为非阻塞式I/O模型，即主从 Reactor 模型，该模型能及时响应大量的并发连接请求，在多数场景下有较好的表现。 - -若该参数为 `THREAD_POOL`, 则使用 `TThreadPoolServer` 模型，该模型为阻塞式I/O模型，使用线程池处理用户连接，并发连接数受限于线程池的数量，如果能提前预估并发请求的数量，并且能容忍足够多的线程资源开销，该模型会有较好的性能表现，默认使用该服务模型 - -### `thrift_server_max_worker_threads` - -默认值：4096 - -Thrift Server最大工作线程数 - -### `publish_version_interval_ms` - -默认值：10 （ms） - -两个发布版本操作之间的最小间隔 - -### `publish_version_timeout_second` - -默认值：30 （s） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -一个事务的所有发布版本任务完成的最大等待时间 - -### `max_create_table_timeout_second` - -默认值：60 （s） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -为了在创建表（索引）不等待太久，设置一个最大超时时间 - -### `tablet_create_timeout_second` - -默认值：1（s） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -创建单个副本的最长等待时间。 -例如。 -如果您为每个表创建一个包含 m 个 tablet 和 n 个副本的表， -创建表请求将在超时前最多运行 (m * n * tablet_create_timeout_second)。 - -### `max_mysql_service_task_threads_num` - -默认值：4096 - -mysql 中处理任务的最大线程数。 - -### `cluster_id` - -默认值：-1 - -如果节点（FE 或 BE）具有相同的集群 id，则将认为它们属于同一个Doris 集群。 Cluster id 通常是主 FE 首次启动时生成的随机整数。 您也可以指定一个。 - -### `auth_token` - -默认值：空 - -用于内部身份验证的集群令牌。 - -### `cluster_name` - -默认值： Apache doris - -集群名称，将显示为网页标题 - -### `mysql_service_io_threads_num` - -默认值：4 - -mysql 中处理 io 事件的线程数。 - -### `query_port` - -默认值：9030 - -Doris FE 通过 mysql 协议查询连接端口 - -### `rewrite_count_distinct_to_bitmap_hll` - -默认值：true - -该变量为 session variable，session 级别生效。 - -- 类型：boolean -- 描述：**仅对于 AGG 模型的表来说**，当变量为 true 时，用户查询时包含 count(distinct c1) 这类聚合函数时，如果 c1 列本身类型为 bitmap，则 count distnct 会改写为 bitmap_union_count(c1)。 当 c1 列本身类型为 hll，则 count distinct 会改写为 hll_union_agg(c1) 如果变量为 false，则不发生任何改写。 - -### `rpc_port` - -默认值：9020 - -FE Thrift Server的端口 - -### `thrift_backlog_num` - -默认值：1024 - -thrift 服务器的 backlog_num 当你扩大这个 backlog_num 时，你应该确保它的值大于 linux `/proc/sys/net/core/somaxconn` 配置 - -### `thrift_client_timeout_ms` - -默认值：0 - -thrift 服务器的连接超时和套接字超时配置 thrift_client_timeout_ms 的默认值设置为零以防止读取超时 - -### `mysql_nio_backlog_num` - -默认值：1024 - -mysql nio server 的 backlog_num 当你放大这个 backlog_num 时，你应该同时放大 linux `/proc/sys/net/core/somaxconn`文件中的值 - -### `http_backlog_num` - -默认值：1024 - -netty http server 的 backlog_num 当你放大这个 backlog_num 时，你应该同时放大 linux `/proc/sys/net/core/somaxconn`文件中的值 - -### `http_max_line_length` - -默认值：4096 - -HTTP 服务允许接收请求的 URL 的最大长度，单位为比特 - -### `http_max_header_size` - -默认值：8192 - -HTTP 服务允许接收请求的 Header 的最大长度，单位为比特 - -### `http_max_chunk_size` - -默认值：8192 - -http 上下文 chunk 块的最大尺寸 - -### `http_port` - -默认值：8030 - -FE http 端口，当前所有 FE http 端口都必须相同 - -### `max_bdbje_clock_delta_ms` - -默认值：5000 （5秒） - -设置非主 FE 到主 FE 主机之间的最大可接受时钟偏差。 每当非主 FE 通过 BDBJE 建立到主 FE 的连接时，都会检查该值。 如果时钟偏差大于此值，则放弃连接。 - -### `ignore_meta_check` - -默认值：false - -是否可以动态配置：true - -如果为 true，非主 FE 将忽略主 FE 与其自身之间的元数据延迟间隙，即使元数据延迟间隙超过 `meta_delay_toleration_second`。 非主 FE 仍将提供读取服务。 当您出于某种原因尝试停止 Master FE 较长时间，但仍希望非 Master FE 可以提供读取服务时，这会很有帮助。 - -### `metadata_failure_recovery` - -默认值：false - -如果为 true，FE 将重置 bdbje 复制组（即删除所有可选节点信息）并应该作为 Master 启动。 如果所有可选节点都无法启动，我们可以将元数据复制到另一个节点并将此配置设置为 true 以尝试重新启动 FE。 - -### `priority_networks` - -默认值：空 - -为那些有很多 ip 的服务器声明一个选择策略。 请注意，最多应该有一个 ip 与此列表匹配。 这是一个以分号分隔格式的列表，用 CIDR 表示法，例如 10.10.10.0/24。 如果没有匹配这条规则的ip，会随机选择一个。 - -### `txn_rollback_limit` - -默认值：100 - -尝试重新加入组时 bdbje 可以回滚的最大 txn 数 - -### `max_agent_task_threads_num` - -默认值：4096 - -是否为 Master FE 节点独有的配置项：true - -代理任务线程池中处理代理任务的最大线程数。 - -### `heartbeat_mgr_blocking_queue_size` - -默认值：1024 - -是否为 Master FE 节点独有的配置项：true - -在 heartbeat_mgr 中存储心跳任务的阻塞队列大小。 - -### `heartbeat_mgr_threads_num` - -默认值：8 - -是否为 Master FE 节点独有的配置项：true - -heartbeat _mgr 中处理心跳事件的线程数。 - -### `bdbje_replica_ack_timeout_second` - -默认值：10 - -元数据会同步写入到多个 Follower FE，这个参数用于控制 Master FE 等待 Follower FE 发送 ack 的超时时间。当写入的数据较大时，可能 ack 时间较长，如果超时，会导致写元数据失败，FE 进程退出。此时可以适当调大这个参数。 - -### `bdbje_lock_timeout_second` - -默认值：1 - -bdbje 操作的 lock timeout 如果 FE WARN 日志中有很多 LockTimeoutException，可以尝试增加这个值 - -### `bdbje_heartbeat_timeout_second` - -默认值：30 - -master 和 follower 之间 bdbje 的心跳超时。 默认为 30 秒，与 bdbje 中的默认值相同。 如果网络遇到暂时性问题，一些意外的长 Java GC 使您烦恼，您可以尝试增加此值以减少错误超时的机会 - -### `replica_ack_policy` - -默认值：SIMPLE_MAJORITY - -选项：ALL, NONE, SIMPLE_MAJORITY - -bdbje 的副本 ack 策略。 更多信息，请参见：http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.ReplicaAckPolicy.html - -### `replica_sync_policy` - -默认值：SYNC - -选项：SYNC, NO_SYNC, WRITE_NO_SYNC - -bdbje 的Follower FE 同步策略。 - -### `master_sync_policy` - -默认值：SYNC - -选项：SYNC, NO_SYNC, WRITE_NO_SYNC - -Master FE 的 bdbje 同步策略。 如果您只部署一个 Follower FE，请将其设置为“SYNC”。 如果你部署了超过 3 个 Follower FE，你可以将这个和下面的 `replica_sync_policy ` 设置为 WRITE_NO_SYNC。 更多信息，参见：http://docs.oracle.com/cd/E17277_02/html/java/com/sleepycat/je/Durability.SyncPolicy.html - -### `meta_delay_toleration_second` - -默认值：300 （5分钟） - -如果元数据延迟间隔超过 `meta_delay_toleration_second `，非主 FE 将停止提供服务 - -### `edit_log_roll_num` - -默认值：50000 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -Master FE will save image every `edit_log_roll_num ` meta journals.。 - -### `edit_log_port` - -默认值：9010 - -bdbje端口 - -### `edit_log_type` - -默认值：BDB - -编辑日志类型。 -BDB：将日志写入 bdbje -LOCAL：已弃用。 - -### `tmp_dir` - -默认值：PaloFe.DORIS_HOME_DIR + "/temp_dir" - -temp dir 用于保存某些过程的中间结果，例如备份和恢复过程。 这些过程完成后，将清除此目录中的文件。 - -### `meta_dir` - -默认值：PaloFe.DORIS_HOME_DIR + "/doris-meta" - -Doris 元数据将保存在这里。 强烈建议将此目录的存储为： - -1. 高写入性能（SSD） - -2. 安全（RAID） - -### `custom_config_dir` - -默认值：PaloFe.DORIS_HOME_DIR + "/conf" - -自定义配置文件目录 - -配置 `fe_custom.conf` 文件的位置。默认为 `conf/` 目录下。 - -在某些部署环境下，`conf/` 目录可能因为系统的版本升级被覆盖掉。这会导致用户在运行是持久化修改的配置项也被覆盖。这时，我们可以将 `fe_custom.conf` 存储在另一个指定的目录中，以防止配置文件被覆盖。 - -### `log_roll_size_mb` - -默认值：1024 （1G） - -一个系统日志和审计日志的最大大小 - -### `sys_log_dir` - -默认值：PaloFe.DORIS_HOME_DIR + "/log" - -sys_log_dir: - -这指定了 FE 日志目录。 FE 将产生 2 个日志文件： - -1. fe.log：FE进程的所有日志。 -2. fe.warn.log FE 进程的所有警告和错误日志。 - -### `sys_log_level` - -默认值：INFO - -日志级别，可选项：INFO, WARNING, ERROR, FATAL - -### `sys_log_roll_num` - -默认值：10 - -要保存在 `sys_log_roll_interval ` 内的最大 FE 日志文件。 默认为 10，表示一天最多有 10 个日志文件 - -### `sys_log_verbose_modules` - -默认值：{} - -详细模块。 VERBOSE 级别由 log4j DEBUG 级别实现。 - -例如： - sys_log_verbose_modules = org.apache.doris.catalog - 这只会打印包 org.apache.doris.catalog 及其所有子包中文件的调试日志。 - -### `sys_log_roll_interval` - -默认值：DAY - -可选项: - -- DAY: log 前缀是 yyyyMMdd -- HOUR: log 前缀是 yyyyMMddHH - -### `sys_log_delete_age` - -默认值：7d - -默认为 7 天，如果日志的最后修改时间为 7 天前，则将其删除。 - -支持格式： - -- 7d: 7 天 -- 10h: 10 小时 -- 60m: 60 分钟 -- 120s: 120 秒 - -### `audit_log_dir` - -默认值：PaloFe.DORIS_HOME_DIR + "/log" - -审计日志目录： -这指定了 FE 审计日志目录。 -审计日志 fe.audit.log 包含所有请求以及相关信息，如 `user, host, cost, status ` 等。 - -### `audit_log_roll_num` - -默认值：90 - -保留在 `audit_log_roll_interval ` 内的最大 FE 审计日志文件。 - -### `audit_log_modules` - -默认值：{"slow_query", "query", "load", "stream_load"} - -慢查询包含所有开销超过 *qe_slow_log_ms* 的查询 - -### `qe_slow_log_ms` - -默认值：5000 （5秒） - -如果查询的响应时间超过此阈值，则会在审计日志中记录为 slow_query。 - -### `audit_log_roll_interval` - -默认值：DAY - -DAY: log前缀是：yyyyMMdd -HOUR: log前缀是：yyyyMMddHH - -### `audit_log_delete_age` - -默认值：30d - -默认为 30 天，如果日志的最后修改时间为 30 天前，则将其删除。 -支持格式： -7d 7 天 -10 小时 10 小时 -60m 60 分钟 -120s 120 秒 - -### `plugin_dir` - -默认值：DORIS_HOME + "/plugins - -插件安装目录 - -### `plugin_enable` - -默认值:true - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -插件是否启用，默认启用 - -### `label_keep_max_second` - -默认值：3 * 24 * 3600 (3天) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -`label_keep_max_second `后将删除已完成或取消的加载作业的标签， - -1. 去除的标签可以重复使用。 -2. 设置较短的时间会降低 FE 内存使用量 （因为所有加载作业的信息在被删除之前都保存在内存中） - -在高并发写的情况下，如果出现大量作业积压，出现 `call frontend service failed`的情况，查看日志如果是元数据写占用锁的时间太长，可以将这个值调成12小时，或者更小6小时 - -### `streaming_label_keep_max_second` - -默认值：43200 （12小时） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -对于一些高频负载工作，例如：INSERT、STREAMING LOAD、ROUTINE_LOAD_TASK 。 如果过期，则删除已完成的作业或任务。 - -### `history_job_keep_max_second` - -默认值：`7 * 24 * 3600` （7天） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -某些作业的最大保留时间。 像 schema 更改和 Rollup 作业。 - -### `label_clean_interval_second` - -默认值：1 * 3600 （1小时） - -load 标签清理器将每隔 `label_clean_interval_second` 运行一次以清理过时的作业。 - -### `delete_info_keep_max_second` - -默认值：`3 * 24 * 3600` (3天) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：false - -删除元数据中创建时间大于`delete_info_keep_max_second`的delete信息。 - -设置较短的时间将减少 FE 内存使用量和镜像文件大小。（因为所有的deleteInfo在被删除之前都存储在内存和镜像文件中） - -### `transaction_clean_interval_second` - -默认值：30 - -如果事务 visible 或者 aborted 状态，事务将在 `transaction_clean_interval_second` 秒后被清除 ，我们应该让这个间隔尽可能短，每个清洁周期都尽快 - - -### `default_max_query_instances` - -默认值：-1 - -用户属性max_query_instances小于等于0时，使用该配置，用来限制单个用户同一时刻可使用的查询instance个数。该参数小于等于0表示无限制。 - -### `use_compact_thrift_rpc` - -默认值：true - -是否使用压缩格式发送查询计划结构体。开启后，可以降低约50%的查询计划结构体大小，从而避免一些 "send fragment timeout" 错误。 -但是在某些高并发小查询场景下，可能会降低约10%的并发度。 - -### `disable_tablet_scheduler` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -如果设置为true，将关闭副本修复和均衡逻辑。 - - - -### `enable_force_drop_redundant_replica` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -如果设置为 true，系统会在副本调度逻辑中，立即删除冗余副本。这可能导致部分正在对对应副本写入的导入作业失败，但是会加速副本的均衡和修复速度。 -当集群中有大量等待被均衡或修复的副本时，可以尝试设置此参数，以牺牲部分导入成功率为代价，加速副本的均衡和修复。 - -### `repair_slow_replica` - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -如果设置为 true，会自动检测compaction比较慢的副本，并将迁移到其他机器，检测条件是 最慢副本的版本计数超过 `min_version_count_indicate_replica_compaction_too_slow` 的值， 且与最快副本的版本计数差异所占比例超过 `valid_version_count_delta_ratio_between_replicas` 的值 - -### `colocate_group_relocate_delay_second` - -默认值：1800 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -重分布一个 Colocation Group 可能涉及大量的tablet迁移。因此，我们需要一个更保守的策略来避免不必要的 Colocation 重分布。 -重分布通常发生在 Doris 检测到有 BE 节点宕机后。这个参数用于推迟对BE宕机的判断。如默认参数下，如果 BE 节点能够在 1800 秒内恢复，则不会触发 Colocation 重分布。 - -### `allow_replica_on_same_host` - -默认值：false - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：false - -是否允许同一个 tablet 的多个副本分布在同一个 host 上。这个参数主要用于本地测试是，方便搭建多个 BE 已测试某些多副本情况。不要用于非测试环境。 - -### `min_version_count_indicate_replica_compaction_too_slow` - -默认值：200 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：false - -版本计数阈值，用来判断副本做 compaction 的速度是否太慢 - -### `valid_version_count_delta_ratio_between_replicas` - -默认值：0.5 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -最慢副本的版本计数与最快副本的差异有效比率阈值，如果设置 `repair_slow_replica` 为 true，则用于判断是否修复最慢的副本 - -### `min_bytes_indicate_replica_too_large` - -默认值：`2 * 1024 * 1024 * 1024` (2G) - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -数据大小阈值，用来判断副本的数据量是否太大 - -### skip_compaction_slower_replica - -默认值：true - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：false - -如果设置为true，则在选择可查询副本时，将跳过 compaction 较慢的副本 - -### sync_commit_interval_second - -提交事务的最大时间间隔。若超过了这个时间 channel 中还有数据没有提交，consumer 会通知 channel 提交事务。 - -默认值：10（秒） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -### min_sync_commit_size - -提交事务需满足的最小 event 数量。若 Fe 接收到的 event 数量小于它，会继续等待下一批数据直到时间超过了 `sync_commit_interval_second ` 为止。默认值是 10000 个 events，如果你想修改此配置，请确保此值小于 canal 端的 `canal.instance.memory.buffer.size` 配置（默认16384），否则在 ack 前Fe会尝试获取比 store 队列长度更多的 event，导致 store 队列阻塞至超时为止。 - -默认值：10000 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -### min_bytes_sync_commit - -提交事务需满足的最小数据大小。若 Fe 接收到的数据大小小于它，会继续等待下一批数据直到时间超过了 `sync_commit_interval_second` 为止。默认值是 15 MB，如果你想修改此配置，请确保此值小于 canal 端的 `canal.instance.memory.buffer.size` 和 `canal.instance.memory.buffer.memunit` 的乘积（默认 16 MB），否则在 ack 前 Fe 会尝试获取比 store 空间更大的数据，导致 store 队列阻塞至超时为止。 - -默认值：`15 * 1024 * 1024`（15M） - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -### max_bytes_sync_commit - - 数据同步作业线程池中的最大线程数量。此线程池整个FE中只有一个，用于处理FE中所有数据同步作业向BE发送数据的任务 task，线程池的实现在 `SyncTaskPool` 类。 - -默认值：10 - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：false - -### backend_rpc_timeout_ms - -FE向BE的BackendService发送rpc请求时的超时时间，单位：毫秒。 - -默认值：60000 - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：true - -### `bdbje_reserved_disk_bytes` - -用于限制 bdbje 能够保留的文件的最大磁盘空间。 - -默认值：1073741824 - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：false - - -### enable_fqdn_mode - -此配置用于 k8s 部署环境。当 enable_k8s_detect_container_drift_mode 为 true 时，将允许更改 be 或 broker 的重建 pod的 ip。 - -默认值： false - -是否可以动态配置：false - -是否为 Master FE 节点独有的配置项：true - -### `be_exec_version` - -用于定义fragment之间传递block的序列化格式。 - -有时我们的一些代码改动会改变block的数据格式，为了使得BE在滚动升级的过程中能够相互兼容数据格式，我们需要从FE下发一个数据版本来决定以什么格式发送数据。 - -具体的来说，例如集群中有2个BE，其中一台经过升级能够支持最新的$v_1$，而另一台只支持$v_0$，此时由于FE还未升级，所以统一下发$v_0$，BE之间以旧的数据格式进行交互。待BE都升级完成，我们再升级FE，此时新的FE会下发$v_1$，集群统一切换到新的数据格式。 - - -默认值为`max_be_exec_version`，如果有特殊需要，我们可以手动设置将格式版本降低，但不应低于`min_be_exec_version`。 - -需要注意的是，我们应该始终保持该变量的值处于**所有**BE的`BeExecVersionManager::min_be_exec_version`和`BeExecVersionManager::max_be_exec_version`之间。（也就是说如果一个已经完成更新的集群如果需要降级，应该保证先降级FE再降级BE的顺序，或者手动在设置中将该变量调低再降级BE） - -### `max_be_exec_version` - -目前支持的最新数据版本，不可修改，应与配套版本的BE中的`BeExecVersionManager::max_be_exec_version`一致。 - -### `min_be_exec_version` - -目前支持的最旧数据版本，不可修改，应与配套版本的BE中的`BeExecVersionManager::min_be_exec_version`一致。 - -### `max_query_profile_num` - -用于设置保存查询的 profile 的最大个数。 - -默认值：100 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：false - -### `disable_backend_black_list` - -用于禁止BE黑名单功能。禁止该功能后，如果向BE发送查询请求失败，也不会将这个BE添加到黑名单。 -该参数适用于回归测试环境，以减少偶发的错误导致大量回归测试失败。 - -默认值：false - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：false - -### `max_backend_heartbeat_failure_tolerance_count` - -最大可容忍的BE节点心跳失败次数。如果连续心跳失败次数超过这个值，则会将BE状态置为 dead。 -该参数适用于回归测试环境，以减少偶发的心跳失败导致大量回归测试失败。 - -默认值：1 - -是否可以动态配置：true - -是否为 Master FE 节点独有的配置项：true - -### `max_replica_count_when_schema_change` +#### `max_replica_count_when_schema_change` OlapTable在做schema change时，允许的最大副本数，副本数过大会导致FE OOM。 @@ -2293,7 +2203,115 @@ OlapTable在做schema change时，允许的最大副本数，副本数过大会 是否为 Master FE 节点独有的配置项：true -### `max_hive_partition_cache_num` +#### `history_job_keep_max_second` + +默认值：`7 * 24 * 3600` （7天） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +某些作业的最大保留时间。 像 schema 更改和 Rollup 作业。 + +#### `max_create_table_timeout_second` + +默认值：1 * 3600 （1小时） + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +为了在创建表（索引）不等待太久，设置一个最大超时时间 + +### 外部表 + +#### `enable_multi_catalog` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +是否开启 multi catalog 功能，默认关闭 +后续版本可能会默认开启 multi catalog， 此配置将被删除 + +#### `file_scan_node_split_num` + +默认值：128 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +multi catalog 并发文件扫描线程数 + +#### `file_scan_node_split_size` + +默认值：256 * 1024 * 1024 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +multi catalog 并发文件扫描大小 + +#### `enable_odbc_table` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +是否启用 ODBC 表，默认不启用，在使用的时候需要手动配置启用，该参数可以通过： + +`ADMIN SET FRONTEND CONFIG("key"="value") `方式进行设置 + +**注意：** 这个参数在1.2版本中已经删除，默认启用ODBC外表，并且会在以后的某个版本中删除ODBC外表，推荐使用JDBC外表 + +#### `disable_iceberg_hudi_table` + +默认值：true + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +从 1.2 版本开始，我们不再支持创建hudi和iceberg外表。请改用multi catalog功能。 + +#### `iceberg_table_creation_interval_second` + +默认值：10 (s) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +fe 将每隔 iceberg_table_creation_interval_second 创建iceberg table + +#### `iceberg_table_creation_strict_mode` + +默认值：true + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果设置为 true，iceberg 表和 Doris 表的列定义必须一致。 +如果设置为 false，Doris 只创建支持的数据类型的列。 + +#### `max_iceberg_table_creation_record_size` + +内存中可以存储的最近iceberg库表创建记录的默认最大数量 + +默认值：2000 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `max_hive_partition_cache_num` hive partition 的最大缓存数量。 @@ -2303,7 +2321,17 @@ hive partition 的最大缓存数量。 是否为 Master FE 节点独有的配置项：false -### `max_external_file_cache_num` +#### `hive_metastore_client_timeout_second` + +hive metastore 的默认超时时间 + +默认值：10 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +#### `max_external_file_cache_num` 用于 external 外部表的最大文件缓存数量。 @@ -2313,7 +2341,7 @@ hive partition 的最大缓存数量。 是否为 Master FE 节点独有的配置项：false -### `max_external_schema_cache_num` +#### `max_external_schema_cache_num` 用于 external 外部表的最大 schema 缓存数量。 @@ -2323,7 +2351,7 @@ hive partition 的最大缓存数量。 是否为 Master FE 节点独有的配置项：false -### `external_cache_expire_time_minutes_after_access` +#### `external_cache_expire_time_minutes_after_access` 设置缓存中的数据，在最后一次访问后多久失效。单位为分钟。 适用于 External Schema Cache 以及 Hive Partition Cache. @@ -2334,34 +2362,218 @@ hive partition 的最大缓存数量。 是否为 Master FE 节点独有的配置项：false -### `max_same_name_catalog_trash_num` +#### `es_state_sync_interval_second` -用于设置回收站中同名元数据的最大个数，超过最大值时，最早删除的元数据将被彻底删除，不能再恢复。0 表示不保留同名对象。< 0 表示不做限制。 +默认值：10 -注意：同名元数据的判断会局限在一定的范围内。比如同名database的判断会限定在相同cluster下，同名table的判断会限定在相同database（指相同database id）下，同名partition的判断会限定在相同database（指相同database id）并且相同table（指相同table id）下。 +FE 会在每隔 es_state_sync_interval_secs 调用 es api 获取 es 索引分片信息 -默认值：3 +#### `enable_new_es_dsl` + +默认值：true + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：false + +使用新的 fe 生成的 es dsl + +### 外部资源 + +#### `dpp_hadoop_client_path` + +默认值：/lib/hadoop-client/hadoop/bin/hadoop + +#### `dpp_bytes_per_reduce` + +默认值：100 * 1024 * 1024L (100M) + +#### `dpp_default_cluster` + +默认值：palo-dpp + +#### `dpp_default_config_str` + +默认值：{ + hadoop_configs : 'mapred.job.priority=NORMAL;mapred.job.map.capacity=50;mapred.job.reduce.capacity=50;mapred.hce.replace.streaming=false;abaci.long.stored.job=true;dce.shuffle.enable=false;dfs.client.authserver.force_stop=true;dfs.client.auth.method=0' + } + +#### `dpp_config_str` + +默认值：{ + palo-dpp : { + hadoop_palo_path : '/dir', + hadoop_configs : 'fs.default.name=hdfs://host:port;mapred.job.tracker=host:port;hadoop.job.ugi=user,password' + } + } + +#### `yarn_config_dir` + +默认值：PaloFe.DORIS_HOME_DIR + "/lib/yarn-config" + +默认的 Yarn 配置文件目录每次运行 Yarn 命令之前，我们需要检查一下这个路径下是否存在 config 文件，如果不存在，则创建它们。 + +#### `yarn_client_path` + +默认值：PaloFe.DORIS_HOME_DIR + "/lib/yarn-client/hadoop/bin/yarn" + +默认 Yarn 客户端路径 + +#### `spark_launcher_log_dir` + +默认值： sys_log_dir + "/spark_launcher_log" + +指定的 Spark 启动器日志目录 + +#### `spark_resource_path` + +默认值：空 + +默认值的 Spark 依赖路径 + +#### `spark_home_default_dir` + +默认值：PaloFe.DORIS_HOME_DIR + "/lib/spark2x" + +默认的 Spark home 路径 + +#### `spark_dpp_version` + +默认值：1.0.0 + +Spark 默认版本号 + +### 其他参数 + +#### `tmp_dir` + +默认值：PaloFe.DORIS_HOME_DIR + "/temp_dir" + +temp dir 用于保存某些过程的中间结果，例如备份和恢复过程。 这些过程完成后，将清除此目录中的文件。 + +#### `custom_config_dir` + +默认值：PaloFe.DORIS_HOME_DIR + "/conf" + +自定义配置文件目录 + +配置 `fe_custom.conf` 文件的位置。默认为 `conf/` 目录下。 + +在某些部署环境下，`conf/` 目录可能因为系统的版本升级被覆盖掉。这会导致用户在运行是持久化修改的配置项也被覆盖。这时，我们可以将 `fe_custom.conf` 存储在另一个指定的目录中，以防止配置文件被覆盖。 + +#### `plugin_dir` + +默认值：DORIS_HOME + "/plugins + +插件安装目录 + +#### `plugin_enable` + +默认值:true 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -### `enable_storage_policy` +插件是否启用，默认启用 -是否开启 Storage Policy 功能。该功能用户冷热数据分离功能。该功能仍在开发中，不排除后续后功能修改或重构。仅建议测试环境使用。 +#### `small_file_dir` -默认值：false。即不开启 +默认值：DORIS_HOME_DIR + “/small_files” + +保存小文件的目录 + +#### `max_small_file_size_bytes` + +默认值：1M 是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true -### `enable_fqdn_mode` +SmallFileMgr 中单个文件存储的最大大小 -此配置用于 k8s 部署环境。当 enable_fqdn_mode 为 true 时，将允许更改 be 的重建 pod的 ip。 +#### `max_small_file_number` -默认值： false +默认值：100 -是否可以动态配置：false +是否可以动态配置：true 是否为 Master FE 节点独有的配置项：true + +SmallFileMgr 中存储的最大文件数 + +#### `enable_metric_calculator` + +默认值：true + +如果设置为 true，指标收集器将作为守护程序计时器运行，以固定间隔收集指标 + +#### `report_queue_size` + +默认值： 100 + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +这个阈值是为了避免在 FE 中堆积过多的报告任务，可能会导致 OOM 异常等问题。 + +并且每个 BE 每 1 分钟会报告一次 tablet 信息，因此无限制接收报告是不可接受的。 +以后我们会优化 tablet 报告的处理速度 + +**不建议修改这个值** + +#### `backup_job_default_timeout_ms` + +默认值：86400 * 1000 (1天) + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +备份作业的默认超时时间 + +#### `max_backup_restore_job_num_per_db` + +默认值：10 + +此配置用于控制每个 DB 能够记录的 backup/restore 任务的数量 + +#### `enable_quantile_state_type` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +是否开启 quantile_state 数据类型 + +#### `enable_date_conversion` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果设置为 true，FE 会自动将 Date/Datetime 转换为 DateV2/DatetimeV2(0)。 + +#### `enable_decimal_conversion` + +默认值：false + +是否可以动态配置：true + +是否为 Master FE 节点独有的配置项：true + +如果设置为 true，FE 将自动将 DecimalV2 转换为 DecimalV3。 + +#### `proxy_auth_magic_prefix` + +默认值：x@8 + +#### `proxy_auth_enable` + +默认值：false diff --git a/fe/fe-core/src/main/java/org/apache/doris/common/Config.java b/fe/fe-core/src/main/java/org/apache/doris/common/Config.java index 429c05c6fa..e5c6789277 100644 --- a/fe/fe-core/src/main/java/org/apache/doris/common/Config.java +++ b/fe/fe-core/src/main/java/org/apache/doris/common/Config.java @@ -419,11 +419,6 @@ public class Config extends ConfigBase { */ @ConfField public static int max_mysql_service_task_threads_num = 4096; - /** - * Cluster name will be shown as the title of web page - */ - @ConfField public static String cluster_name = "Baidu Palo"; - /** * node(FE or BE) will be considered belonging to the same Palo cluster if they have same cluster id. * Cluster id is usually a random integer generated when master FE start at first time. @@ -531,10 +526,6 @@ public class Config extends ConfigBase { * Do not change this if you know what you are doing. */ @ConfField public static int load_etl_thread_num_normal_priority = 10; - /** - * Concurrency of delete jobs. - */ - @ConfField public static int delete_thread_num = 10; /** * Not available. */