FE 日志管理

本文主要介绍 Frontend(FE) 进程的日志管理。

该文档适用于 2.1.4 及之后的 Doris 版本。

日志分类

当使用 sh bin/start_fe.sh --daemon 方式启动 FE 进程后，FE 日志目录下会产生以下类型的日志文件：

fe.log

FE 进程运行日志。FE 的主日志文件。FE 进程所有等级（DEBUG、INFO、WARN、ERROR 等）的运行日志都会打印到这个日志文件中。

fe.warn.log

FE 进程运行日志。但只会打印 WARN 级别以上的运行日志。fe.warn.log 中的内容是 fe.log 日志内容的子集。主要用于快速查看告警或错误级别日志。

fe.audit.log

审计日志。用于记录通过这个 FE 节点执行的所有数据库操作记录。包括 SQL、DDL、DML 语句等。

fe.out

用于接收标准输出流和错误数据流的日志。比如 start 脚本中的 echo 命令输出等，或其他未被 log4j 框架捕获到的日志信息。通常作为运行日志的补充。少数情况下，需要查看 fe.out 的内容以获取更多信息。

fe.gc.log

FE JVM 的 GC 日志。该日志的行为由 fe.conf 中的 JVM 启动项 JAVA_OPTS 控制。

日志配置

包括配置日志的存放路径、保留时间、保留数目、大小等。

以下配置项均在 fe.conf 文件中配置。

配置项	默认值	可选项	说明
`LOG_DIR`	`ENV(DORIS_HOME)/log`		所有日志的存放路径。默认为 FE 部署路径的 `log/` 目录下。注意这是一个环境变量，配置名需大写。
`sys_log_level`	`INFO`	`INFO`, `WARN`, `ERROR`, `FATAL`	`fe.log` 的日志等级。默认为 INFO。不建议修改，INFO 等级包含许多关键日志信息。
`sys_log_roll_num`	10		控制 `fe.log` 和 `fe.warn.log` 一天内的最大文件数量。默认 10。当因为日志滚动或切分后，日志文件数量大于这个阈值后，老的日志文件将被删除
`sys_log_verbose_modules`			可以设置指定的 Java package 下的文件开启 DEBUG 级别日志。请参阅 "开启 DEBUG 日志" 章节
`sys_log_enable_compress`	false	true, false	是否开启历史 `fe.log` 和 `fe.warn.log` 日志压缩。默认关闭。开启后，历史审计日志会使用 gzip 压缩归档
`log_rollover_strategy`	`age`	`age`, `size`	日志保留策略，默认为 `age`，即根据时间策略保留历史日志。`size` 为按日志大小保留历史日志
`sys_log_delete_age`	7d	支持格式如 7d, 10h, 60m, 120s	仅当 `log_rollover_strategy` 为 `age` 时生效。控制 `fe.log` 和 `fe.warn.log` 文件的保留天数。默认 7 天。会自动删除 7 天前的日志
`audit_log_delete_age`	7d	支持格式如 7d, 10h, 60m, 120s	仅当 `log_rollover_strategy` 为 `age` 时生效。控制 `fe.audit.log` 文件的保留天数。默认 30 天。会自动删除 30 天前的日志
`info_sys_accumulated_file_size`	4		仅当 `log_rollover_strategy` 为 `size` 时生效。控制 `fe.log` 文件的累计大小。默认为 4GB。当累计日志大小超过这个阈值后，会删除历史日志文件
`warn_sys_accumulated_file_size`	2		仅当 `log_rollover_strategy` 为 `size` 时生效。控制 `fe.warn.log` 文件的累计大小。默认为 2GB。当累计日志大小超过这个阈值后，会删除历史日志文件
`audit_sys_accumulated_file_size`	4		仅当 `log_rollover_strategy` 为 `size` 时生效。控制 `fe.audit.log` 文件的累计大小。默认为 4GB。当累计日志大小超过这个阈值后，会删除历史日志文件
`log_roll_size_mb`	1024		控制 `fe.log`, `fe.warn.log`, `fe.audit.log` 单个文件最大大小。默认 1024MB。单个日志文件超过这个阈值后，会自动切分新的文件
`sys_log_roll_interval`	`DAY`	`DAY`, `HOUR`	控制 `fe.log` 和 `fe.warn.log` 的滚动间隔。默认为 1 天。即每天生成一个新日志文件
`audit_log_roll_num`	90		控制 `fe.audit.log` 最大文件数量。默认 90。当因为日志滚动或切分后，日志文件数量大于这个阈值后，老的日志文件将被删除
`audit_log_roll_interval`	`DAY`	`DAY`, `HOUR`	控制 `fe.audit.log` 的滚动间隔。默认为 1 天。即每天生成一个新日志文件
`audit_log_dir`	`ENV(DORIS_HOME)/log`	可以单独指定 `fe.audit.log` 的存放路径。默认为 FE 部署路径的 `log/` 目录下。
`audit_log_modules`	`{"slow_query", "query", "load", "stream_load"}`		`fe.audit.log` 中的模块类型。默认包括慢查询、查询、导入、stream load。其中“查询”只所有 DDL、DML、SQL 操作。“慢查询”指这些操作执行时间超过 `qe_slow_log_ms` 阈值的操作。“导入”指 Broker Load。“stream load”指 stream load 操作。
`qe_slow_log_ms`	5000		当 DDL、DML、SQL 语句的执行时间超过这个阈值后，会在 `fe.audit.log` 的 `slow_query` 模块中单独记录。默认 5000 ms
`audit_log_enable_compress`	false	true, false	是否开启历史 `fe.audit.log` 日志压缩。默认关闭。开启后，历史审计日志会使用 gzip 压缩归档
`sys_log_mode`	`NORMAL`	`NORMAL`, `BRIEF`, `ASYNC`	FE 日志的输出模式，其中 `NORMAL` 为默认的输出模式，日志同步输出且包含位置信息。`ASYNC` 默认是日志异步输出且包含位置信息。 `BRIEF` 模式是日志异步输出但不包含位置信息。三种日志输出模式的性能依次递增

::: note 从 3.0.2 版本开始，sys_log_mode 配置默认改为 AYSNC。 :::

提示

sys_log_roll_num 控制的是一天的保留日志数量，而不是总数量，需要配合 sys_log_delete_age 共同确定总保留日志数量。

开启 DEBUG 日志

FE 的 Debug 级别日志可以通过修改配置文件开启，也可以通过界面或 API 在运行时打开。

通过配置文件开启

在 fe.conf 中添加配置项 sys_log_verbose_modules。举例如下：

# 仅开启类 org.apache.doris.catalog.Catalog 的 Debug 日志
sys_log_verbose_modules=org.apache.doris.catalog.Catalog

# 开启包 org.apache.doris.catalog 下所有类的 Debug 日志
sys_log_verbose_modules=org.apache.doris.catalog

# 开启包 org 下所有类的 Debug 日志
sys_log_verbose_modules=org

添加配置项并重启 FE 节点，即可生效。

通过 FE UI 界面

通过 UI 界面可以在运行时修改日志级别。无需重启 FE 节点。在浏览器打开 FE 节点的 http 端口（默认为 8030），并登陆 UI 界面。之后点击上方导航栏的 Log 标签。

我们在 Add 输入框中可以输入包名或者具体的类名，可以打开对应的 Debug 日志。如输入 org.apache.doris.catalog.Catalog 则可以打开 Catalog 类的 Debug 日志：

你也可以在 Delete 输入框中输入包名或者具体的类名，来关闭对应的 Debug 日志。

备注
这里的修改只会影响对应的 FE 节点的日志级别。不会影响其他 FE 节点的日志级别。

通过 API 修改

通过以下 API 也可以在运行时修改日志级别。无需重启 FE 节点。

curl -X POST -uuser:passwd fe_host:http_port/rest/v1/log?add_verbose=org.apache.doris.catalog.Catalog

其中用户名密码为登陆 Doris 的 root 或 admin 用户。add_verbose 参数指定要开启 Debug 日志的包名或类名。若成功则返回：

{
    "msg": "success", 
    "code": 0, 
    "data": {
        "LogConfiguration": {
            "VerboseNames": "org,org.apache.doris.catalog.Catalog", 
            "AuditNames": "slow_query,query,load", 
            "Level": "INFO"
        }
    }, 
    "count": 0
}

也可以通过以下 API 关闭 Debug 日志：

curl -X POST -uuser:passwd fe_host:http_port/rest/v1/log?del_verbose=org.apache.doris.catalog.Catalog

del_verbose 参数指定要关闭 Debug 日志的包名或类名。

容器环境日志配置

在某些情况下，通过容器环境（如 k8s）部署 FE 进程。所有日志需要通过标准输出流而不是文件进行输出。

此时，可以通过 sh bin/start_fe.sh --console 命令前台启动 FE 进程，并将所有日志输出到标准输出流。

为了在同一标准输出流中区分不同日志类型，会在每条日志前添加不同的前缀以示区分。如：

RuntimeLogger 2024-06-24 00:05:21,522 INFO (main|1) [DorisFE.start():158] Doris FE starting...
RuntimeLogger 2024-06-24 00:05:21,530 INFO (main|1) [FrontendOptions.analyzePriorityCidrs():194] configured prior_cidrs value: 172.20.32.136/24
RuntimeLogger 2024-06-24 00:05:21,535 INFO (main|1) [FrontendOptions.initAddrUseIp():101] local address: /172.20.32.136.
RuntimeLogger 2024-06-24 00:05:21,740 INFO (main|1) [ConsistencyChecker.initWorkTime():106] consistency checker will work from 23:00 to 23:00
RuntimeLogger 2024-06-24 00:05:21,889 ERROR (main|1) [Util.report():128] SLF4J: Class path contains multiple SLF4J bindings.

不同的前缀说明如下：

StdoutLogger：标准输出流中的日志，对应 fe.out 中的内容。
StderrLogger：标准错误流中的日志，对应 fe.out 中的内容。
RuntimeLogger：对应 fe.log 中的日志。
AuditLogger：对应 fe.audit.log 中的日志。
无前缀：对应 fe.gc.log 中的日志。

此外，针对容器环境还有一个额外配置参数：

配置项	默认值	可选项	说明
`enable_file_logger`	true	true, false	是否启用文件日志。默认为 `true`。当使用 `--console` 命令启动 FE 进程时，日志会同时输出到标准输出流，以及正常的日志文件中。当为 `false` 时，日志只会输出到标准输出流，不会再产生日志文件

日志分类​

日志配置​

开启 DEBUG 日志​

容器环境日志配置​

日志分类

日志配置

开启 DEBUG 日志

容器环境日志配置