在Celery异步任务执行过程中，集成的gql库经常会输出大量无用的调试日志，比如每次请求GraphQL接口的详细参数、响应内容等，这些内容会淹没业务核心日志，提升问题排查的难度。我们可以通过调整Python标准日志配置、自定义日志过滤器等方式，精准屏蔽gql的冗余输出。
为什么gql会输出大量冗余日志
gql库默认会将请求发送、响应接收、字段解析等过程的详细信息通过logging模块输出，日志级别默认设置为DEBUG或者INFO，而Celery的默认日志配置可能会继承这些设置，导致在任务运行时大量冗余日志被打印到控制台或者日志文件中。
基础方法：调整logging全局配置
如果只是想简单屏蔽所有gql相关的日志，可以直接在Celery应用初始化阶段，修改logging模块中gql对应logger的级别，将其设置为WARNING及以上，这样DEBUG和INFO级别的冗余日志就不会被输出。
示例代码如下：
import logging
from celery import Celery
# 初始化Celery应用
app = Celery('tasks', broker='amqp://guest@localhost//')
# 调整gql相关logger的级别
gql_logger = logging.getLogger('gql')
gql_logger.setLevel(logging.WARNING)
# 如果gql有子模块日志，也可以一并调整
gql_transport_logger = logging.getLogger('gql.transport')
gql_transport_logger.setLevel(logging.WARNING)
进阶方法：自定义日志过滤器精准屏蔽
如果需要保留部分gql的必要日志，只屏蔽特定的冗余内容，比如只屏蔽请求参数相关的日志，自定义日志过滤器是更合适的方式。我们可以编写一个过滤器，判断日志内容是否包含特定关键词，再决定是否放行。
首先编写过滤器类：
import logging
class GqlLogFilter(logging.Filter):
def filter(self, record):
# 屏蔽包含请求参数、响应原始数据关键词的日志
redundant_keywords = ['request body', 'response raw', 'graphql query params']
log_message = record.getMessage().lower()
for keyword in redundant_keywords:
if keyword in log_message:
return False
return True
然后将过滤器添加到gql的logger处理器中：
import logging
from celery import Celery
app = Celery('tasks', broker='amqp://guest@localhost//')
# 获取gql的logger
gql_logger = logging.getLogger('gql')
# 遍历logger的所有处理器，添加自定义过滤器
for handler in gql_logger.handlers:
handler.addFilter(GqlLogFilter())
# 如果没有处理器，给logger添加一个控制台处理器并添加过滤器
if not gql_logger.handlers:
console_handler = logging.StreamHandler()
console_handler.addFilter(GqlLogFilter())
gql_logger.addHandler(console_handler)
Celery任务场景下的配置注意事项
在Celery中，如果使用了多进程或者多线程的worker池，日志配置需要在worker初始化的时候执行，避免子进程没有继承到日志配置。可以在Celery的task_prerun信号中配置日志，确保每次任务执行前日志规则都生效。
示例配置如下：
import logging
from celery import Celery, signals
app = Celery('tasks', broker='amqp://guest@localhost//')
@signals.task_prerun.connect
def setup_logging_on_task_prerun(sender=None, task_id=None, task=None, **kwargs):
# 每次任务执行前调整gql日志配置
gql_logger = logging.getLogger('gql')
gql_logger.setLevel(logging.WARNING)
# 添加自定义过滤器
for handler in gql_logger.handlers:
# 避免重复添加过滤器
if not any(isinstance(f, GqlLogFilter) for f in handler.filters):
handler.addFilter(GqlLogFilter())
不同方法的适用场景对比
我们可以通过下表快速选择适合自己的屏蔽方案：
| 方法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 全局调整日志级别 | 不需要任何gql调试日志的场景 | 配置简单，代码量少 | 无法保留部分必要日志 |
| 自定义日志过滤器 | 需要保留部分gql日志，只屏蔽特定冗余内容的场景 | 控制精准，灵活度高 | 需要编写额外代码，需要明确冗余日志的特征 |
| 信号中配置日志 | 使用多进程/多线程Celery worker的场景 | 确保子进程日志配置生效 | 配置相对复杂，需要了解Celery信号机制 |
注意事项
- 调整日志配置时，要注意不要影响其他模块的日志输出，避免误屏蔽业务相关的日志
- 如果后续需要调试gql相关问题，可以临时将日志级别调回DEBUG，排查完成后再恢复屏蔽配置
- 自定义过滤器中的关键词需要根据实际输出的冗余日志内容调整，不同版本的gql日志格式可能存在差异
总结
在Celery中屏蔽gql的冗余日志，核心是通过logging模块控制gql对应logger的输出规则，简单场景可以用调整日志级别的方式快速解决，复杂场景可以用自定义过滤器实现精准控制，同时要注意Celery多进程场景下的配置生效问题。通过这些方法，我们可以让Celery任务的日志输出更简洁，提升问题排查的效率。