如何高效地从DataFrame的词列表列中过滤字典外词汇

在文本预处理、自然语言处理相关的数据处理流程中，经常会遇到DataFrame的某一列存储的是词列表的情况，我们需要将这些词列表中不在指定词典内的词汇过滤掉，保留符合要求的词汇。这种操作如果采用普通的循环遍历方式，在数据量较大时会出现明显的性能瓶颈，因此需要采用更高效的处理方式。

基础场景与数据准备

首先我们先构造一个测试用的DataFrame和词典，模拟实际的处理场景。假设我们的DataFrame有一列word_list，每个元素是一个由多个词汇组成的列表，同时我们有一个预定义的合法词典，需要过滤掉所有不在词典中的词汇。

import pandas as pd

# 构造测试DataFrame
data = {
    'id': [1, 2, 3, 4],
    'word_list': [
        ['苹果', '香蕉', '橘子', '榴莲'],
        ['苹果', '西瓜', '葡萄'],
        ['草莓', '蓝莓', '苹果'],
        ['芒果', '菠萝', '梨']
    ]
}
df = pd.DataFrame(data)

# 定义合法词典
valid_dict = {'苹果', '香蕉', '橘子', '草莓', '蓝莓', '芒果', '菠萝', '梨'}

低效的循环遍历方式

很多开发者刚接触这个需求时，会采用逐行遍历的方式处理，这种方式逻辑简单，但是效率很低，不适合处理大规模数据。

# 低效的循环方式
def filter_words_loop(row_word_list, valid_dict):
    return [word for word in row_word_list if word in valid_dict]

df['filtered_words'] = df['word_list'].apply(lambda x: filter_words_loop(x, valid_dict))
print(df)

这种方式的缺点是每次处理一行都要单独进行列表推导，当DataFrame行数达到数十万甚至上百万时，处理时间会非常长。

高效向量化过滤方案

方案一：使用集合交集操作

我们可以利用Python集合的交集操作来实现过滤，集合的成员判断时间复杂度是O(1)，比列表的成员判断效率高很多，同时交集操作本身是批量处理，速度更快。

# 向量化集合交集方式
df['filtered_words'] = df['word_list'].apply(lambda x: list(set(x) & valid_dict))
print(df)

这种方式的优势是逻辑简洁，执行效率高，适合大部分中等规模的数据处理场景。需要注意的是，集合是无序的，如果原词列表的顺序需要保留，可以调整实现方式。

方案二：保留原顺序的过滤实现

如果需要保留原词列表中词汇的顺序，可以使用列表推导结合集合成员判断，这种方式比纯循环效率高，同时能维持原有顺序。

# 保留原顺序的过滤方式
df['filtered_words'] = df['word_list'].apply(lambda x: [word for word in x if word in valid_dict])
print(df)

不同方案性能对比

我们可以通过构造不同规模的测试数据，对比几种方案的执行时间，帮助选择适合的方案。以下是不同数据量下的性能参考：

注意事项

• 词典建议使用集合类型存储，而不是列表，因为集合的成员判断效率远高于列表。
• 如果词列表中存在重复词汇，需要根据需求决定是否去重，集合交集方式会自动去重，列表推导方式会保留重复。
• 处理超大规模数据时，可以考虑分块处理DataFrame，避免内存占用过高。

完整示例代码

import pandas as pd
import time

# 构造大规模测试数据
def generate_test_data(row_num):
    base_words = ['苹果', '香蕉', '橘子', '榴莲', '西瓜', '葡萄', '草莓', '蓝莓', '芒果', '菠萝', '梨', '桃子', '柿子']
    data = {
        'id': range(row_num),
        'word_list': [base_words[i%len(base_words): (i%3)+3] for i in range(row_num)]
    }
    return pd.DataFrame(data)

# 定义合法词典
valid_dict = {'苹果', '香蕉', '橘子', '草莓', '蓝莓', '芒果', '菠萝', '梨'}

# 测试不同方案性能
df_test = generate_test_data(100000)

# 测试集合交集方案
start = time.time()
df_test['filtered_1'] = df_test['word_list'].apply(lambda x: list(set(x) & valid_dict))
print(f"集合交集方案耗时：{time.time() - start:.2f}秒")

# 测试保留顺序的列表推导方案
start = time.time()
df_test['filtered_2'] = df_test['word_list'].apply(lambda x: [word for word in x if word in valid_dict])
print(f"列表推导方案耗时：{time.time() - start:.2f}秒")

pandasDataFrame词列表过滤字典外词汇文本预处理修改时间：2026-07-17 21:00:30