文本标注效率低很多时候不是因为标注人员不熟练,而是标注工具把大量时间消耗在了非决策环节:等待数据加载、切换标注类别、在多个界面之间来回跳转。Prodigy的流式界面配合二进制反馈,实际上是把标注动作压缩成一个极简循环:看到文本,按一次键,下一条。这个循环足够快,标注者才能把注意力集中在语义判断本身,而不是操作工具。

一、流式界面如何改变标注节奏
传统标注多采用批量导入,所有数据先进入数据库,界面按页加载。即使本地速度尚可,等待翻页、点选类别、滚动列表仍然累积大量操作成本。Prodigy将数据源视为可迭代流,通过生成器按需产出示例,界面只保留当前批次,不预加载全量数据。流式读取对超大JSONL、数据库查询结果、甚至远程API返回都适用。标注过程像水龙头持续出水,而不是从一个大桶里反复舀水。
流式标注还天然适合主动学习。模型可以在后台对未标注样本打分,按不确定性排序后交给标注界面,标注者看到的是模型最拿不准的样本,而不是随机顺序。这样每条人工反馈的信息密度更高。Prodigy的stream回调可以由自定义生成器控制,生成器每次yield一个示例字典,字典中包含text、meta等字段。下面是一个最小生成器:
import json
def stream_from_jsonl(path):
with open(path, encoding="utf-8") as f:
for line in f:
line = line.strip()
if not line:
continue
example = json.loads(line)
yield {"text": example["text"], "meta": {"id": example["id"]}}
这段代码只做了一件事:打开JSONL文件,逐行读取并产出标注示例。因为生成器是惰性求值,不会一次性把文件读入内存,所以几百MB的文本数据也能平稳标注。
流式并不意味着失去控制。Prodigy仍会缓存已标注结果,并且支持暂停恢复、跳过本轮等操作。与一次性标注全部数据相比,流式更灵活的地方在于可以随时更换数据源。比如先用一个标注员筛掉明显噪音,再让另一个标注员处理困难样本,同一套界面不需要修改。流水线可以根据反馈动态调整,不必在任务开始时就把所有数据固定下来。
二、二进制反馈的交互设计与数据回写
二进制反馈的核心是只给标注者极少的决策选项。以文本分类为例,不是从十几个标签中选择,而是针对当前标签回答是或否。Prodigy内置的接受、拒绝、忽略三种动作正好对应正向样本、负向样本和暂时无法判断。按下接受键,该样本被标记为目标类别;按下拒绝键,则标记为非目标类别;忽略则跳过,不写入标注结果。键盘快捷键让手指不需要离开键盘,鼠标几乎可以不用。
实现二进制反馈不只是前端按钮变化,关键是回调函数如何处理动作。Prodigy的update回调接收answers列表,每个answer包含accept、reject、ignore等布尔字段。我们可以根据这些字段把样本写入不同数据集,或更新统计指标。下面是一个文本分类的update示例:
def update(examples, answers):
stats = {"accepted": 0, "rejected": 0, "ignored": 0}
for eg, ans in zip(examples, answers):
if ans["accept"]:
eg["label"] = "TARGET"
stats["accepted"] += 1
elif ans["reject"]:
eg["label"] = "NOT_TARGET"
stats["rejected"] += 1
else:
eg["label"] = None
stats["ignored"] += 1
return stats
这段代码把二进制动作转换成明确的标签,并返回本轮统计。Prodigy会自动合并统计结果,方便在进度条旁查看标注速度。只要回调返回统计字典,不用额外记日志。
二进制反馈还能降低标注一致性波动。多分类任务中,标注者容易在不同类别之间产生边界分歧;二元判断只要求回答当前样本是否属于某个预定义类别,标准更单一。标注指南可以写成一句很直接的条件:如果这段文本明确表达了对产品的负面评价就接受,否则拒绝。对于边界模糊的样本,标注者可以忽略,后续由复核人员处理。这样第一轮标注很快,第二轮只处理被忽略的少数样本,整体效率反而高于一开始就做精细多分类。
三、注册并运行一个流式文本分类任务
Prodigy的标注任务通过recipe组织。一个recipe负责构建数据流、指定前端视图、绑定update回调。下面的示例注册一个text-binary标注任务,数据源是JSONL文件,前端视图使用classification,并配置一个标签。启动后界面会逐条显示文本,标注者只需按接受或拒绝。
import prodigy
from prodigy.components.stream import Stream
@prodigy.recipe("text-binary")
def text_binary(dataset, source):
def stream_from_jsonl(path):
import json
with open(path, encoding="utf-8") as f:
for line in f:
line = line.strip()
if not line:
continue
item = json.loads(line)
yield {"text": item["text"]}
stream = Stream.from_iterable(stream_from_jsonl(source))
def update(examples, answers):
results = []
for eg, ans in zip(examples, answers):
if ans.get("accept"):
eg["label"] = "POSITIVE"
elif ans.get("reject"):
eg["label"] = "NEGATIVE"
else:
eg["label"] = "SKIP"
results.append(eg)
return {"examples": results}
return {
"dataset": dataset,
"stream": stream,
"view_id": "classification",
"update": update,
"config": {
"labels": ["POSITIVE"],
"choice_style": "single",
"instructions": "按接受表示正向,按拒绝表示负向,按忽略跳过"
}
}
注意代码中labels只提供POSITIVE,但拒绝键仍然可用,因为classification视图默认支持拒绝动作。这样界面不会显示两个类别让标注者选择,而是把拒绝当作对POSITIVE的否定,形成二进制决策。
保存以上代码为text_binary.py后,在命令行启动:
python -m prodigy text-binary my_dataset ./texts.jsonl -F text_binary.py
启动后Prodigy会启动本地Web服务,默认访问127.0.0.1:8080。流式界面会持续从texts.jsonl读取样本,标注结果写入my_dataset数据集。如果数据量很大,生成器不会把所有数据加载进内存;如果中途停止,可以用-d参数指定已标注数据的输出路径,也可以直接读取数据集继续标注。
实际使用中,可以在stream生成器里加入预标注逻辑。比如先用规则或已有模型给每条文本打一个分数,再根据分数过滤低质量样本。流式阶段可以调用模型API,但要注意API延迟会阻塞生成器。更好的做法是提前批量预标注,把结果写入meta字段,前端只显示文本和简要提示。二进制反馈围绕预标注结果进行校正,而不是从零判断,这能显著提升每小时标注量。
四、保持流式标注长期高效的几个关键点
第一个关键是控制每轮数据量。流式虽然是持续供给,但不代表标注者可以无限连续工作。建议按批次设置300到500条为一轮,完成一轮后让标注者休息或切换任务。Prodigy的进度信息可以按dataset统计,也可以用update回调返回自定义统计。统计结果会实时显示在界面顶部,让标注者知道已完成多少、接受和拒绝比例如何。
第二个关键是处理好忽略样本。忽略是一种有价值的信号,它意味着数据本身有歧义或者当前任务定义不够清楚。如果忽略比例超过百分之十五,要考虑修改标注指南或调整数据源。可以在update回调中把忽略样本单独导出,后续分析这些例子的共同特征。持续积累的忽略样本往往能暴露数据质量问题,比如文本编码错误、字段缺失、语言混杂等。用二进制反馈时,忽略不是垃圾筐,而应被视为需要二次处理的队列。
第三个关键是配合主动学习降低总量。如果最终只需要标注一万条高质量样本,不必从随机十万条中逐一筛选。先随机标注五百条训练一个初步模型,然后用模型对剩余数据排序,每次取出模型最不确定的五百条交给标注者。Prodigy的stream可以接入自定义排序逻辑,每轮标注后更新模型,再生成下一轮数据。这种闭环把二进制反馈的价值放大:每条反馈既在完成标注,也在教会模型下一个该看什么。
最后要注意硬件和网络环境。流式界面依赖WebSocket推送,标注者与Prodigy服务之间应保持低延迟连接。如果团队远程协作,建议将Prodigy部署在离标注者较近的服务器上,并定期备份数据集。本地单机标注时,JSONL文件放在SSD上比机械硬盘更流畅。虽然流式生成器占用内存很低,但后端如果同时运行模型推理,需要单独限制并发数,避免页面卡顿影响标注节奏。