评估大模型是否真的会做逻辑推理，不能只看一个排行榜分数。LogiQA、ReClor、FOLIO 三个基准经常出现在论文里，但它们代表的是完全不同的推理任务。把它们混在一起谈准确率，往往会掩盖模型在某一类题目上的短板。理解每个基准的题目来源、难度设计以及评测目标，再结合自己的任务选型，比单纯追求平均分更有价值。
一、LogiQA：中文语境下的非形式推理
LogiQA是由复旦大学等机构提出的中文逻辑推理数据集，题目源自中国高考语文的现代文阅读理解。它把阅读理解与逻辑推理结合起来，每道题给出一段材料和若干问题，选项通常有四个。题目类型包括因果关系判断、条件推理、归纳推断、削弱或加强论证等。由于材料是中文，语言本身的复杂性和文化背景都会成为模型的干扰因素。例如一段关于科技发展的论述，可能需要先理解段落中的转折关系，再判断哪个选项最符合逻辑。
LogiQA的难度不在形式化规则，而在自然语言中的隐含信息。人类考试可以依靠上下文、常识和语感作答，但模型往往过度依赖词面匹配。比如题干中出现“因为A所以B”，选项如果换成“没有A也可能B”，模型需要识别这是对因果关系的削弱，而不是简单的否定。评测时通常使用准确率，但细看错误分布会发现，模型对转折词、指代消解和长句结构的处理仍然薄弱。因此，LogiQA适合用来评估中文环境下非形式逻辑的理解能力。
from datasets import load_dataset
# 加载LogiQA训练集
logiqa = load_dataset("lukaemon/logiqa")
sample = logiqa["train"][0]
print(sample["context"])
print(sample["question"])
print(sample["options"])
print(sample["label"])
二、ReClor：法学院论证题如何暴露模型缺陷
ReClor是从美国法学院入学考试（LSAT）逻辑题构建的英文数据集。这类题目一般先给出一小段论证，然后要求从五个选项中选择最能削弱、加强、解释或推出结论的一项。LSAT的逻辑题有非常清晰的论证结构：前提、结论、假设和推理方式。ReClor把题目按难度分为训练集和测试集，其中测试集还区分容易和困难两组，困难题的答案需要更深入的逻辑推导，而不是简单的关键词对应。
ReClor对模型的挑战主要来自两个方面。一是论证中的术语抽象，比如“税收政策”“公共产品”“隐私权”等概念需要一定的背景理解；二是选项之间的差异非常细微，两个选项可能都能说得通，但只有一个是逻辑上最相关的。模型如果只靠预训练中的统计相关性，很容易被表面相似的选项误导。实验表明，早期的大模型在ReClor困难集上的准确率往往不到50%，说明它确实能筛选出真正具备论证分析能力的系统。
例如一道削弱题：某市为了减少交通事故，决定在事故多发路口安装红绿灯。问哪个选项最能削弱该措施的效果。正确选项可能指出事故主因是超速而非缺少信号灯。这类题目要求模型识别政策目标与手段之间的关系，而不是仅仅在选项里找“红绿灯”“事故”等关键词。训练过此类数据的模型会学会先重构论证结构，再评估选项与假设之间的冲突程度。
三、FOLIO：从自然语言到形式逻辑
FOLIO是一个把自然语言文本与形式逻辑推理结合起来的数据集。它由多所大学联合构建，题目形式为：给定一组自然语言前提，问一个自然语言结论是否成立，答案是“是”“否”或“不确定”。与LogiQA和ReClor偏重非形式论证不同，FOLIO更接近逻辑学中的有效性判断。前提可能包含全称量词、存在量词、条件句、否定和合取等，需要模型先做符号化，再检查逻辑蕴含关系。
一个典型例子是：前提“所有猫都是哺乳动物”和“有些动物不是猫”，结论“有些动物不是哺乳动物”。根据一阶逻辑规则，这个结论并不能从前提推出，因此答案是不确定。模型如果只依赖统计共现，很可能会错误地认为“不是猫”与“不是哺乳动物”有关联。FOLIO明确要求区分“必然推出”和“可能成立”，这是对模型逻辑严谨性的直接测试。它的题目规模比前两者大，并且带有符号化后的逻辑形式，可以作为形式推理能力的监督信号。
premises = [
"All cats are mammals",
"Some animals are not cats"
]
conclusion = "Some animals are not mammals"
# 该结论不能从前提必然推出，因此应标记为 Unknown
label = "Unknown"
print(label)
四、三个基准如何搭配使用
在实际评测中，这三个基准最好放在一起看，因为它们覆盖了从非形式到形式的推理光谱。LogiQA侧重中文阅读中的逻辑关系，ReClor侧重英文论证结构，FOLIO侧重严格的形式推导。如果一个模型只在LogiQA上得分高，可能只是中文理解能力好；如果只在FOLIO上得分高，可能需要检查是否过拟合了符号逻辑，而缺乏自然语言论证能力。组合使用还可以帮助定位模型的具体缺陷。
从工程角度看，做评测时要注意数据版本、提示词一致性和少样本示例。三个数据集都有训练集和测试集，直接使用公开的测试集容易造成数据污染，因此很多团队会自己划分验证集或采用离线推理。评测时建议统一使用思维链提示，让模型先写出推理过程再给答案，这样既能提升准确率，也能观察推理路径是否合理。对于选择题型基准如LogiQA和ReClor，答案格式可以限定为输出选项字母或全选项文本；对于FOLIO，需要输出三分类标签。
三个基准都不是终点。LogiQA的题目来源有限，ReClor的英语文化背景可能对中文模型不公平，FOLIO的形式规则覆盖仍有限。评估逻辑推理能力仍需结合业务场景，例如法律文书分析可以重点看ReClor，智能问答系统可以重点看LogiQA，而定理证明辅助系统则应关注FOLIO。只有把基准当作诊断工具而不是排名工具，才能真正发挥它们的价值。