导读:近期更新了《CrowS-Pairs》的相关内容,包括《如何用StereoSet和CrowS-Pairs评估语言模型中的社会偏见?》。如果 CrowS-Pairs 对你有帮助,请转发和分享本内容。知识因分享而拥有更大能量,感谢您成为这传播链条中的重要一环。
如何用StereoSet和CrowS-Pairs评估语言模型中的社会偏见? 语言模型从海量文本中习得的偏见经常隐藏在词与句子的概率分布里,单靠人工抽查很难得到稳定结论。把偏见评估做成可重复的基准测试,StereoSet和CrowS-Pairs分别走了两条路线。StereoSet用填空题方式给出刻板、反刻板和无关选项,通过模型对候选词的概率判断它在多大程度上强... 栏目:语言推理 时间:08-23 StereoSet CrowS-Pairs 偏见基准