导读:近期更新了《领域大模型》的相关内容,包括《大模型持续预训练如何融入医疗法律领域数据并防治灾难性遗忘?》。如果 领域大模型 对你有帮助,请转发和分享本内容。知识因分享而拥有更大能量,感谢您成为这传播链条中的重要一环。
大模型持续预训练如何融入医疗法律领域数据并防治灾难性遗忘? 为什么通用大模型在医疗和法律场景下总是答非所问?持续预训练(CPT)是把领域知识灌入基座模型的主流路径,但训练几轮之后模型往往把通用能力丢得一干二净,这就是灾难性遗忘问题。本文从数据配比、训练策略、正则化方法三个维度展开,讲解如何构建医疗和法律领域的语料体系,如何通... 栏目:AI社区 时间:09-10 持续预训练 灾难性遗忘 领域大模型