AI大模型近期更新 - AI大模型动态及教程 - 第3页

Claude API的Prompt Caching是如何将长文本成本降低90%的？

一条几万token的系统提示词，每次请求都原封不动地重新发送，既烧钱又拖慢响应。Claude API推出的Prompt Caching机制，正是在解决这个隐性浪费。它的思路相当直接：把提示词中重复出现的稳定部分缓存在服务端，后续请求只需携带缓存标识即可复用，无需再次计费。官方数据显示，缓存命...

栏目：AI大模型时间：09-29 Prompt Caching Claude API 长文本成本

Reranker模型如何用Cross-Encoder提升排序精度？

向量召回返回的前50条结果里，真正相关的文档经常排在第30位，查准率被排名位置拖低。有没有办法在不重建索引、不改变召回模型的前提下，把排序精度显著提上去？Reranker模型的核心做法是用Cross-Encoder对召回集合做二次精排。与把查询和文档分别编码的Bi-Encoder不同，Cross-Enc...

栏目：AI大模型时间：09-29 Reranker模型 Cross-Encoder 排序精度

如何用联邦学习与加密技术解决隐私泄露问题？

联邦学习让多个参与方在本地保留数据的前提下共同训练模型，但模型梯度或参数在传输过程中仍可能泄露原始信息。单纯依赖联邦平均并不足够安全，攻击者可以通过梯度反推训练样本。为此引入同态加密和安全多方计算，在密文状态下完成梯度聚合，服务器看不到任何明文中间结果。同态...

栏目：AI大模型时间：09-29 联邦学习同态加密安全多方计算

如何解决简历优化中的过度虚构？真实性约束与核查提示

简历优化最棘手的问题，往往不是表达不够亮眼，而是优化过了头。把参与写成主导、把熟悉写成精通，会在面试或背调阶段暴露风险。优化本身没有错，错在缺乏真实性约束。本文从约束边界和核查机制两个角度拆解这个问题，给出可以直接嵌入修改流程的提示词模板、结构化字段校验思路以...

栏目：AI大模型时间：09-28 简历优化真实性约束核查提示

如何通过批处理与Worker数解决TorchServe延迟高？

为什么TorchServe在GPU利用率很低时，单请求延迟仍然超过预期？问题通常不在模型计算，而在请求调度。TorchServe接收到推理请求后，先放入前端队列，再由后端Worker取走执行。批处理参数batch_size和max_batch_delay会引入等待时间，Worker数不足则让请求在队列里堆积。本文从这两个...

栏目：AI大模型时间：09-28 TorchServe 批处理 Worker

增长实验反复跑不出显著结果？用ICE评分和A/B测试重建实验体系

实验数据总不显著，未必是想法不够好，很多时候是实验优先级和验证路径出了问题。ICE评分把影响范围、成功信心、实施容易度量化成一个排序分数，帮你从一堆假设里挑出最值得跑的；A/B测试则用随机分流和统计检验确认改动是否真的带来提升。把两者拆开用，前者容易变成拍脑袋打分，后...

栏目：AI大模型时间：09-28 增长实验 ICE评分 AB测试

Perplexity搜索结果不相关怎么办？如何正确配置搜索范围与Focus设置

为什么Perplexity给出的答案总是抓不住重点？问题往往不在模型能力，而在于搜索范围和Focus模式没有匹配查询场景。Perplexity的Focus模式决定了优先检索的来源类型，搜索范围则控制时间窗口和来源覆盖。本文从实际使用出发，拆解Web、Academic、Wolfram Alpha等模式的行为差异，说...

栏目：AI大模型时间：09-28 Perplexity搜索搜索范围 Focus设置

怎样设计大模型Prompt才能生成真正可用的公司制度与员工手册？

直接把一句‘帮我写一份员工手册’丢给大模型，产出的内容通常篇幅很长，却很难直接在公司里推行。缺考勤细则、假期标准含糊、责任条款互相打架，这些问题几乎每次都会出现。想拿到能落地的制度文档，关键不是换一个更强的模型，而是把提示词从‘写一篇文档’改成‘定义规则、角色...

栏目：AI大模型时间：09-28 大模型Prompt 员工手册公司制度

PowerInfer如何用稀疏激活优化CPU大模型推理？

大模型在CPU上推理慢，问题未必出在算力本身，而是大量乘法被浪费在不会激活的神经元上。Transformer的前馈层里，每一轮只有一小部分神经元对当前输入产生非零响应，其余参数虽然被读取和计算，却几乎不贡献输出。PowerInfer把这种激活稀疏性变成了优化信号：离线统计神经元的激活频...

栏目：AI大模型时间：09-28 PowerInfer 稀疏激活 CPU推理

如何用大模型Prompt高效完成BCG矩阵产品组合分析？

BCG矩阵把业务单元划分为明星、现金牛、问题和瘦狗四类，核心是相对市场份额和市场增长率两个维度。过去做这种分析，需要收集大量数据并手动归类。现在借助大模型的推理能力，只要把数据表和判断标准放进提示词，就能让模型输出符合波士顿矩阵逻辑的分类结果。本文给出一个可直...

栏目：AI大模型时间：09-28 大模型Prompt BCG矩阵产品组合分析

如何解决脚本节奏不合理？用时长约束与起承转合结构修正节奏

脚本写到中间突然发现前十分钟铺垫太长，关键冲突只剩两分钟草草收尾，这种情况通常不是台词问题，而是节奏结构缺少硬约束。解决脚本节奏不合理，可以先从两个维度入手：给每一幕设定明确的时长占比，再用起承转合把情节推进拆成可验证的四个阶段。起段负责快速建立人物与目标，承段通...

栏目：AI大模型时间：09-28 脚本节奏起承转合时长约束

为什么购车建议总不够中立？用需求分析与市场行情理性选车

把销售话术当客观参考，是选车过程中最常见的误区。4S店销售的报价策略、网络车评人的植入内容、短视频平台的带货节奏，都在用不同方式影响判断。想获得中立购车建议，不能只听某一家之言，而要把决策拆成需求分析和市场行情两个部分。先明确预算、年限里程、使用场景和必须配置...

栏目：AI大模型时间：09-28 购车建议需求分析市场行情

如何避免文本改写改变原意？保留核心信息与语义校验的工程实践

文本改写模型在生成更流畅、更精简的表述时，经常悄悄丢掉关键实体、反转否定范围或者把条件关系写反。要判断一段改写是否忠实于原文，光靠编辑距离和BLEU这类词面指标基本无效，因为它们无法识别语义层面的偏移。本文将围绕改写质量保障展开，先拆解改写失真的常见类型，然后给出...

栏目：AI大模型时间：09-28 文本改写语义校验核心信息保留

如何从零搭建FastGPT知识库问答系统？

企业资料散落在网盘、工单和聊天记录里，新员工上手慢，客服重复答疑成本高。把现有文档整理成可检索的知识库，再接入大模型做自然语言问答，是当前性价比较高的方案。FastGPT提供了一套开箱即用的知识库问答框架，支持私有化部署和主流模型API对接，文档导入后会自动完成切片与向量...

栏目：AI大模型时间：09-28 FastGPT 知识库问答系统 Docker部署

通义灵码网络配置怎么做？代理、离线与常见报错排查指南

把通义灵码装好之后直接开始补全，结果请求一直转圈，登录也提示网络异常，这个场景多半不是插件本身的问题，而是网络链路没有打通。通义灵码的补全和对话依赖云端模型，客户端会通过 IDE 内置代理、系统代理或环境变量访问服务域名。不少企业网络会拦截未知 HTTPS 流量，导致登录、...

栏目：AI大模型时间：09-27 通义灵码网络配置代理设置

全参数训练显存不够怎么办？梯度检查点与ZeRO如何组合破局

把大模型塞进单卡训练时，显存往往先被激活值和优化器状态吃光，而不是模型权重本身。很多开发者习惯直接减小 batch size 或开启 CPU offload，却忽略了两种可以叠加的显存优化手段：梯度检查点与 ZeRO。前者在前向传播时丢弃部分中间激活，反向传播需要时重新计算，用约三分之一的...

栏目：AI大模型时间：09-27 梯度检查点 ZeRO 显存优化

如何调整Harm Block Threshold解决Gemini输出过度保守？

为什么同一个问题在 Gemini 模型里会被直接拒绝回答，而换成其他模型却能正常生成内容？很多情况下问题并不在提示词本身，而在默认的安全过滤阈值。Google 为 Gemini API 提供了一套 safetySettings 配置，其中 HarmBlockThreshold 决定了不同风险类别在什么概率下会被拦截。默...

栏目：AI大模型时间：09-27 Gemini安全过滤 Harm Block Threshold 生成式AI内容策略

代码Review总漏掉严重Bug？安全规则库与优先级如何设计

把同一条SQL注入规则放在建议修复和放在阻断合并两个位置，线上漏洞数量可能相差一个数量级。代码Review漏报严重Bug，通常不是因为没有规则，而是规则没有优先级。团队花大量时间逐行审阅，却让越权、命令执行、存储型XSS等高危问题混在一堆格式化建议里被忽略。本文围绕安全规...

栏目：AI大模型时间：09-27 代码审查安全规则库漏洞优先级

如何用Ray Serve实现多节点模型并行推理？

单卡显存装不下大模型权重，推理延迟居高不下怎么办？Ray Serve 基于 Ray 的分布式 Actor 模型，可以把模型的不同层或张量分片放到多个节点上，通过远程调用和 NCCL 通信协同完成一次前向计算。本文会拆解 Ray Serve 中 Deployment、Replica、Router 的协作方式，给出一个两节点模...

栏目：AI大模型时间：09-27 Ray Serve 分布式推理模型并行

WebLLM如何借助WebGPU在浏览器中实现大模型推理加速？

同样部署一个 7B 参数的语言模型，有人习惯直接调用云端 API，有人则尝试把模型权重搬进浏览器本地运行。过去浏览器推理受限于 WebAssembly 的算力，生成速度很难突破每秒几个 token；随着 WebGPU 标准落地，GPU 并行计算能力被释放，WebLLM 这类框架已经能实现每秒十几到几十 token...

栏目：AI大模型时间：09-27 WebLLM WebGPU 浏览器推理

如何用大模型提示词设计小说情节与人物？

写小说卡文，问题往往不出在文笔，而在于情节推着人物走，人物没有真实动机。大模型提示词可以解决这个错位，前提是提示词不能只写‘帮我写一个复仇故事’，而要把人物的欲望、缺陷、阻碍和代价拆成结构。本文用一套可复用的四步提示词框架，先把人物核心欲望与致命缺陷固定成角色卡...

栏目：AI大模型时间：09-27 大模型提示词小说情节设计人物设计

如何用SSD与内存映射文件解决磁盘IO瓶颈？

磁盘IO瓶颈究竟卡在什么地方？为什么换上SSD之后，某些业务场景的响应时间依然降不下来？许多Windows应用在读写大文件或高频日志时，仍然依赖传统的ReadFile与WriteFile，每次调用都要经过用户态到内核态的切换，数据还要在内核缓冲区与用户缓冲区之间多拷贝一次。SSD的出现确实消除...

栏目：AI大模型时间：09-27 磁盘IO瓶颈 SSD 内存映射文件

如何用AnythingLLM基于RAG方案快速搭建专属私有知识库？

内部知识库问答系统最怕资料越积越多，查询却越来越慢。不少团队等到数据外泄风险出现才考虑本地化部署。AnythingLLM 把文档解析、向量化、召回和生成整合成一条可自托管的 RAG 链路，既支持 Ollama、LM Studio 等本地模型，也能对接 OpenAI 兼容接口，向量库可选择 LanceDB、Ch...

栏目：AI大模型时间：09-27 AnythingLLM RAG 私有知识库

如何解决MoE路由震荡并实现负载均衡与训练稳定？

MoE模型训练时经常出现这样的现象：部分专家高频激活，部分专家几乎闲置，同时门控决策在不同训练步之间剧烈跳变。路由震荡会放大梯度方差，使稀疏专家难以收敛。解决思路不是单纯增加惩罚项，而是结合负载均衡损失、门控z-loss以及专家容量约束。本文先拆解路由震荡的成因，说明硬...

栏目：AI大模型时间：09-27 MoE路由震荡负载均衡专家网络

如何解决Token浪费严重？精简System Prompt与历史压缩

为什么模型还没开始处理核心任务，Token消耗就已经居高不下？系统提示词里塞满大段背景说明、角色设定和示例，历史对话又原封不动地拼进上下文，导致每次请求都在为冗余信息买单。想要降低调用成本、提升响应速度，必须从精简System Prompt和压缩历史消息入手。前者要求只保留模型...

栏目：AI大模型时间：09-27 Token浪费 System Prompt优化上下文压缩

PyTorch测试时为什么要调用model.eval？常见问题与注意事项一并说明

如果只把 model.eval() 当成一个可有可无的开关，推理阶段很可能被 BatchNorm 和 Dropout 的隐性差异干扰。训练好的模型在测试时不再更新参数，但部分层仍会根据 training 标志切换计算路径：BatchNorm 在训练态使用当前批次统计量，评估态使用全局统计量；Dropout 在训练态随机失...

栏目：AI大模型时间：09-27 PyTorch model.eval 批归一化 Dropout