StruQ与SecAlign：基于微调的高效提示注入防御机制
结构化查询 (StruQ) 与偏好优化 (SecAlign)：应对提示注入攻击的强力防御机制 Sizhe Chen, Julien Piet, Chawin Sitawarin, David Wagner, Arman Zharmagambetov, Saeed Mahloujifar, Ka...
构建生成式AI应用的十大常见陷阱
警惕！构建生成式AI应用时最容易踩的10大“坑” 2025年1月16日 • Chip Huyen 由于我们仍在基础模型（foundation models）应用构建的早期阶段，犯错是完全正常的。这是一篇简短的笔记，分享了一些我从公开案例研究和个人经验中观察到的最常见的陷阱。
Apple PICO：面向人类视觉系统的实用学习型图像编解码器
Apple发布PICO感知图像编解码器，相比AV1节省2.3-3倍码率，在iPhone上仅需230ms编码150ms解码。
约束衰减：LLM Agent在后端代码生成中的脆弱性剖析
最新arXiv研究发现：随着结构性约束增加，LLM Agent代码生成性能平均下降30个百分点，数据层缺陷占总失败的45%。
AI芯片成本结构深度解析：HBM驱动的支出激增与组件占比重塑
Epoch AI最新分析显示AI芯片中内存(HBM)成本占比已从52%攀升至63%，总组件支出从220亿激增至520亿美元。本文深度解读这一趋势背后的技术经济学。
AI Agent 全面解析：工具、规划与失败模式
智能体（Agent）被许多人视为 AI 的终极目标。本文从 Chip Huyen 的经典著作《AI Engineering》中摘录改编，全面解析 AI 智能体的核心概念。文章从智能体的定义出发，深入探讨决定智能体能力的两个关键方面：工具（Tools）与规划（Planning），并通过 SWE-agent 和 RAG 系统等实例说明智能体的工作原理与失败模式。
Mamba 深度解读：用状态空间模型挑战 Transformer 霸主地位
Mamba 是一种挑战 Transformer 的新型状态空间模型（SSM），首次在百万级 token 长序列上实现了与 Transformer 相当的性能，同时解决了注意力机制的二次复杂度瓶颈。本文用直观的比喻和数学推导，深入浅出地讲解了 Mamba 的核心原理、选择机制及其对 AI 未来的意义。
自适应并行推理（APR）：高效推理扩展的下一个范式
BAIR 博客深度综述：自适应并行推理（APR）通过让语言模型自行决定何时并行化、产生多少线程以及如何协调，将并行化从外部强加变为模型的生成控制流。文章系统梳理了从简单分支合并、启发式搜索到 ParaThinker、GroupThink、Hogwild! 等方法的演进，深入比较了 Multiverse（引擎级 KV 缓存复用）与 ThreadWeaver（客户端编排）两种推理系统路线，并讨论了并行化奖励设计的关键问题——仅结构奖励易被钻空子，效率奖励需追踪关键路径，并行效率应以保证正确性为前提。
CODA：将 Transformer 模块重新表达为 GEMM+Epilogue 程序
CODA 提出一种 GPU kernel 抽象，将 Transformer 训练中的内存密集型算子（LayerNorm、激活函数、残差等）表达为 GEMM+Epilogue 程序，通过编译时融合消除全局内存往返，最高 2.8 倍加速。
多流LLM：用并行思维流、输入流和输出流释放语言模型潜能
多流LLM引入并行的token流处理多条思维线，在安全性和效率上带来突破——K=4流实现3.2倍加速，94%提示注入抵御率。