顶部动画
技术深挖与笔面试精粹大盘
与其堆砌流于表面的业务 Demo，我选择将精力投入到对 大模型底层原理 与 工程边界 的死磕中。 以下是我对大模型全栈技术核心论文、经典代码块及前沿开源项目的核心提炼，致力于打通从数理推导到生产级落地的每一处黑盒。
01. 大模型/Transformer/Attention 工程实战精粹
聚焦于大型语言模型工程落地的核心代码实现。杜绝纸上谈兵，从零手工实现核心组件，攻克工程化过程中的并发与显存优化难点。
重点攻坚与常考点剖析
- ·手工复现标准 Multi-Head Attention 与 Grouped-Query Attention (GQA) 的矩阵运算流
- ·深挖推理加速期 KV Cache 的底层存储机制，分析其对显存吞吐与 Batch Size 的空间复杂度绑定
- ·总结不同量化精度（FP16, INT8, INT4）在工程层面的权重裁剪与精度对齐技巧
Python/PyTorchManual Self-AttentionKV Cache ImplementationCUDA Memory Basics
02. 大模型/Transformer 算法原理与数学推导
立足于严谨的数学视角与算法底座，对大模型主流论文中的核心机制进行深度的数学公式推导与大厂常考笔面试题全景起底。
重点攻坚与常考点剖析
- ·极限拆解旋转位置编码（RoPE）的复数空间旋转矩阵推导，阐述其外推性的几何本质
- ·对比 Post-LN 与 Pre-LN 在深层网络中的梯度流传播差异，以及 RMSNorm 的计算提效原理
- ·沉淀大厂高频算法面试题：长文本注意力机制衰减、Softmax 溢出防止、交叉熵损失反向传播
Mathematical ProofsRoPE DerivationLayerNorm vs RMSNormGradient Dynamics
03. Agent/RAG/LangChain 生产级工程落地方案
总结将通用大模型包装为特定业务专家的工程链路。重点攻克垂直领域专有知识库在检索阶段的幻觉指标优化问题。
重点攻坚与常考点剖析
- ·归纳长文本专利/法律场景的混合检索优化（Dense + Sparse Embedding），复现双路召回的流转架构
- ·基于 LangGraph 沉淀生产级多智能体状态机协同（Router, Evaluator模式）的工程设计模式
- ·剖析 RAG 面试高频区：如何解决检索中的“中间信息迷失（Lost in the Middle）”以及 Prompt 溢出控制
LangChain/LangGraphVector DB (Milvus/Pinecone)RerankingEvaluation Frameworks
04. Agent/MCP/RAG 计算机基础与底层协议原理
从计算机系统架构与网络协议的底层视角，解构大模型与外部环境交互的通讯管道，掌握 AI 时代的‘网关级协议’。
重点攻坚与常考点剖析
- ·深度剖析 Anthropic 主导的 Model Context Protocol (MCP) 原理，还原大模型调用外部 Tools 时的 Schema 握手流程
- ·拆解基于 Server-Sent Events (SSE) 的全双工/单向流式传输控制，解释打字机流式输出的 HTTP 底层基建
- ·探究长上下文窗口管理：总结极值文本输入下，系统级截断、滚动滑窗与上下文压缩的计算机边界理论
Model Context ProtocolSSE (Server-Sent Events)JSON-RPC 2.0Context Window Control
05. 开源 Agent 框架（Hermes/OpenClaw）架构剖析
通过对行业前沿开源智能体运行核（Agent Core）进行代码走查与架构拆解，吸纳顶尖极客的工程抽象思维与并发控制设计。
重点攻坚与常考点剖析
- ·解构前沿开源智能体框架的任务调度引擎，理清异步事件循环（Async Event Loop）与多并发请求的隔离阻断机制
- ·剖析 Agent 记忆体（Short-term / Long-term Memory）的持久化中间件设计与动态上下文裁剪算法
- ·归纳大模型报错、网络超时、API 风控等异常状态下，开源框架内部封装的指数退避重试（Exponential Backoff）容灾方案
Source Code ReviewAsynchronous Event LoopState PersistRuntime Isolation