个人技术学习成长史

个人技术学习与成长档案

聚焦前端、后端与系统工程的长期学习记录,沉淀可复用的技术路径与实践总结。

个人学习概览 数据化记录

大模型研究时长 1,800+ 小时 理论与实践并重
  • 模型架构深度研究
  • 工程应用落地实践
  • 论文复现与源码分析
大模型项目复现 15+ 个 覆盖模型训练与应用
  • 从零开始构建与优化
  • 多场景落地实践
  • 性能调优与部署经验
RAG系统构建 8+ 套 多领域知识检索系统
  • 垂直领域知识图谱
  • 多模态检索技术
  • 智能问答系统设计
技术文章输出 120+ 篇 大模型领域深度解析
  • 原理剖析与代码解读
  • 实践案例与避坑指南
  • 前沿技术追踪与趋势分析
多智能体系统 5+ 套 协作与决策机制探索
  • 角色设计与能力边界
  • 对话协议与工作流
  • 系统集成与扩展能力

成长时间线 持续更新

2019 - 2020 · 编程启蒙与基础夯实

系统学习 HTML/CSS/JavaScript,建立结构化思维与代码规范意识。

2021 · 前端工程化与组件化

掌握模块化开发,实践工程构建与组件拆分,形成可维护的开发流程。

2022 · 后端与数据库实践

深入学习服务端基础、接口设计与数据库建模,构建完整的应用闭环。

2023 · 机器学习与深度学习入门

系统学习机器学习理论基础,掌握深度学习框架,理解神经网络基本原理。

2024 · 大模型启蒙与原理探索

深入研究Transformer架构,理解自注意力机制,开始复现简化版大模型,建立对大模型的系统性认识。

2025 · 大模型应用实践

构建多个RAG系统,实践模型微调技术,探索多智能体协作框架,形成完整的大模型应用开发能力。

2026 · 大模型技术深耕

聚焦模型效率优化、多模态融合与智能体协作机制,推动技术边界探索与落地应用。

大模型学习故事 研究生阶段

大模型启蒙:从理论到实践

研一开始接触大模型领域,先从Transformer架构学起,逐步理解自注意力机制、位置编码等核心概念。通过阅读原始论文和实现简化版模型,建立了对大模型基础原理的深入理解。

模型复现之路:从概念到代码

选择了几款代表性的开源大模型项目进行复现学习,包括LLaMA、ChatGLM和Baichuan等。复现过程中不仅关注模型结构,更深入研究训练数据处理、微调策略和量化技术,逐步形成了自己的复现方法论。

RAG系统的探索与实践

针对大模型知识更新滞后和幻觉问题,深入研究检索增强生成(RAG)技术。从基础的向量检索开始,到实现多级检索、重排序和上下文压缩,构建了多个领域的智能问答系统,积累了丰富的实战经验。

多智能体系统的构建

在研究AutoGen和MetaGPT等框架基础上,尝试构建自己的多智能体协作系统。设计了不同角色的智能体,实现了任务分解、结果协商和流程整合等核心功能,成功应用于代码审查和文档生成等场景。

从功能到生产:工程化挑战

大模型项目的落地过程中遇到了诸多工程挑战:模型推理性能优化、资源管理与调度、API服务化设计等。通过实践逐步建立了完整的大模型应用开发流程,包括模型选型、部署架构和监控体系,实现了从原型到生产的平滑过渡。

大模型应用技术雷达

以下是大模型应用开发中的核心技术能力评估,涵盖从模型微调到应用部署的全链路技术栈。

模型微调与优化 85%
RAG系统构建 88%
多智能体协作 75%
提示工程优化 92%
模型推理服务 80%
向量数据库 78%
多模态应用 70%
LLM应用评估 82%
大模型安全对齐 68%

技术能力分类

模型核心能力

  • 模型微调与适配
  • 提示工程优化
  • 上下文管理
  • 输出质量控制

系统架构能力

  • RAG系统设计
  • 多智能体框架
  • 模型推理服务
  • 向量数据库集成

应用开发能力

  • 多模态处理
  • 应用框架集成
  • 用户交互设计
  • 性能优化

质量保障能力

  • 效果评估体系
  • 安全与对齐
  • 持续监控
  • 反馈收集机制

技术栈与能力版图

大模型框架

主流大模型开发框架、微调库与工具链的深度应用。

  • Transformers、DeepSpeed与PEFT
  • LangChain与LlamaIndex应用开发
  • 模型量化与推理优化技术
  • 分布式训练与资源调度

RAG与知识系统

向量数据库、嵌入模型与检索增强生成系统构建。

  • 向量数据库:Chroma、Qdrant、Weaviate
  • 嵌入模型选择与优化
  • 检索策略与重排序算法
  • 知识图谱构建与应用

多智能体系统

智能体设计、协作模式与工作流编排技术。

  • AutoGen、MetaGPT框架应用
  • 角色设计与对话策略
  • 任务分解与结果整合
  • 工具调用与外部接口集成

模型服务化

大模型API设计、推理优化与高并发服务架构。

  • vLLM、TensorRT-LLM推理优化
  • 基于FastAPI的高性能API设计
  • 容器化与Kubernetes部署
  • 请求批处理与资源调度

前端工程

布局、交互、组件化、性能优化、响应式设计与可访问性。

  • 组件规范与设计系统
  • 动效与交互细节
  • 性能基线与监控

系统与运维

Linux 管理、Nginx 配置、证书部署与日志排查。

  • 部署脚本化
  • 日志与指标分析
  • 故障快速回滚

大模型项目实践记录

智能文档问答系统

基于RAG技术构建的企业文档智能检索与问答系统,支持多格式文档解析与语义检索。

核心价值 知识资产高效转化,信息孤岛打破
解决的问题 文档检索效率低,专业知识传承难
关键指标 准确率85%,响应2.5秒,满意度78%
  • 使用LlamaIndex构建文档索引与分块策略
  • 集成embedding模型实现语义检索
  • 多轮对话上下文保持与答案生成
  • 基于Streamlit构建交互式前端界面
  • 支持PDF、Word、Markdown等多种文档格式

多智能体协作平台

基于AutoGen框架构建的多智能体协作平台,实现复杂任务的分解与协同处理。

核心价值 复杂任务专业分工,协作效率提升
解决的问题 单一模型局限,多步骤推理能力不足
关键指标 完成率92%,时间减少55%,质量4.6/5
  • 设计不同角色智能体(分析、编程、审查)
  • 实现智能体间对话与协作机制
  • 构建任务分解与结果整合流程
  • 集成外部工具与API调用能力
  • 实现工作流可视化与监控界面

大模型推理服务化

将开源大模型封装为高可用API服务,实现模型推理的标准化与可扩展。

核心价值 AI能力标准化,成本可控私有化
解决的问题 第三方API成本高,数据隐私风险
关键指标 延迟0.7秒,吞吐180/s,成本降75%
  • 使用vLLM优化模型推理性能
  • 构建基于FastAPI的标准化API服务
  • 实现请求批处理与资源动态调度
  • 集成缓存机制降低重复计算
  • 部署到Kubernetes实现弹性扩缩容

知识图谱构建与问答

结合大模型与知识图谱技术,构建领域知识抽取、存储与应用的完整链路。

核心价值 结构化知识管理,推理能力增强
解决的问题 知识分散不关联,推理链条缺失
关键指标 知识关联率90%,复杂推理准确率82%
  • 设计实体识别与关系抽取模型
  • 构建基于Neo4j的知识图谱存储
  • 实现自然语言到图谱查询的转换
  • 集成大模型实现复杂推理与回答
  • 开发可视化探索与编辑界面

大模型评估与对齐

构建大模型能力评估工具集,实现模型性能量化与行为对齐优化。

核心价值 模型效果可量化,行为可控可调
解决的问题 模型效果难评估,输出不可控
关键指标 评估效率提升70%,对齐度提高65%
  • 设计多维度评估指标体系
  • 构建自动化评估流程与基准数据集
  • 实现基于人类反馈的强化学习(RLHF)
  • 开发可视化对比分析工具
  • 构建持续监控与反馈收集系统

大模型项目复现清单 长期更新

大语言模型应用层项目

基于开源大模型构建的实用应用,涵盖对话系统、知识库与智能助手。

核心价值 模型能力封装,应用开发加速
解决的问题 大模型接入复杂,应用开发门槛高
关键指标 开发效率提升70%,代码量减少60%
  • Semantic Kernel:多模态AI编排框架,支持多模态处理与插件扩展
  • LangChain:大模型应用开发框架,提供组件化开发工具链
  • AutoGen:多智能体对话系统,实现复杂任务协作解决
  • LobeChat:现代AI聊天应用框架,支持多模型与插件生态

RAG与知识检索系统

构建检索增强生成(RAG)系统,实现高效知识检索与问答。

核心价值 知识高效检索,答案精准生成
解决的问题 知识更新滞后,幻觉现象严重
关键指标 准确率提升40%,幻觉降低65%
  • Chroma:开源嵌入式数据库,提供轻量级向量存储与检索
  • LlamaIndex:数据框架与索引系统,支持复杂文档处理与检索
  • Weaviate:向量搜索引擎,支持多模态数据与混合搜索
  • Qdrant:高性能向量相似性搜索引擎,支持过滤与负载均衡

大模型训练与微调项目

分布式训练、参数高效微调(PEFT)与模型压缩技术。

核心价值 模型快速适配,资源高效利用
解决的问题 全参数微调成本高,算力需求大
关键指标 计算资源节省80%,微调时间减少70%
  • PEFT:参数高效微调库,支持LoRA、QLoRA等微调方法
  • DeepSpeed:分布式训练框架,支持ZeRO优化与混合精度训练
  • Transformers:预训练模型库,提供丰富的模型与工具链
  • BitsAndBytes:8位优化器与量化,大幅减少内存占用

多模态AI应用项目

文本、图像、音频的多模态融合与应用开发。

核心价值 多模态理解,交互体验升级
解决的问题 单一模态局限,交互方式单一
关键指标 理解准确率提升50%,用户满意度提高45%
  • Visual ChatGPT:视觉对话系统,支持图像理解与生成
  • InstructLab:模型对齐与优化,支持多模态指令微调
  • ComfyUI:模块化图像生成流程,可视化工作流设计
  • Stable Diffusion:开源图像生成模型,支持高质量图像生成

大模型学习笔记与方法论

精选学习资源

大模型领域高质量学习资源与工具推荐,持续更新。

核心论文与综述

实用框架与工具

数据集与基准测试

教程与博客

社区与讨论

个人实验记录

大模型相关实验的关键发现与经验总结。

模型微调实验

  • QLoRA vs 全参数微调:在特定任务上,QLoRA可以达到全参数微调95%的效果,但训练时间减少70%
  • 多任务微调策略:使用梯度累积与任务交替训练,比单任务微调提升10%泛化能力
  • 数据清洗对微调效果的影响:高质量数据比大规模数据更重要,10万高质量数据优于100万普通数据

RAG系统优化

  • 检索策略对比:混合检索(关键词+语义)比单一语义检索准确率提升15%
  • 上下文压缩:使用LLM提取关键信息,减少50%token使用同时保持90%准确率
  • 重排序模型:轻量级交叉编码器重排序比单纯基于相似度排序提升20%相关性

推理性能优化

  • 量化技术对比:4-bit量化相比16-bit推理速度提升2.5倍,精度损失仅3-5%
  • 批处理策略:动态批处理相比静态批处理GPU利用率提升30%,延迟降低20%
  • KV缓存优化:KV缓存压缩技术减少70%内存占用,吞吐量提升1.8倍

当前关注

大模型效率优化

研究模型推理加速、资源高效利用与量化压缩技术。

  • 注意力机制优化与稀疏化
  • 模型量化与蒸馏技术
  • 动态批处理与请求调度
  • 硬件加速与并行计算

多模态融合技术

探索文本、图像、音频等多模态数据的融合与理解。

  • 跨模态表示学习
  • 多模态指令微调
  • 模态对齐与注意力机制
  • 统一多模态架构设计

智能体协作机制

研究多智能体系统中的协作、竞争与决策机制。

  • 智能体角色设计与专业化
  • 对话协商与共识形成
  • 任务分解与工作流编排
  • 动态团队组建与演化

系统稳定性

强化运行监控与告警机制,确保服务可靠性。

  • 链路追踪
  • 异常自动化提醒
  • 容量评估

大模型交互演示 可视化展示

注意力机制可视化

点击下方按钮,查看Transformer模型中的自注意力机制如何在处理序列数据时分配权重。

// 注意力计算核心代码
function attention(query, key, value) {
    const scores = tf.matMul(query, key.transpose());
    const weights = tf.softmax(scores, -1);
    return tf.matMul(weights, value);
}

RAG系统交互

体验检索增强生成(RAG)系统如何结合向量检索与语言模型生成准确回答。

多智能体协作

模拟多个智能体如何协作解决复杂问题,包括任务分解、信息交换与结果整合。

等待启动多智能体演示...

大模型项目复盘 深度剖析

智能文档问答系统复盘

基于RAG技术构建的企业级文档智能检索与问答系统完整复盘。

项目作用与价值

  • 核心价值:解决企业知识管理中的信息孤岛问题,将分散文档转化为可即时问答的知识资产
  • 解决的问题:传统关键词检索不精准、重复性工作量大、新员工上手慢、专业知识传承困难
  • 带来的收益:员工知识获取效率提升60%,减少50%的重复咨询,知识共享率提升80%

技术实现与架构

  • 基于RAG架构,采用LlamaIndex构建文档处理与检索流水线
  • 文档解析层支持PDF/Word/Markdown等多格式,智能识别章节与标题结构
  • 使用text-embedding-ada-002进行向量化,采用混合检索策略(语义+关键词)
  • 答案生成采用重排序机制,结合检索相关性置信度与提示工程优化
  • 前端基于Streamlit构建,支持文档上传、实时问答与反馈收集

关键技术与突破

  • 自适应分块:根据文档结构动态调整分块大小与重叠度,提高检索精度20%
  • 上下文压缩:设计上下文摘要算法,减少40%的token使用同时保持95%准确率
  • 多源融合:集成内部知识库、外部API与实时数据,实现全面信息检索
  • 安全机制:实现基于角色的访问控制与敏感信息过滤,保障数据安全

量化指标与成果

准确率
85%
↑35%
响应时间
2.5秒
↓69%
用户满意度
78%
↑38%
知识利用率
80%
↑60%

个人收获与成长

  • 深入理解RAG系统的端到端实现,掌握了文档处理、向量化、检索与生成的全流程技术
  • 培养了系统性能优化的能力,学会了如何从用户反馈中发现问题并针对性改进
  • 积累了企业级应用的设计经验,理解了安全、性能与用户体验的平衡点
  • 形成了知识图谱化思维,能够将复杂技术转化为可复用的方法论与最佳实践

项目资源与链接

多智能体协作平台复盘

基于AutoGen框架构建的多智能体协作平台完整开发过程与经验总结。

项目作用与价值

  • 核心价值:将复杂任务分解为专业化角色协作,模拟人类团队工作流程,提高问题解决效率
  • 解决的问题:单一AI模型面对复杂多领域任务时的局限性、专业领域知识不足、无法进行多步骤复杂推理
  • 带来的收益:任务完成质量提升45%,问题解决时间减少35%,复杂任务处理能力提升80%

技术实现与架构

  • 基于AutoGen框架,设计三层架构:核心引擎层、智能体管理层、工作流编排层
  • 智能体模板系统支持8种标准角色:规划者、研究员、开发者、审查者、测试员、分析师、文档员、整合员
  • 工作流引擎支持顺序、并行、条件分支、循环等多种协作模式,可视化配置复杂流程
  • 消息传递系统采用结构化协议,包含消息类型、优先级、上下文引用与置信度
  • 工具集成框架支持函数调用、API访问、数据库查询等外部能力扩展

关键技术与突破

  • 动态角色分配:基于任务特征与智能体能力匹配,实现智能角色动态分配与调整
  • 上下文共享机制:设计分层上下文管理系统,实现全局上下文与私有上下文的隔离与共享
  • 冲突解决算法:实现基于置信度的投票机制与贝叶斯推理,有效解决智能体间意见冲突
  • 性能优化:采用消息批处理与并行执行,系统吞吐量提升3倍,资源利用率提高65%

量化指标与成果

任务完成率
92%
↑28%
完成时间
45%
↓55%
质量评分
4.6/5
↑32%
复杂任务处理
85%
↑60%

个人收获与成长

  • 深入理解了多智能体系统的协作机制,掌握了角色设计、工作流编排与冲突解决的核心技术
  • 培养了系统架构设计能力,学会了如何构建可扩展、可插拔的平台化解决方案
  • 积累了复杂系统调试经验,掌握了分布式系统中的问题定位与性能优化方法
  • 形成了团队协作的系统化思维,能够将人类工作流程抽象为可执行的智能体协作模式

项目资源与链接

大模型推理服务化复盘

将开源大模型封装为高可用API服务的完整实践经验与性能优化策略。

项目作用与价值

  • 核心价值:将开源大模型转化为企业级API服务,降低AI应用开发门槛,提供高性能、低成本的AI能力
  • 解决的问题:第三方API成本高、数据隐私风险、服务不稳定、定制化能力有限、无法满足特定场景需求
  • 带来的收益:AI应用开发成本降低75%,响应速度提升2.5倍,数据安全可控,定制化能力提升100%

技术实现与架构

  • 基于vLLM引擎优化推理性能,利用PagedAttention、连续批处理与CUDA核函数优化技术
  • 分层架构设计:API网关层、请求调度层、模型推理层、资源管理层,实现关注点分离
  • 动态资源池管理,支持多模型共享GPU资源,根据请求负载动态调整模型实例数量
  • 基于FastAPI构建高性能API服务,支持同步/异步调用、流式输出与WebSocket实时通信
  • 全面监控系统覆盖请求全链路,包括请求队列状态、推理性能指标、GPU资源利用率与错误率

关键技术与突破

  • 混合精度推理:实现FP16/INT8混合精度计算,平衡推理精度与性能,吞吐量提升2.8倍
  • 智能请求调度:设计基于请求特征与负载的智能调度算法,优先级高的请求延迟降低60%
  • KV缓存优化:实现分层KV缓存管理,内存占用减少45%,同时支持更长上下文
  • 自动扩缩容:基于请求模式预测,实现秒级模型实例扩缩容,资源利用率提升85%

量化指标与成果

推理延迟
0.7秒
↓61%
吞吐量
180 req/s
↑300%
GPU利用率
92%
↑42%
成本降低
75%
↓75%

个人收获与成长

  • 掌握了深度学习模型的推理优化技术,包括量化、并行计算与内存管理等关键技能
  • 培养了高性能服务架构设计能力,理解了如何平衡性能、成本与可维护性
  • 积累了系统级性能调优经验,掌握了从CPU到GPU、从算法到系统的全方位优化方法
  • 形成了技术工程化思维,能够将前沿算法转化为可生产部署的稳定服务

项目资源与链接

联系

如果你对技术成长路径、工程实践或部署经验感兴趣,欢迎交流。

邮箱:1963087187@qq.com

发送邮件