AI运维新技术完整清单（LLM大模型运维 + AIOps）
AI运维分两条路线，需要新增学习大量传统运维完全接触不到的技术，我分算力集群/大模型运维（当前招聘主流）、AIOps智能运维、配套云原生增强技术、自动化与数据栈四大块讲清楚，区分必须学、进阶选学。
1. GPU/大模型算力运维（最核心新增技术，传统运维零基础）
1.1. GPU 硬件与驱动栈（必备）
- NVIDIA 全栈环境：驱动、CUDA、cuDNN、NCCL（多机多卡通信核心，训练必用）、TensorRT
- NVIDIA Container Toolkit：让容器能透传GPU，
nvidia-docker - DCGM（Data Center GPU Manager）：GPU硬件监控、故障诊断、XID报错定位
- 硬件通信：NVLink、InfiniBand高速网卡、RDMA，解决多机训练慢、NCCL报错
- 显存优化基础概念：PagedAttention、FlashAttention、KV Cache、量化（INT4/INT8/FP8）、动态Batch、TP/PP模型并行
1.2. K8s GPU 调度整套新技术（必考）
传统K8s只管CPU内存，AI场景全部新增：
- Device Plugin 体系
- nvidia-device-plugin：K8s识别、分配GPU基础组件
- HAMi、Koordinator Device Plugin：GPU显存/算力切分、多Pod共享单卡
- DRA（Dynamic Resource Allocation）：1.34+新版K8s动态异构资源调度
- 专用AI调度器（前面讲过）
- Volcano：Gang协同调度，分布式训练必备
- Koordinator：在线推理+离线训练混部调度、负载感知、GPU超分
- Scheduler Framework Coscheduling插件：轻量Gang调度，多Profile配置
- AI专属K8s资源对象
- Job/CronJob：单机训练任务
- PyTorchJob/TensorFlowJob/MPIJob：Kubeflow分布式训练CRD
- StatefulSet：长驻推理服务（稳定网络标识、本地缓存）
- HorizontalPodAutoscaler 增强：基于GPU显存、QPS、推理延迟弹性扩缩容
1.3. 大模型推理/训练服务框架（生产必学）
1.3.1. 推理服务（线上对话、API服务）
- vLLM：PagedAttention，吞吐最优，互联网标配
- TensorRT-LLM：英伟达极致低延迟推理
- TGI（Text Generation Inference）：HuggingFace官方稳定服务
- Triton Inference Server：多模型统一推理网关，多框架兼容
1.3.2. 训练框架运维
PyTorch、TensorFlow、DeepSpeed、Megatron-LM 分布式训练环境排障、多机通信调优
1.4. AI存储加速（全新技术）
普通NFS性能不足以支撑大模型百GB权重读取：
- Fluid：云原生数据缓存加速，对象存储/OSS本地缓存
- Alluxio、JuiceFS：分布式高速存储，训练数据集分层缓存
- 模型版本管理：MLflow、Model Registry、模型权重冷热分层存储
2. AIOps 智能运维（用AI管传统集群，第二条技术线）
传统运维只会规则告警，AIOps需要新增算法、时序、LLM运维能力：
2.1. 时序智能异常检测技术
- 时序算法：Prophet、Isolation Forest、VAE、时序Transformer
- 工具：Prometheus + Prometheus-Adapter 时序预测、Datadog智能基线
- 能力：自动基线、突增突降检测、周期业务识别，消除大量人工告警规则
2.2. LLM 运维落地技术（2026主流）
- 运维大模型网关：对接内部LLM做日志解析、报错自动翻译、故障根因问答
- 日志语义聚类：用Embedding向量聚合海量日志，收敛重复告警
- 故障根因推理：知识图谱+GNN图神经网络，梳理服务依赖定位故障
- LLM自动执行Runbook：自然语言生成kubectl/ansible自动化修复脚本
2.3. 可观测增强栈（AI原生监控）
- OpenTelemetry 全链路统一采集（Metrics/Logs/Traces三栖采集）
- Loki/Promtail 日志向量化存储，支持语义检索
- 知识图谱构建CMDB：自动采集服务、中间件、GPU节点依赖关系
3. 云原生高阶增强（传统K8s基础上新增AI专属能力）
你之前学过K8s基础/调度/安全上下文，AI场景还要补充：
- 多调度Profile配置、Permit扩展点、Gang调度完整落地
- 异构资源QoS：GPU专属资源限制、显存隔离、在线离线任务资源隔离
- 节点污点/亲和分层：GPU专属节点池、训练/推理节点隔离
- 容器安全针对GPU：nvidia-container安全策略、模型文件权限管控
- 混部资源抢占、优先级队列、Pod抢占机制（Volcano/Koordinator）
- 镜像分层构建：大模型轻量化镜像、CUDA基础镜像标准化、镜像缓存加速
4. 自动化、数据与开发栈（必须新增编程能力）
传统运维shell够用，AI运维必须强化Python+数据工程：
- Python 深度使用
- Pandas/Numpy：GPU利用率、成本数据分析
- FastAPI：封装推理监控、运维内部API
- SDK：Kubernetes Client、DCGM SDK、LLM调用SDK
- 数据管道技术
- Airflow：训练流水线、数据预处理定时任务
- 时序数据库：InfluxDB、VictoriaMetrics 海量GPU指标存储
- IaC 基础设施即代码进阶
- Terraform管理GPU裸金属/云算力节点
- Helm Charts 标准化推理、训练集群一键部署
- 成本观测新技术
- Kubecost：按模型/业务线拆分GPU算力成本、闲置资源优化
- 算力账单归因、弹性缩容降本策略
5. 安全与合规新技术（AI独有）
- 大模型内容安全：推理前置内容审核模型部署运维
- 模型资产安全：权重加密存储、模型访问RBAC、OPA策略管控模型服务调用
- 数据隐私：训练数据脱敏、推理流量TLS加密、多租户GPU资源隔离
- 国产算力适配：昇腾NPU、寒武纪驱动与容器化调度（政企刚需）
6. 分阶段学习路线（分清刚需/进阶）
6.1. 【入门刚需，找工作必备】
- GPU驱动、CUDA、DCGM监控、nvidia-docker
- K8s GPU Device Plugin、Volcano基础调度、Gang调度原理
- vLLM推理部署、基础监控指标（GPU利用率/显存/OOM/NCCL）
- Python基础+Prometheus+DCGM-Exporter搭建GPU监控面板
- Fluid缓存、MLflow模型版本管理
6.2. 【中阶生产必备】
- Koordinator混部、GPU显存切分、在线离线算力隔离
- 分布式训练多机排障、NCCL/RDMA网络调优
- Triton推理网关、模型量化、KV Cache性能调优
- AIOps时序异常检测、日志语义聚类
- Helm+Terraform自动化算力集群交付
6.3. 【高阶架构/专家】
- Scheduling Framework自定义插件、多调度Profile深度定制
- 基于LLM的智能运维平台搭建、故障根因知识图谱
- 大规模GPU集群容量规划、算力成本优化体系
- 国产化NPU调度、全链路AI安全合规体系
7. 传统运维 vs AI运维新增技术差异总结
- 传统运维：Linux、网络、中间件、普通K8s、监控告警、shell
- AI运维新增全套新技术：
- GPU硬件驱动通信栈
- 异构GPU调度（DevicePlugin、Volcano、Koordinator、Gang调度）
- 大模型推理/训练服务框架(vLLM/TensorRT-LLM)
- 分布式训练通信NCCL、TP/PP并行运维
- 时序AI算法、LLM智能运维、知识图谱根因分析
- 算力加速存储Fluid、模型版本管理MLflow
- Python数据处理、算力成本观测Kubecost
关联文档
- CPU 与 GPU 完整深度详解 — CPU/GPU 架构
- GPU 驱动完整介绍 — GPU 驱动栈
- NVIDIA 全栈环境完整详解 — NVIDIA 全栈
- kube-scheduler 完整工作原理 — 调度框架