AIOps
核心概念 AIOps（智能运维）通过机器学习和数据分析自动化运维任务，提升系统可靠性和效率。
1. 总框架
- 打底：原有传统运维、云原生、可观测基础（AIOps的数据底座，不会监控就没有AI）
- 算法与AI基础：不用深度学习专家，但要懂时序、异常检测、LLM基础原理
- AIOps核心工程能力：观测数据链路、告警治理、根因分析、自动化自愈
- 落地实战：商用平台、开源自建栈、大模型运维ChatOps、业务落地经验
一、阶段1：夯实底层运维&可观测底座（AIOps所有AI算法的数据源，重中之重）
AIOps本质是对运维数据做智能分析，看不懂指标、日志、链路、CMDB，AI无从谈起。
2. 传统运维基础（必备）
- Linux底层：/proc、软硬中断、内存IO、进程、磁盘瓶颈排查
- 中间件全栈：MySQL主从/MHA、Redis、Kafka、Nginx，能看懂慢查询、队列堆积、连接溢出指标
- 传统监控：Zabbix、告警规则、阈值弊端（人工阈值为什么需要AIOps动态基线）
- 日志体系：ELK/EFK、日志字段提取、结构化日志、日志过滤、错误栈识别
3. 云原生&容器（现代业务核心观测对象）
- K8s完整架构：Pod/Deployment/StatefulSet、资源限制、OOM、调度失败、PV/PVC、RBAC
- K8s观测数据源：cadvisor、kube-state-metrics、容器日志、事件Event
- 服务网格Istio/Linkerd：调用链路、限流熔断、网格指标
- eBPF无侵入采集：不用埋点抓取网络、进程、系统指标，新一代AIOps采集核心
4. 可观测三位一体（Metrics/Log/Trace，AIOps三大输入源）
4.1. （1）指标体系 Metrics（时序数据，AI异常检测主力）
- Prometheus完整体系：exporter、标签label、rate/irate、聚合、记录规则
- 存储：Prometheus本地、Thanos、M3、VictoriaMetrics（海量时序存储选型）
- Grafana：大盘、告警规则、内置ML插件、时序可视化分析
- 指标分类：
- 基础设施：CPU/内存/磁盘/网络软硬中断
- 应用业务：QPS、延迟P95/P99、错误率、并发
- 数据库：慢SQL、连接数、锁、事务提交量
- 中间件：消息堆积、缓存命中率、连接池
4.2. （2）日志 Log
- Loki轻量化日志（替代ES，云原生AIOps主流）、Elasticsearch
- 日志结构化、正则提取字段、日志分级（INFO/WARN/ERROR）
- 日志聚类算法基础：相同报错自动合并（AIOps降噪核心能力）
4.3. （3）链路追踪 Trace
- OpenTelemetry标准埋点，Jaeger、SkyWalking、ARMS链路
- 全链路拓扑、上下游依赖、慢链路识别、RPC/HTTP/DB耗时拆分
- 拓扑自动发现（AIOps根因分析依赖服务依赖图）
5. CMDB与运维元数据（AI关联分析必备）
- CMDB资产录入：服务器、容器、数据库、业务集群、机房、应用分组
- 变更记录管理：发布、扩容、配置修改（AIOps变更影响分析）
- 标签体系：业务线、环境、模块，用于AI分层分析
二、阶段2：AI与算法基础（运维不用深挖深度学习，侧重运维场景轻量化算法）
不用学CV、NLP大模型炼丹，只学运维场景刚需算法，够用即可。
6. 时序数据算法（AIOps最高频：指标异常检测、容量预测）
6.1. 1）基础概念
- 时序特征：趋势、周期、毛刺、平稳/非平稳时序、季节性波动（电商早晚高峰）
- 基线分类：静态阈值（传统）、动态基线（AIOps核心）
6.2. 2）主流无监督异常检测算法（工业落地主流，无需标注故障样本）
- 3σ 标准差、四分位数IQR（简易异常）
- 移动平均MA、指数平滑EWMA
- STL时序分解（拆分趋势+周期+残差，残差突增=异常）
- Isolation Forest孤立森林（多维指标联合异常）
- DBSCAN聚类（指标、日志聚类降噪）
- Prophet（Facebook时序预测，容量预判、水位预警）
6.3. 3）学习目标
- 看懂每种算法适用场景；
- 能看懂Prometheus ML、Grafana ML、Dynatrace底层基线逻辑；
- 区分：周期性业务波动≠故障异常，解决传统告警误报多的痛点。
7. 日志文本算法（日志降噪、报错分类）
- 分词、正则、模板提取（把
err: connect 192.168 xxx统一成固定模板） - 文本聚类：相同报错自动聚合，消除告警风暴
- 简单向量基础：词向量embedding，看懂日志向量化原理（向量数据库简单认知即可）
8. 知识图谱（根因分析RCA核心）
- 图谱三要素：实体、关系、属性
- 运维知识图谱构建：服务、数据库、中间件、主机、变更事件的关联关系
- 根因推理逻辑：故障传播路径（数据库慢→所有接口超时→大量告警）
9. LLM大模型运维应用（现在AIOps必备ChatOps能力）
9.1. 不用学模型训练，重点学大模型运维落地应用
- LLM基础概念：提示词Prompt、上下文窗口、向量检索RAG
- 运维RAG搭建：把运维手册、故障案例、排查文档存入向量库
- LLM典型运维场景：
- 自然语言查询监控指标
- 日志/报错自动解读，给出修复步骤
- 告警摘要、自动生成故障复盘
- 对话式执行运维命令（CloudQ/K8sGPT）
- 开源工具实操：K8sGPT、HolmesGPT、本地私有大模型对接监控栈
10. 基础Python数据分析（必须会，自己做简易AIOps实验）
10.1. 核心库，运维SRE必备
- pandas：时序数据清洗、指标聚合
- matplotlib/seaborn：指标绘图分析
- scikit-learn：孤立森林、DBSCAN简易异常检测Demo
- statsmodels/prophet：时序预测实验
- sentence-transformers：日志文本向量化
10.2. 最低要求：
能拉取Prometheus指标到Python，写一段代码实现简单异常检测，验证算法效果。
三、阶段3：AIOps核心工程能力（落地核心，区分普通运维与AIOps运维）
11. 告警智能治理（AIOps入门级落地场景）
- 传统告警痛点：风暴、重复告警、误报、无分级
- AI降噪手段：
- 时序基线过滤周期性误报
- 日志聚类合并重复报错
- 拓扑关联：衍生告警抑制（根因告警保留，连锁告警屏蔽）
- 告警分级、时效聚合、值班排班自动化
- 工具实践：Grafana OnCall、Alertmanager规则、BigPanda、蓝鲸告警中心
12. 根因分析RCA（AIOps核心价值）
- 数据融合：指标+日志+链路+CMDB变更四源合一分析
- 自动拓扑构建：服务调用依赖、主机部署关系
- 故障传播推理：知识图谱/概率图定位第一层故障源
- 实操：Dynatrace、ARMS、蓝鲸、开源Holmes根因引擎
13. 预测性运维（主动运维，替代事后救火）
- 资源容量预测：磁盘、内存、连接池水位预判
- 故障提前预警：内存泄漏、慢SQL持续恶化、磁盘空间耗尽
- 业务流量预测：大促扩容规划，弹性伸缩提前调度
14. 自动化自愈（AIOps闭环）
完整闭环链路：
AI识别异常 → 判定故障类型 → 执行自动化脚本/API修复 → 验证恢复 → 记录案例入库
- 基础自动化工具：Ansible、Jenkins、K8s API、云厂商OpenAPI
- 自愈场景：Pod重启、扩容、清理磁盘、切换只读库、重启中间件
- 安全管控：自愈操作工单审批、操作日志审计，避免误操作
15. ChatOps对话式运维（LLM+运维自动化）
- 企业微信/钉钉机器人对接监控、大模型
- 自然语言交互：查指标、看日志、重启服务、扩容、导出故障报告
- 权限管控：不同人员可执行操作分级
16. 成本智能治理（云厂商AIOps主流模块）
- 闲置资源识别、规格降配推荐、弹性分时释放
- 存储分层冷热数据优化、带宽流量成本分析
四、阶段4：主流AIOps平台实操落地（分商用/开源两条路线）
17. 路线1：商用平台（企业采购，运维负责使用、配置、调优）
- 海外：Dynatrace、Datadog
学习重点：自动拓扑、Davis AI根因、基线调优、告警降噪配置 - 国内云厂商：阿里云ARMS、腾讯云CloudQ、华为AOM
学习重点：一键接入云资源、LLM故障诊断、多云纳管、SLO配置 - 私有化政企：博睿、嘉为蓝鲸
学习重点：CMDB对接、知识图谱配置、工单审批、信创适配
18. 路线2：开源自建AIOps栈（SRE/中小团队，自主搭建，核心进阶能力）
完整栈搭建实操，从头到尾落地一套轻量化AIOps：
- 采集层：eBPF + OpenTelemetry + 各类exporter
- 存储：VictoriaMetrics时序 + Loki日志 + ClickHouse长存
- 可视化告警：Grafana + OnCall
- AI增强层：
- 时序异常：Grafana ML / Prophet预测脚本
- 日志聚类：Python sklearn实现简易聚合
- LLM诊断：HolmesGPT / K8sGPT对接监控
- 自动化层：Ansible + K8s API实现自愈
- 向量库：Milvus存储故障文档，搭建私有RAG运维知识库
五、配套工程软技能（运维必备，支撑AIOps开发落地）
- Python深度开发
- subprocess/psutil采集系统指标
- Prometheus API、ES/Loki API调用拉取观测数据
- 定时任务脚本、自愈脚本、告警推送机器人
- API与接口
云厂商OpenAPI、K8s REST API、监控平台API，用于数据拉取与自动处置 - 容器与Docker/K8s
AIOps平台、LLM、向量库全部容器化部署，必须熟练 - 数据库基础
MySQL/ClickHouse/Milvus基础使用，看懂存储分层设计 - Git/CI/CD
自动化脚本、算法实验代码版本管理，流水线自动部署自愈工具
六、分阶段学习规划（由浅入深，适合在职运维循序渐进）
19. 阶段1（1~2个月，打底）
巩固可观测三位一体、Prometheus/Grafana/Loki、K8s、eBPF、Python数据分析基础
20. 阶段2（2个月，AI算法入门）
掌握时序异常检测常用算法、Prophet预测、日志聚类，写小型Python异常检测Demo
21. 阶段3（2个月，AIOps核心场景）
告警降噪、根因分析、预测运维、自动化自愈、ChatOps大模型运维RAG实践
22. 阶段4（长期落地实战）
- 商用平台实操：公司现有AIOps平台深度使用，调优基线、降低误报
- 开源自建实验：个人轻量云搭建一套完整开源AIOps栈练手
- 业务落地：推动内部落地1~2个AIOps场景（告警降噪/容量预测/LLM故障诊断）
七、面试&求职核心加分能力（AIOps运维重点）
- 能区分传统人工阈值与AI动态基线的优缺点，说出至少3种时序异常算法适用场景
- 独立搭建过Prometheus+Loki+LLM开源AIOps简易栈
- 掌握RAG运维知识库搭建，能用大模型自动解读日志故障
- 理解根因分析原理，能讲清指标/日志/拓扑/变更四源融合分析思路
- 具备自动化自愈闭环落地经验，完成“异常识别-自动修复-复盘”完整链路
- 熟悉至少一款商用AIOps产品（Dynatrace/ARMS/蓝鲸）的配置与调优
关联文档