你还用ES存恳求日志？ClickHouse+Vector打造最强Grafana日志剖析看板
为什么要做NGINX日志剖析看板
Grafana官网的dashboards有NGINX日志收集到ES数据源的展现看板，也有收集到LOKI数据源的展现看板，唯一没有收集到ClickHouse数据源的展现看板。所以这个轮子是必需求造的。
为什么不运用ES存储
ElasticSearch是全文检索引擎的文档数据库，关于事务日志、反常日志、多行日志这类，非结构化、半结构化的日志数据，常常需求做关键字查询，含糊匹配等操作，十分合适运用es，运用倒排索引完成快速全文查找。
ClickHouse是一个列式存储数据库，特别拿手处理结构化的大规模的SQL查询和聚合剖析操作，所以针对NGINX这类结构化的恳求日志，在处理多维剖析、聚合查询、分组计算等操作速度极快，而且压缩比极高，存储本钱比ES低10倍，CPU、内存的占用也有巨大优势。
NGINX日志收集架构
- 根底架构
- 完好架构
Grafana恳求日志剖析看板预览
该看板是根据 ClickHouse + Vector 的NGINX恳求日志剖析看板。包含恳求与耗时剖析、反常恳求剖析、用户剖析、地理位置分布图、指定接口剖析、恳求日志明细。
特别在反常恳求剖析方面，总结多年反常恳求剖析经历，从各个视点规划很多反常恳求的剖析图表。
-
全体恳求与耗时剖析
-
NGINX反常恳求剖析
- 用户恳求数据剖析
- 地理位置数据剖析
- 指定接口明细剖析
- 恳求日志概况剖析
导入NGINX恳求日志剖析的Grafana看板
Grafana看板ID：22037
下载地址：
https://grafana.com/grafana/dashboards/22037
留意：
- 在Grafana中添加ClickHouse数据源时，留意点开Additional settings右边的箭头，装备Default database为寄存日志的默许库，如上的：nginxlogs。
- 假如你保存日志的表名不是
access结束的，项目菜单会没有数据，需求点击看板右上角的设置-变量-project，在下方的Regex项，输入你需求展现的日志表的正则，或许留空，展现默许库的一切表。
