prometheus-net.DotNetRuntime
介绍
Intro
前面集成 Prometheus 的文章中简单提到过,prometheus-net.DotNetRuntime
可以获取到一些 CLR 的数据,比如说 GC, ThreadPool, Contention, JIT 等指标,而这些指标可以很大程度上帮助我们解决很多问题,比如应用执行过程中是否经常发生 GC,GC 等待时间时间是否过长,是否有发生死锁或竞争锁时间过长,是否有发生线程池饿死等等一系列问题,有了这些指标我们就可以清晰的在运行时了解到这些信息。
来看一下官方介绍
A plugin for the prometheus-net package, exposing .NET core runtime metrics including:
- Garbage collection collection frequencies and timings by generation/ type, pause timings and GC CPU consumption ratio
- Heap size by generation
- Bytes allocated by small/ large object heap
- JIT compilations and JIT CPU consumption ratio
- Thread pool size, scheduling delays and reasons for growing/ shrinking
- Lock contention
- Exceptions thrown, broken down by type
These metrics are essential for understanding the peformance of any non-trivial application. Even if your application is well instrumented, you're only getting half the story- what the runtime is doing completes the picture.
支持的指标
Contention Events
只要运行时使用的 System.Threading.Monitor 锁或 Native锁出现争用情况,就会引发争用事件。
一个线程等待的锁被另一线程占有时将发生争用。
Name | Description | Type |
---|---|---|
dotnet_contention_seconds_total | 发生锁争用的耗时(秒)总计 | Counter |
dotnet_contention_total | 锁争用获得锁的数量总计 | Counter |
Thread Pool Events
Worker thread 线程池和 IO thread 线程池信息
Name | Description | Type |
---|---|---|
dotnet_threadpool_num_threads | 线程池中活跃的线程数量 | Gauge |
dotnet_threadpool_io_num_threads | IO 线程池中活跃线程数量(WindowsOnly) | Gauge |
dotnet_threadpool_adjustments_total | 线程池中线程调整总计 | Counter |
Garbage Collection Events
Captures information pertaining to garbage collection, to help in diagnostics and debugging.
Name | Description | Type |
---|---|---|
dotnet_gc_collection_seconds | 执行 GC 回收过程耗费的时间(秒) | Histogram |
dotnet_gc_pause_seconds | GC 回收造成的 Pause 耗费的时间(秒) | Histogram |
dotnet_gc_collection_reasons_total | 触发 GC 垃圾回收的原因统计 | Counter |
dotnet_gc_cpu_ratio | 运行垃圾收集所花费的进程CPU时间的百分比 | Gauge |
dotnet_gc_pause_ratio | 进程暂停进行垃圾收集所花费的时间百分比 | Gauge |
dotnet_gc_heap_size_bytes | 当前各个 GC 堆的大小 (发生垃圾回收之后才会更新) | Gauge |
dotnet_gc_allocated_bytes_total | 大小对象堆上已分配的字节总数(每100 KB分配更新) | Counter |
dotnet_gc_pinned_objects | pinned 对象的数量 | Gauge |
dotnet_gc_finalization_queue_length | 等待 finalize 的对象数 | Gauge |
JIT Events
Name | Description | Type |
---|---|---|
dotnet_jit_method_total | JIT编译器编译的方法总数 | Counter |
dotnet_jit_method_seconds_total | JIT编译器中花费的总时间(秒) | Counter |
dotnet_jit_cpu_ratio | JIT 花费的 CPU 时间 | Gauge |
集成方式
上面的列出来的指标是我觉得比较重要的指标,还有一些 ThreadPool Scheduling 的指标和 CLR Exception 的指标我觉得意义不是特别大,有需要的可以去源码里看一看
集成的方式有两种,一种是作者提供了一个默认的 Collector 会去收集所有支持的 CLR 指标信息,另外一种则是可以自己自定义的要收集的 CLR 指标类型,来看示例:
使用默认的 Collector 收集 CLR 指标
DotNetRuntimeStatsBuilder.Default().StartCollecting();
使用自定义的 Collector 收集 CLR 指标
DotNetRuntimeStatsBuilder.Customize() .WithContentionStats() // Contention event .WithGcStats() // GC 指标 .WithThreadPoolStats() // ThreadPool 指标 // .WithCustomCollector(null) // 你可以自己实现一个自定义的 Collector .StartCollecting();
上面提到过默认的 Collector 会收集支持的所有的 CLR 指标,且看源码怎么做的
构建了一个 Builder
通过建造者模式来构建复杂配置的收集器,类似于 .net core 里的 HostBuilder
/LoggingBuilder
...,像极了 Host.CreateDefaultBuilder
,做了一些变形
源码地址:https://github.com/djluck/prometheus-net.DotNetRuntime/blob/master/src/prometheus-net.DotNetRuntime/DotNetRuntimeStatsBuilder.cs
实现原理
那它是如何工作的呢,如何实现捕获 CLR 的指标的呢,下面我们就来解密一下,
在项目 README 里已经有了简单的介绍,是基于 CLR 的 ETW Events 来实现的,具体的 CLR 支持的 ETW Events 可以参考文档:https://docs.microsoft.com/en-us/dotnet/framework/performance/clr-etw-events
而 ETW Events 是通过 EventSource
的方式使得我们可以在进程外获取到进程的一些运行信息,这也是我们可以通过 PerfMonitor/PerfView 等方式进程外获取进程 CLR 信息的重要实现方式,同样的微软的新的诊断工具 dotnet diagnostic tools 的实现方式 EventPipe
也是基于 EventSOurce
的
而 EventSource
的事件不仅仅可以通过进程外的这些工具来消费,我们也可以在应用程序中实现 EventListener
来实现进程内的 EventSource
事件消费,而这就是 prometheus-net.DotNetRuntime
这个库的实现本质方法
可以参考源码:https://github.com/djluck/prometheus-net.DotNetRuntime/blob/master/src/prometheus-net.DotNetRuntime/DotNetEventListener.cs
具体的事件处理是在对应的 Collector 中:
https://github.com/djluck/prometheus-net.DotNetRuntime/tree/master/src/prometheus-net.DotNetRuntime/StatsCollectors
Metrics Samples
为了比较直观的看到这些指标可以带来的效果,分享一下我的应用中用到的一些 dashboard 截图
Lock Contention
GC
从上面的图可以清晰的看到这个时间点发生了一次垃圾回收,此时 GC Heap 的大小和 GC 垃圾回收的CPU 占用率和耗时都可以大概看的出来,对于我们运行时诊断应用程序问题会很有帮助
Thread
Thread 的信息还可以拿到一些 threadpool 线程调度的数量以及延迟,这里没有展示出来,
目前我主要关注的是线程池中线程的数量和线程池线程调整的原因,线程池线程调整的原因中有一个是 starvation
,这个指标尤其需要关注一下,应避免出现 threadpool starvation 的情况,出现这个的原因通常是因为有一些不当的用法,如: Task.Wait
、Task.Result
、await Task.Run()
来把一个同步方法变成异步等不好的用法导致的
DiagnosticSource
除了 EventSource
之外,还有一个 DiagnosticSource
可以帮助我们诊断应用程序的性能问题,目前微软也是推荐类库中使用 DiagnosticSource
的方式来让应用诊断类库中的一些性能问题,这也是目前大多数 APM 实现的机制,Skywalking、ElasticAPM、OpenTelemetry 等都使用了 DiagnosticSource
的方式来实现应用程序的性能诊断
如果是进程外应用程序的性能诊断推荐首选 EventSource
,如果是进程内推荐首选 DiagnosticSource
通常我们都应该使用 DiagnosticSource
,即使想进程外捕获,也是可以做到的
关于这二者的使用,可以看一下这个 Comment https://github.com/dotnet/aspnetcore/issues/2312#issuecomment-359514074
More
除了上面列出来的那些指标还有一些指标,比如 exception,threadpool scheduling,还有当前 dotnet 的环境(系统版本,GC 类型,Runtime 版本,程序 TargetFramework,CPU 数量等),有兴趣的可以用一下试一下
exception 指标使用下来感觉帮助不大,有一些即使是已经处理的或者忽略的 Exception 也会被统计,这些 Exception 大多并不会影响应用程序的运行,如果参考这个的话可能会带来很多的困扰,所以我觉得还是需要应用程序来统计 exception 指标更为合适一些
prometheus-net.DotNetRuntime
作为 prometheus-net
的一个插件,依赖于 prometheus-net
去写 metrics 信息,也就是说 metrics 的信息可以通过 prometheus-net
来获取
集成 asp.net core 的时候和之前集成 prometheus-net
是一样的,metrics path 是同一个,可以参考我这个项目: https://github.com/OpenReservation/ReservationServer/tree/dev/OpenReservation
注意:作者推荐 .netcore3.0 以上使用,.netcore 2.x 会有一些 BUG,可以在 Issue 里看到
Reference
- https://github.com/djluck/prometheus-net.DotNetRuntime
- https://docs.microsoft.com/en-us/dotnet/framework/performance/clr-etw-events
- https://github.com/dotnet/aspnetcore/issues/2312#issuecomment-359514074
- https://github.com/OpenReservation/ReservationServer
原文转载:http://www.shaoqun.com/a/494939.html
飞书互动:https://www.ikjzd.com/w/1319
houzz:https://www.ikjzd.com/w/236
promotion:https://www.ikjzd.com/w/127
`prometheus-net.DotNetRuntime`获取CLR运行指标原理解析prometheus-net.DotNetRuntime介绍Intro前面集成Prometheus的文章中简单提到过,prometheus-net.DotNetRuntime可以获取到一些CLR的数据,比如说GC,ThreadPool,Contention,JIT等指标,而这些指标可以很大程度上帮助我们解决很多问
转口贸易:转口贸易
upc:upc
暑假8月份去西冲玩的问题?:暑假8月份去西冲玩的问题?
厦门青龙寨怎去?:厦门青龙寨怎去?
香港中环摩天轮为什么停运?中环海滨摩天轮票价+开放时间+网:香港中环摩天轮为什么停运?中环海滨摩天轮票价+开放时间+网
没有评论:
发表评论