triton inference server翻譯之Metrics

link

Metrics

Triton Inference服務器提供Prometheus度量標準，指示GPU和請求統計信息。 默認情況下，這些指標可從http://localhost:8002/metrics獲得。 度量標準僅可通過訪問端點來使用，而不會推送或發佈到任何遠程服務器。

推理服務器的--allow-metrics=false選項可用於禁用度量標準報告，而--metrics-port選項可用於選擇其他端口。

下表描述了可用指標。