Performance Co-Pilotとは

Performance Co-Pilotは、サーバのメトリクス収集/分析ツールキット(ツールセット)。PCPと略されている事が多い。
2007年から開発されていて、今も活発なOSSなのだが、日本での利用事例はほとんど見つからない。
メトリクス取集、データ保存、可視化がモジュール化されていて拡張可能になっている。
調べている範囲では（使いやすい）SNMPという印象。

アーキテクチャ概要

図は、Administrator Guideから抜粋。

pmcd: Performance Metrics Collection Daemon略。各サーバで動作する。コアとなるデーモンプログラム
PMDA: Performance Metrics Domain Agentの略。メトリクスの収集対象とpmcdを接続するためのPlugin。PMDAの下の四角がメトリクスを取得する対象で、CPU,Disk,Database,個別アプリケーションなどが相当する。
PMAPI: Performance Metrics Application Programming Interfaceの略。図にはないが、pmcdからメトリクスと収集するClientためのAPI。Monitorのpmcdの間
Monitor: pmcdからメトリクスと収集するClient。しきい値を超えるとアラートを投げるClient、過去データを分析するClientなどがある

主要モジュール

pmcd: 前述の通り。コアとなるデーモンプログラム。
計測対象の全てのサーバで起動する。
pmlogger: pmcdからメトリクスを収集しファイルとして保管するデーモンプログラム。
取得メトリクスと時間間隔を設定する。リモートのpmcdから収集する事も可能。メトリクスを保存したいのならこのデーモンを動かす必要がある。
pmwebd: pmapiのHTTP版API(PMWEBAPI)を提供するデーモンプログラム
RESTfulなAPIになっている。NetflixのVectorが利用している。

主要クライアントツール

pminfo
収集可能なメトリクスを表示する。

$ pminfo
kernel.all.load
kernel.all.intr
kernel.all.pswitch
...

$ pminfo -T kernel.percpu.cpu.idle
kernel.percpu.cpu.idle
Help:
percpu idle CPU time metric from /proc/stat
$

pmstat
vmstatとほぼ同じシステムメトリクスを表示する。オプション指定でリモートサーバや過去ログの表示も可能。

$ pmstat -t 5
@ Thu Apr 16 08:38:51 2015
 loadavg                      memory      swap        io    system         cpu
   1 min   swpd   free   buff  cache   pi   po   bi   bo   in   cs  us  sy  id
    0.00      0 177984 189220 442728    0    0    0    9   11   19   0   0 100
    0.00      0 177952 189220 442728    0    0    0    0   10   18   0   0 100
    0.00      0 177952 189220 442728    0    0    0    0   11   20   0   0 100
    0.00      0 177952 189220 442728    0    0    0    0   10   18   0   0 100

pmval
メトリクス値を表示する。オプション指定でリモートサーバや過去ログの表示も可能。

$ pmval -h localhost -t 5sec -s 4 kernel.percpu.cpu.idle
metric:    kernel.percpu.cpu.idle
host:      ip-xxx-xxx-xxx-xxx
semantics: cumulative counter (converting to rate)
units:     millisec (converting to time utilization)
samples:   4
interval:  5.00 sec
              cpu0
               0.9979
               0.9999
               1.000
               0.8079

pmie
メトリクスの条件を設定し、アラートを投げることができる。独自スクリプトで記述する必要があるが、きめ細かい設定ができる。
記述例：

// Some Common Performance Monitoring Scenarios
//
// The Disk Group
//
delta = 15 sec; // often enough for disks?
// common prefixes
//
disk = "disk";
// Any disk performing more than 40 I/Os per second, sustained over
// at least 30 seconds is probably busy
//
delta = 30 seconds;
disk_busy =
 some_inst (
 $disk.dev.total > 40 count/sec
 )
] -> shell "Mail -s 'Heavy systained disk traffic' sysadm";
// Try and catch bursts of activity ... more than 60 I/Os per second
// for at least 25% of 8 consecutive 3 second samples
//
delta = 3 sec;
disk_burst =
 some_inst (
 25%_sample (
 $disk.dev.total @0..7 > 60 count/sec
 )
 )
 -> alarm "Disk Burst? " "%i ";
// any SCSI disk controller performing more than 3 Mbytes per
// second is busy
// Note: the obscure 512 is to convert blocks/sec to byte/sec,
// and pmie handles the rest of the scale conversion
//
some_inst $disk.ctl.blktotal * 512 > 3 Mbyte/sec
 -> alarm "Busy Disk Controller: " "%i ";

PCPの設定

pmdcの設定

pmloggerの設定

PMDA一覧

PMDA(Performance Metrics Domain Agent)を使えば、様々なメトリクスを収集できる。

pmdaapache
Exports performance metrics from the Apache Web Server.
pmdacisco
Extracts performance metrics from one or more Cisco routers.
pmdaelasticseach
Extracts performance metrics from an elasticsearch cluster.
pmdagfs2
Exports performance metrics from the GFS2 clustered filesystem.
pmdagluster
Extracts performance metrics from the Gluster filesystem.
pmdainfiniband
Exports performance metrics from the Infiniband kernel driver.
pmdakvm
Extracts performance metrics from the Linux Kernel Virtual Machine (KVM) infrastructure.
pmdalustrecomm
Exports performance metrics from the Lustre clustered filesystem.
pmdamailq
Exports performance metrics describing the current state of items in the sendmail queue.
pmdamemcache
Extracts performance metrics from memcached, a distributed memory caching daemon commonly used to improve web serving performance.
pmdammv
Exports metrics from instrumented applications linked with the pcp_mmv shared library or the Parfait framework for Java instrumentation. These metrics are custom developed per application, and in the case of Parfait, automatically include numerous JVM, Tomcat and other server or container statistics.
pmdamysql
Extracts performance metrics from the MySQL relational database.
pmdanamed
Exports performance metrics from the Internet domain name server, named.
pmdanginx
Extracts performance metrics from the nginx HTTP and reverse proxy server.
pmdapostfix
Export performance metrics from the Postfix mail transfer agent.
pmdapostgres
Extracts performance metrics from the PostgreSQL relational database.
pmdaproc
Exports performance metrics for running processes.
pmdarsyslog
Extracts performance metrics from the Reliable System Log daemon.
pmdasamba
Extracts performance metrics from Samba, a Windows SMB/CIFS server.
pmdasendmail
Exports mail activity statistics from sendmail.
pmdashping
Exports performance metrics for the availability and quality of service (response-time) for arbitrary shell commands.
pmdasnmp
Extracts SNMP performance metrics from local or remote SNMP-enabled devices.
pmdasummary
Derives performance metrics values from values made available by other PMDAs. It is a PMDA itself.
pmdasystemd
Extracts performance metrics from the systemd and journald services.
pmdatrace
Exports transaction performance metrics from application processes that use the pcp_trace library.
pmdavmware
Extracts performance metrics from a VMWare virtualization host.
pmdaweblog
Scans Web-server logs to extract metrics characterizing.
pmdaxfs
Extracts performance metrics from the Linux kernel XFS filesystem implementation.