100% CPU busy reported to AppD but CPU is not 100% busy

[Wes.Appelhans]

Hello, we have a support ticket open for this but I thought i would post here to see if anyone else is experiencing this issue.  We have nodes in AWS that are reporting 100% CPU busy however that is not the correct metric according to our sysadmins that can see the true value in CloudWatch and is no where near 100%.

So far we have provided some debug logs as well as results from VMSTAT however support is unable to determine the cause at this point.  Also this seems to only impact a very small amount of nodes that we monitor in AWS.

This is the Linux version we are running:

NAME="Amazon Linux AMI"
VERSION="2017.03"
ID="amzn"
ID_LIKE="rhel fedora"
VERSION_ID="2017.03"
PRETTY_NAME="Amazon Linux AMI 2017.03"
ANSI_COLOR="0;33"
CPE_NAME="cpe:/o:amazon:linux:2017.03:ga"
HOME_URL="http://aws.amazon.com/amazon-linux-ami/"
Amazon Linux AMI release 2017.03

[alakshya.maheria]

Hi,

Can you share the output of vmstat command and the version details of the agent.

Regards,

[Wes.Appelhans]

Java Agent version is 4.2.5.1 and Java 1.8.0_44

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----

r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st

0  0      0 2124208 148704 871020    0    0     0     0    0    0  0  0  0  0 100

0  0      0 2104988 148704 871020    0    0     0     8  140  203  0  0  0  0  0

0  0      0 2104088 148704 871060    0    0     0    41  227  332  0  0  0  0  0

0  0      0 2120952 148704 871060    0    0     0     8  125  201  0  0  0  0  0

0  0      0 2120828 148704 871060    0    0     0    13  127  206  0  0  0  0  0

0  0      0 2119936 148704 871100    0    0     0    34  205  306  0  0  0  0  0

0  0      0 2119936 148704 871100    0    0     0     8  121  199  0  0  0  0  0

0  0      0 2119904 148704 871100    0    0     0     2  112  190  0  0  0  0  0

0  0      0 2119360 148704 871136    0    0     0    38  183  293  0  0  0  0  0

0  0      0 2119360 148704 871136    0    0     0     1  120  199  0  0  0  0  0

0  0      0 2119360 148704 871136    0    0     0     1  131  210  0  0  0  0  0

0  0      0 2118948 148704 871176    0    0     0    24  198  305  0  0  0  0  0

0  0      0 2119940 148704 871176    0    0     0    10  126  206  0  0  0  0  0

0  0      0 2119940 148704 871176    0    0     0     2  123  198  0  0  0  0  0

0  0      0 2119676 148704 871216    0    0     0    34  196  307  0  0  0  0  0

0  0      0 2119676 148704 871216    0    0     0     0  118  194  0  0  0  0  0

0  0      0 2119676 148704 871224    0    0     0     7  138  219  0  0  0  0  0

0  0      0 2118408 148704 871264    0    0     0    30  188  297  0  0  0  0  0

0  0      0 2118408 148704 871264    0    0     0     1  110  185  0  0  0  0  0

0  0      0 2118408 148704 871264    0    0     0     1  116  191  0  0  0  0  0

0  0      0 2117368 148704 871300    0    0     0    37  184  285  0  0  0  0  0

0  0      0 2117368 148704 871300    0    0     0     7  112  191  0  0  0  0  0

0  0      0 2117368 148704 871300    0    0     0     1  111  188  0  0  0  0  0

0  0      0 2117328 148704 871340    0    0     0    22  180  291  0  0  0  0  0

0  0      0 2117328 148704 871340    0    0     0    14  115  192  0  0  0  0  0

0  0      0 2117328 148704 871340    0    0     0     2  113  189  0  0  0  0  0

0  0      0 2116964 148704 871380    0    0     0    23  188  294  0  0  0  0  0

0  0      0 2116964 148704 871380    0    0     0    13  123  198  0  0  0  0  0

0  0      0 2116964 148704 871380    0    0     0     1  128  207  0  0  0  0  0

0  0      0 2116716 148704 871416    0    0     0    25  186  286  0  0  0  0  0

[alakshya.maheria]

Thanks.

The vmstat command is fine. 

Are you running only the javaagent and not the machine agent? If no machine agent, then can you check to run a machine agent and see if that reports the data accurately. 

Also can you share a screenshot of the controller UI Tiers and nodes. Select Show Data hardware.

Regards,

[alakshya.maheria]

And screenshot of Tiers & Nodes - Health as well please.

Regards,

[Wes.Appelhans]

Yes we are running Java agent and Machine agent on our AWS nodes.  Here is the Tier view with 100% being shown

[alakshya.maheria]

Hi,

Not sure what is being configured in the machine agent. But can you check if switching the JavaHardwareMonitor to an OS-specific monitor or vice-versa helps.

For 4.2, please refer instructions here https://docs.appdynamics.com/display/PRO42/Machine+Agent+Metric+Collection

Regards,