API tools faq
paste
Advertisement
avoliveira

Untitled

avoliveira
Sep 29th, 2020
65
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Bash 59.23 KB | None | 0 0
raw download clone embed print report
  1. [root@os2010 ~]# lvs
  2.   LV                                                VG                                                  Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  3.   osd-block-91b03776-2129-4e3d-aef7-eb46c378730e    ceph-block-0648ecc9-60cf-4b8f-b566-06c9bbcec0a5     -wi-ao----   2.18t
  4.   osd-block-f13194b5-aac2-46b1-a5bd-d15a6367a6db    ceph-block-228d4bbb-1754-4f19-b562-7c27a1955ade     -wi-ao----   2.18t
  5.   osd-block-261ae6a1-e8f4-47af-b24a-d459ed14528a    ceph-block-384aa779-43a5-4487-9a9a-09c7b32398c2     -wi-ao----   2.18t
  6.   osd-block-ab5d3486-2f55-4141-adbc-be769be8e51a    ceph-block-3d02d2c4-585b-4142-a414-dac7a36fdb01     -wi-ao----   2.18t
  7.   osd-block-65afd895-a1b8-427f-a933-00fc32c4ff87    ceph-block-42526cb3-2852-4776-be12-a4ca38f6a432     -wi-ao----   2.18t
  8.   osd-block-6d171c13-8723-450d-a1a6-59b606a3b813    ceph-block-53c6718a-35c3-4088-b081-a4442b200623     -wi-ao----   2.18t
  9.   osd-block-7a465452-3f56-4eda-bd8f-1b9b2fb49a14    ceph-block-5f1578fa-fb5b-47a1-9d77-523c6a1a7263     -wi-ao----   2.18t
  10.   osd-block-fb77a649-7705-4077-9b91-5b2cb7b44ae2    ceph-block-6119f08e-4972-47a4-b411-f7108b855931     -wi-ao----   2.18t
  11.   osd-block-1a8e227e-3dd5-4c96-bf77-06a2af7f4b12    ceph-block-62a37250-335a-41f3-bc22-8b1a22aa4d99     -wi-ao----   2.18t
  12.   osd-block-1f63f091-6b84-43e9-87e3-22a6d76d9bf4    ceph-block-6e77604d-f857-4072-ab8d-71ff7a4ac4e7     -wi-ao----   2.18t
  13.   osd-block-56f95593-c157-4645-a869-9a0d12076efa    ceph-block-6f12e5b7-d04e-4aca-8676-4d1686fdfbd3     -wi-ao----   2.18t
  14.   osd-block-45c78de1-e604-47c3-ba93-c0f807e57fac    ceph-block-7692d7a6-1b77-48d2-ab4b-67d12e7097b8     -wi-ao----   2.18t
  15.   osd-block-6042c407-c493-4bea-bb14-26f855e2c4b5    ceph-block-94661f58-5f0b-4b77-81b5-03f73ef5eb89     -wi-ao----   2.18t
  16.   osd-block-09d96fe7-ea94-4fc4-92e6-58c3d60420fc    ceph-block-a2397138-ba63-4ea6-842e-b13fd6eff1cb     -wi-ao----   2.18t
  17.   osd-block-65e42b24-1a76-43dd-81d3-954512612f92    ceph-block-a94ab230-f1eb-40f7-bb4a-13a621c6e665     -wi-ao----   2.18t
  18.   osd-block-0f553abf-d773-42ee-8083-18bde9ada724    ceph-block-ab4f14f2-135f-4130-9ade-c922d87b15ad     -wi-ao----   2.18t
  19.   osd-block-041f4ccd-fcf0-43d2-ad01-1b296c71086d    ceph-block-ab6701bb-6a15-41af-9ca3-82f49f3559d1     -wi-ao----   2.18t
  20.   osd-block-02750463-f44d-4b5e-83e4-985a26f8464a    ceph-block-b733210e-bb4a-47aa-972d-e0cf84d9b49d     -wi-ao----   2.18t
  21.   osd-block-96e9eeef-9b8c-4800-8f68-4e617735bcbf    ceph-block-c27240f4-d28b-45b6-bfbf-44a500b9ea0d     -wi-ao----   2.18t
  22.   osd-block-9deb005d-514c-492c-b781-0fe338473f02    ceph-block-c8311251-d825-420e-aa4d-6ec689ee876d     -wi-ao----   2.18t
  23.   osd-block-9b82fc82-128d-477d-a653-a5dbd08bc06c    ceph-block-d0abfda5-4f76-4df6-881e-06243213f661     -wi-ao----   2.18t
  24.   osd-block-db-0f18b009-ee6d-403c-8cbe-402d327b15ad ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  25.   osd-block-db-15a9dcf0-ef7c-4d50-865f-6c85d16ecd88 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  26.   osd-block-db-1a55cf1a-b694-400d-b067-facd02e5135c ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  27.   osd-block-db-3bf869fc-7fe0-46f6-856e-7ea41a5f4291 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  28.   osd-block-db-49512688-b185-4429-b29f-105c578b81ae ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  29.   osd-block-db-50bdd385-422e-41e6-824e-d5c51027572e ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  30.   osd-block-db-52447b36-1d9a-478a-8923-d106e8bd0af4 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  31.   osd-block-db-6a82740e-a111-4cb2-b584-0030e92be90c ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  32.   osd-block-db-7996a18d-a91e-4219-8811-892d20351efd ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  33.   osd-block-db-7bb73c26-6cce-4cdc-9397-9f07589cc3a5 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  34.   osd-block-db-8f35f6bb-06bc-4dd2-87ba-ef491353ff56 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  35.   osd-block-db-99808ca9-59de-4c8f-b6ab-d9a191ef7b5a ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  36.   osd-block-db-a5b301ce-1580-4330-aba8-531e1b9ddc48 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  37.   osd-block-db-aa9138bd-6eb5-4c70-9f01-3984cc42c760 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  38.   osd-block-db-af3a9708-560b-43a4-a43f-bd165da153b8 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  39.   osd-block-db-b321dc32-c930-4587-9a5e-087e9fc3f182 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  40.   osd-block-db-be80fc42-cab3-4972-8cb6-e9b12be8cb0b ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  41.   osd-block-db-c3a5c558-4779-4123-b9f7-51f57b267302 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  42.   osd-block-db-cfcd91ae-b33b-4444-84a7-fc77dbbbb3bf ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  43.   osd-block-db-e6b1f9c2-49a1-4f05-bccd-554c4b85a049 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  44.   osd-block-db-e8af87a2-f2ff-4179-8483-f29240cdfb4f ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  45.   osd-block-db-f78de060-cbfd-4766-9593-b4ca5eb70343 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  46.   osd-block-db-f7a0f7eb-4efd-4c63-971a-f144e89de685 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  47.   osd-block-db-fbbc6c63-5b10-4093-a895-9262b282e2cf ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 -wi-ao---- 248.00g
  48.   osd-block-0d67c24e-699a-44e6-9910-f00b332557da    ceph-block-e2f47d64-5c3f-4097-8798-f5fa9fa304e0     -wi-ao----   2.18t
  49.   osd-block-02599130-c587-4765-8297-3dd7da337e06    ceph-block-ef8c89b8-9480-4842-883a-72e2195f6c78     -wi-ao----   2.18t
  50.   osd-block-5c00c30c-2f85-4060-ab97-db27578db301    ceph-block-f5db3e03-724a-4bcb-8a5a-4242e13d3a5e     -wi-ao----   2.18t
  51. [root@os2010 ~]#
  52. [root@os2010 ~]#
  53. [root@os2010 ~]# pvs
  54.   PV           VG                                                  Fmt  Attr PSize  PFree
  55.   /dev/nvme0n1 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 lvm2 a--  <1.46t 2.41g
  56.   /dev/nvme1n1 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 lvm2 a--  <1.46t 2.41g
  57.   /dev/nvme2n1 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 lvm2 a--  <1.46t 2.41g
  58.   /dev/nvme3n1 ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96 lvm2 a--  <1.46t 2.41g
  59.   /dev/sda     ceph-block-384aa779-43a5-4487-9a9a-09c7b32398c2     lvm2 a--   2.18t    0
  60.   /dev/sdb     ceph-block-a94ab230-f1eb-40f7-bb4a-13a621c6e665     lvm2 a--   2.18t    0
  61.   /dev/sdc     ceph-block-5f1578fa-fb5b-47a1-9d77-523c6a1a7263     lvm2 a--   2.18t    0
  62.   /dev/sdd     ceph-block-f5db3e03-724a-4bcb-8a5a-4242e13d3a5e     lvm2 a--   2.18t    0
  63.   /dev/sde     ceph-block-c27240f4-d28b-45b6-bfbf-44a500b9ea0d     lvm2 a--   2.18t    0
  64.   /dev/sdf     ceph-block-42526cb3-2852-4776-be12-a4ca38f6a432     lvm2 a--   2.18t    0
  65.   /dev/sdg     ceph-block-ef8c89b8-9480-4842-883a-72e2195f6c78     lvm2 a--   2.18t    0
  66.   /dev/sdh     ceph-block-b733210e-bb4a-47aa-972d-e0cf84d9b49d     lvm2 a--   2.18t    0
  67.   /dev/sdi     ceph-block-6e77604d-f857-4072-ab8d-71ff7a4ac4e7     lvm2 a--   2.18t    0
  68.   /dev/sdj     ceph-block-c8311251-d825-420e-aa4d-6ec689ee876d     lvm2 a--   2.18t    0
  69.   /dev/sdk     ceph-block-228d4bbb-1754-4f19-b562-7c27a1955ade     lvm2 a--   2.18t    0
  70.   /dev/sdl     ceph-block-0648ecc9-60cf-4b8f-b566-06c9bbcec0a5     lvm2 a--   2.18t    0
  71.   /dev/sdm     ceph-block-d0abfda5-4f76-4df6-881e-06243213f661     lvm2 a--   2.18t    0
  72.   /dev/sdn     ceph-block-3d02d2c4-585b-4142-a414-dac7a36fdb01     lvm2 a--   2.18t    0
  73.   /dev/sdo     ceph-block-ab6701bb-6a15-41af-9ca3-82f49f3559d1     lvm2 a--   2.18t    0
  74.   /dev/sdp     ceph-block-e2f47d64-5c3f-4097-8798-f5fa9fa304e0     lvm2 a--   2.18t    0
  75.   /dev/sdq     ceph-block-a2397138-ba63-4ea6-842e-b13fd6eff1cb     lvm2 a--   2.18t    0
  76.   /dev/sdr     ceph-block-6119f08e-4972-47a4-b411-f7108b855931     lvm2 a--   2.18t    0
  77.   /dev/sds     ceph-block-ab4f14f2-135f-4130-9ade-c922d87b15ad     lvm2 a--   2.18t    0
  78.   /dev/sdt     ceph-block-94661f58-5f0b-4b77-81b5-03f73ef5eb89     lvm2 a--   2.18t    0
  79.   /dev/sdu     ceph-block-62a37250-335a-41f3-bc22-8b1a22aa4d99     lvm2 a--   2.18t    0
  80.   /dev/sdv     ceph-block-7692d7a6-1b77-48d2-ab4b-67d12e7097b8     lvm2 a--   2.18t    0
  81.   /dev/sdw     ceph-block-53c6718a-35c3-4088-b081-a4442b200623     lvm2 a--   2.18t    0
  82.   /dev/sdx     ceph-block-6f12e5b7-d04e-4aca-8676-4d1686fdfbd3     lvm2 a--   2.18t    0
  83. [root@os2010 ~]# vgs
  84.   VG                                                  #PV #LV #SN Attr   VSize VFree
  85.   ceph-block-0648ecc9-60cf-4b8f-b566-06c9bbcec0a5       1   1   0 wz--n- 2.18t     0
  86.   ceph-block-228d4bbb-1754-4f19-b562-7c27a1955ade       1   1   0 wz--n- 2.18t     0
  87.   ceph-block-384aa779-43a5-4487-9a9a-09c7b32398c2       1   1   0 wz--n- 2.18t     0
  88.   ceph-block-3d02d2c4-585b-4142-a414-dac7a36fdb01       1   1   0 wz--n- 2.18t     0
  89.   ceph-block-42526cb3-2852-4776-be12-a4ca38f6a432       1   1   0 wz--n- 2.18t     0
  90.   ceph-block-53c6718a-35c3-4088-b081-a4442b200623       1   1   0 wz--n- 2.18t     0
  91.   ceph-block-5f1578fa-fb5b-47a1-9d77-523c6a1a7263       1   1   0 wz--n- 2.18t     0
  92.   ceph-block-6119f08e-4972-47a4-b411-f7108b855931       1   1   0 wz--n- 2.18t     0
  93.   ceph-block-62a37250-335a-41f3-bc22-8b1a22aa4d99       1   1   0 wz--n- 2.18t     0
  94.   ceph-block-6e77604d-f857-4072-ab8d-71ff7a4ac4e7       1   1   0 wz--n- 2.18t     0
  95.   ceph-block-6f12e5b7-d04e-4aca-8676-4d1686fdfbd3       1   1   0 wz--n- 2.18t     0
  96.   ceph-block-7692d7a6-1b77-48d2-ab4b-67d12e7097b8       1   1   0 wz--n- 2.18t     0
  97.   ceph-block-94661f58-5f0b-4b77-81b5-03f73ef5eb89       1   1   0 wz--n- 2.18t     0
  98.   ceph-block-a2397138-ba63-4ea6-842e-b13fd6eff1cb       1   1   0 wz--n- 2.18t     0
  99.   ceph-block-a94ab230-f1eb-40f7-bb4a-13a621c6e665       1   1   0 wz--n- 2.18t     0
  100.   ceph-block-ab4f14f2-135f-4130-9ade-c922d87b15ad       1   1   0 wz--n- 2.18t     0
  101.   ceph-block-ab6701bb-6a15-41af-9ca3-82f49f3559d1       1   1   0 wz--n- 2.18t     0
  102.   ceph-block-b733210e-bb4a-47aa-972d-e0cf84d9b49d       1   1   0 wz--n- 2.18t     0
  103.   ceph-block-c27240f4-d28b-45b6-bfbf-44a500b9ea0d       1   1   0 wz--n- 2.18t     0
  104.   ceph-block-c8311251-d825-420e-aa4d-6ec689ee876d       1   1   0 wz--n- 2.18t     0
  105.   ceph-block-d0abfda5-4f76-4df6-881e-06243213f661       1   1   0 wz--n- 2.18t     0
  106.   ceph-block-dbs-c2349cdf-d707-4730-baec-c2a46d6f4a96   4  24   0 wz--n- 5.82t <9.66g
  107.   ceph-block-e2f47d64-5c3f-4097-8798-f5fa9fa304e0       1   1   0 wz--n- 2.18t     0
  108.   ceph-block-ef8c89b8-9480-4842-883a-72e2195f6c78       1   1   0 wz--n- 2.18t     0
  109.   ceph-block-f5db3e03-724a-4bcb-8a5a-4242e13d3a5e       1   1   0 wz--n- 2.18t     0
  110. [root@os2010 ~]#
  111.  
  112.  
  113. [root@os2010 ~]# ceph daemon osd.7 perf dump
  114. {
  115.     "AsyncMessenger::Worker-0": {
  116.         "msgr_recv_messages": 2819607,
  117.         "msgr_send_messages": 2819533,
  118.         "msgr_recv_bytes": 19445832335,
  119.         "msgr_send_bytes": 12775760107,
  120.         "msgr_created_connections": 668,
  121.         "msgr_active_connections": 227,
  122.         "msgr_running_total_time": 258.365395973,
  123.         "msgr_running_send_time": 61.963325563,
  124.         "msgr_running_recv_time": 113.016749169,
  125.         "msgr_running_fast_dispatch_time": 72.047550651
  126.     },
  127.     "AsyncMessenger::Worker-1": {
  128.         "msgr_recv_messages": 4328082,
  129.         "msgr_send_messages": 4328324,
  130.         "msgr_recv_bytes": 18566333921,
  131.         "msgr_send_bytes": 15039317782,
  132.         "msgr_created_connections": 824,
  133.         "msgr_active_connections": 203,
  134.         "msgr_running_total_time": 367.731382325,
  135.         "msgr_running_send_time": 92.810204445,
  136.         "msgr_running_recv_time": 159.539925659,
  137.         "msgr_running_fast_dispatch_time": 97.405423472
  138.     },
  139.     "AsyncMessenger::Worker-2": {
  140.         "msgr_recv_messages": 2818419,
  141.         "msgr_send_messages": 2850257,
  142.         "msgr_recv_bytes": 21663980407,
  143.         "msgr_send_bytes": 16064098166,
  144.         "msgr_created_connections": 848,
  145.         "msgr_active_connections": 228,
  146.         "msgr_running_total_time": 263.891565284,
  147.         "msgr_running_send_time": 66.175094742,
  148.         "msgr_running_recv_time": 113.722393030,
  149.         "msgr_running_fast_dispatch_time": 72.416453080
  150.     },
  151.     "bluefs": {
  152.         "gift_bytes": 0,
  153.         "reclaim_bytes": 0,
  154.         "db_total_bytes": 266287964160,
  155.         "db_used_bytes": 759160832,
  156.         "wal_total_bytes": 0,
  157.         "wal_used_bytes": 0,
  158.         "slow_total_bytes": 96019152896,
  159.         "slow_used_bytes": 0,
  160.         "num_files": 17,
  161.         "log_bytes": 5210112,
  162.         "log_compactions": 1,
  163.         "logged_bytes": 346034176,
  164.         "files_written_wal": 2,
  165.         "files_written_sst": 75,
  166.         "bytes_written_wal": 16222303868,
  167.         "bytes_written_sst": 1836963279
  168.     },
  169.     "bluestore": {
  170.         "kv_flush_lat": {
  171.             "avgcount": 1973697,
  172.             "sum": 3.195711381,
  173.             "avgtime": 0.000001619
  174.         },
  175.         "kv_commit_lat": {
  176.             "avgcount": 1973697,
  177.             "sum": 222.673987378,
  178.             "avgtime": 0.000112820
  179.         },
  180.         "kv_lat": {
  181.             "avgcount": 1973697,
  182.             "sum": 225.869698759,
  183.             "avgtime": 0.000114439
  184.         },
  185.         "state_prepare_lat": {
  186.             "avgcount": 1945845,
  187.             "sum": 112.480716041,
  188.             "avgtime": 0.000057805
  189.         },
  190.         "state_aio_wait_lat": {
  191.             "avgcount": 1945845,
  192.             "sum": 199.070495509,
  193.             "avgtime": 0.000102305
  194.         },
  195.         "state_io_done_lat": {
  196.             "avgcount": 1945845,
  197.             "sum": 31.007708509,
  198.             "avgtime": 0.000015935
  199.         },
  200.         "state_kv_queued_lat": {
  201.             "avgcount": 1945845,
  202.             "sum": 59.237433734,
  203.             "avgtime": 0.000030443
  204.         },
  205.         "state_kv_commiting_lat": {
  206.             "avgcount": 1945845,
  207.             "sum": 262.910804565,
  208.             "avgtime": 0.000135113
  209.         },
  210.         "state_kv_done_lat": {
  211.             "avgcount": 1945845,
  212.             "sum": 0.354010709,
  213.             "avgtime": 0.000000181
  214.         },
  215.         "state_deferred_queued_lat": {
  216.             "avgcount": 0,
  217.             "sum": 0.000000000,
  218.             "avgtime": 0.000000000
  219.         },
  220.         "state_deferred_aio_wait_lat": {
  221.             "avgcount": 0,
  222.             "sum": 0.000000000,
  223.             "avgtime": 0.000000000
  224.         },
  225.         "state_deferred_cleanup_lat": {
  226.             "avgcount": 1928336,
  227.             "sum": 2555304.558801943,
  228.             "avgtime": 1.325134498
  229.         },
  230.         "state_finishing_lat": {
  231.             "avgcount": 1945789,
  232.             "sum": 0.315611386,
  233.             "avgtime": 0.000000162
  234.         },
  235.         "state_done_lat": {
  236.             "avgcount": 1945789,
  237.             "sum": 21629.985924720,
  238.             "avgtime": 0.011116305
  239.         },
  240.         "throttle_lat": {
  241.             "avgcount": 1945845,
  242.             "sum": 2.281774646,
  243.             "avgtime": 0.000001172
  244.         },
  245.         "submit_lat": {
  246.             "avgcount": 1945845,
  247.             "sum": 123.800127441,
  248.             "avgtime": 0.000063622
  249.         },
  250.         "commit_lat": {
  251.             "avgcount": 1942644,
  252.             "sum": 631.236002983,
  253.             "avgtime": 0.000324936
  254.         },
  255.         "read_lat": {
  256.             "avgcount": 1941721,
  257.             "sum": 4644.496609998,
  258.             "avgtime": 0.002391948
  259.         },
  260.         "read_onode_meta_lat": {
  261.             "avgcount": 3912940,
  262.             "sum": 4.543276123,
  263.             "avgtime": 0.000001161
  264.         },
  265.         "read_wait_aio_lat": {
  266.             "avgcount": 1971219,
  267.             "sum": 4627.831057235,
  268.             "avgtime": 0.002347700
  269.         },
  270.         "compress_lat": {
  271.             "avgcount": 0,
  272.             "sum": 0.000000000,
  273.             "avgtime": 0.000000000
  274.         },
  275.         "decompress_lat": {
  276.             "avgcount": 0,
  277.             "sum": 0.000000000,
  278.             "avgtime": 0.000000000
  279.         },
  280.         "csum_lat": {
  281.             "avgcount": 933428,
  282.             "sum": 3.687065608,
  283.             "avgtime": 0.000003950
  284.         },
  285.         "compress_success_count": 0,
  286.         "compress_rejected_count": 0,
  287.         "write_pad_bytes": 56593389,
  288.         "deferred_write_ops": 1794643,
  289.         "deferred_write_bytes": 7716712448,
  290.         "write_penalty_read_ops": 31330,
  291.         "bluestore_allocated": 57349439488,
  292.         "bluestore_stored": 57279795940,
  293.         "bluestore_compressed": 0,
  294.         "bluestore_compressed_allocated": 0,
  295.         "bluestore_compressed_original": 0,
  296.         "bluestore_onodes": 11259,
  297.         "bluestore_onode_hits": 5868243,
  298.         "bluestore_onode_misses": 18958,
  299.         "bluestore_onode_shard_hits": 9342345,
  300.         "bluestore_onode_shard_misses": 35996,
  301.         "bluestore_extents": 37903,
  302.         "bluestore_blobs": 37596,
  303.         "bluestore_buffers": 49505,
  304.         "bluestore_buffer_bytes": 930217984,
  305.         "bluestore_buffer_hit_bytes": 4292961566,
  306.         "bluestore_buffer_miss_bytes": 18697882814,
  307.         "bluestore_write_big": 9163,
  308.         "bluestore_write_big_bytes": 38351142912,
  309.         "bluestore_write_big_blobs": 73816,
  310.         "bluestore_write_small": 1959513,
  311.         "bluestore_write_small_bytes": 8270263504,
  312.         "bluestore_write_small_unused": 193,
  313.         "bluestore_write_small_deferred": 1957961,
  314.         "bluestore_write_small_pre_read": 1957961,
  315.         "bluestore_write_small_new": 1359,
  316.         "bluestore_txc": 1945845,
  317.         "bluestore_onode_reshard": 7407,
  318.         "bluestore_blob_split": 13,
  319.         "bluestore_extent_compress": 3821176,
  320.         "bluestore_gc_merged": 0,
  321.         "bluestore_read_eio": 0,
  322.         "bluestore_reads_with_retries": 0,
  323.         "bluestore_fragmentation_micros": 6
  324.     },
  325.     "finisher-defered_finisher": {
  326.         "queue_len": 0,
  327.         "complete_latency": {
  328.             "avgcount": 0,
  329.             "sum": 0.000000000,
  330.             "avgtime": 0.000000000
  331.         }
  332.     },
  333.     "finisher-finisher-0": {
  334.         "queue_len": 0,
  335.         "complete_latency": {
  336.             "avgcount": 1915380,
  337.             "sum": 83.410663407,
  338.             "avgtime": 0.000043547
  339.         }
  340.     },
  341.     "mutex-OSD:ShardedOpWQ:.0": {
  342.         "wait": {
  343.             "avgcount": 0,
  344.             "sum": 0.000000000,
  345.             "avgtime": 0.000000000
  346.         }
  347.     },
  348.     "mutex-OSD:ShardedOpWQ:.1": {
  349.         "wait": {
  350.             "avgcount": 0,
  351.             "sum": 0.000000000,
  352.             "avgtime": 0.000000000
  353.         }
  354.     },
  355.     "mutex-OSD:ShardedOpWQ:.2": {
  356.         "wait": {
  357.             "avgcount": 0,
  358.             "sum": 0.000000000,
  359.             "avgtime": 0.000000000
  360.         }
  361.     },
  362.     "mutex-OSD:ShardedOpWQ:.3": {
  363.         "wait": {
  364.             "avgcount": 0,
  365.             "sum": 0.000000000,
  366.             "avgtime": 0.000000000
  367.         }
  368.     },
  369.     "mutex-OSD:ShardedOpWQ:.4": {
  370.         "wait": {
  371.             "avgcount": 0,
  372.             "sum": 0.000000000,
  373.             "avgtime": 0.000000000
  374.         }
  375.     },
  376.     "mutex-OSD:ShardedOpWQ:order:.0": {
  377.         "wait": {
  378.             "avgcount": 0,
  379.             "sum": 0.000000000,
  380.             "avgtime": 0.000000000
  381.         }
  382.     },
  383.     "mutex-OSD:ShardedOpWQ:order:.1": {
  384.         "wait": {
  385.             "avgcount": 0,
  386.             "sum": 0.000000000,
  387.             "avgtime": 0.000000000
  388.         }
  389.     },
  390.     "mutex-OSD:ShardedOpWQ:order:.2": {
  391.         "wait": {
  392.             "avgcount": 0,
  393.             "sum": 0.000000000,
  394.             "avgtime": 0.000000000
  395.         }
  396.     },
  397.     "mutex-OSD:ShardedOpWQ:order:.3": {
  398.         "wait": {
  399.             "avgcount": 0,
  400.             "sum": 0.000000000,
  401.             "avgtime": 0.000000000
  402.         }
  403.     },
  404.     "mutex-OSD:ShardedOpWQ:order:.4": {
  405.         "wait": {
  406.             "avgcount": 0,
  407.             "sum": 0.000000000,
  408.             "avgtime": 0.000000000
  409.         }
  410.     },
  411.     "objecter": {
  412.         "op_active": 0,
  413.         "op_laggy": 0,
  414.         "op_send": 0,
  415.         "op_send_bytes": 0,
  416.         "op_resend": 0,
  417.         "op_reply": 0,
  418.         "op": 0,
  419.         "op_r": 0,
  420.         "op_w": 0,
  421.         "op_rmw": 0,
  422.         "op_pg": 0,
  423.         "osdop_stat": 0,
  424.         "osdop_create": 0,
  425.         "osdop_read": 0,
  426.         "osdop_write": 0,
  427.         "osdop_writefull": 0,
  428.         "osdop_writesame": 0,
  429.         "osdop_append": 0,
  430.         "osdop_zero": 0,
  431.         "osdop_truncate": 0,
  432.         "osdop_delete": 0,
  433.         "osdop_mapext": 0,
  434.         "osdop_sparse_read": 0,
  435.         "osdop_clonerange": 0,
  436.         "osdop_getxattr": 0,
  437.         "osdop_setxattr": 0,
  438.         "osdop_cmpxattr": 0,
  439.         "osdop_rmxattr": 0,
  440.         "osdop_resetxattrs": 0,
  441.         "osdop_tmap_up": 0,
  442.         "osdop_tmap_put": 0,
  443.         "osdop_tmap_get": 0,
  444.         "osdop_call": 0,
  445.         "osdop_watch": 0,
  446.         "osdop_notify": 0,
  447.         "osdop_src_cmpxattr": 0,
  448.         "osdop_pgls": 0,
  449.         "osdop_pgls_filter": 0,
  450.         "osdop_other": 0,
  451.         "linger_active": 0,
  452.         "linger_send": 0,
  453.         "linger_resend": 0,
  454.         "linger_ping": 0,
  455.         "poolop_active": 0,
  456.         "poolop_send": 0,
  457.         "poolop_resend": 0,
  458.         "poolstat_active": 0,
  459.         "poolstat_send": 0,
  460.         "poolstat_resend": 0,
  461.         "statfs_active": 0,
  462.         "statfs_send": 0,
  463.         "statfs_resend": 0,
  464.         "command_active": 0,
  465.         "command_send": 0,
  466.         "command_resend": 0,
  467.         "map_epoch": 1147,
  468.         "map_full": 0,
  469.         "map_inc": 536,
  470.         "osd_sessions": 0,
  471.         "osd_session_open": 0,
  472.         "osd_session_close": 0,
  473.         "osd_laggy": 0,
  474.         "omap_wr": 0,
  475.         "omap_rd": 0,
  476.         "omap_del": 0
  477.     },
  478.     "osd": {
  479.         "op_wip": 1,
  480.         "op": 2637234,
  481.         "op_in_bytes": 10469301772,
  482.         "op_out_bytes": 7941630692,
  483.         "op_latency": {
  484.             "avgcount": 2637234,
  485.             "sum": 8104.493573179,
  486.             "avgtime": 0.003073103
  487.         },
  488.         "op_process_latency": {
  489.             "avgcount": 2637234,
  490.             "sum": 6261.082418319,
  491.             "avgtime": 0.002374109
  492.         },
  493.         "op_prepare_latency": {
  494.             "avgcount": 2637254,
  495.             "sum": 4823.198435665,
  496.             "avgtime": 0.001828871
  497.         },
  498.         "op_r": 1931069,
  499.         "op_r_out_bytes": 7941630692,
  500.         "op_r_latency": {
  501.             "avgcount": 1931069,
  502.             "sum": 5834.924509594,
  503.             "avgtime": 0.003021603
  504.         },
  505.         "op_r_process_latency": {
  506.             "avgcount": 1931069,
  507.             "sum": 4607.398252948,
  508.             "avgtime": 0.002385931
  509.         },
  510.         "op_r_prepare_latency": {
  511.             "avgcount": 1931069,
  512.             "sum": 4651.232925029,
  513.             "avgtime": 0.002408631
  514.         },
  515.         "op_w": 656415,
  516.         "op_w_in_bytes": 10187380736,
  517.         "op_w_latency": {
  518.             "avgcount": 656415,
  519.             "sum": 1804.492048807,
  520.             "avgtime": 0.002749010
  521.         },
  522.         "op_w_process_latency": {
  523.             "avgcount": 656415,
  524.             "sum": 1378.962854207,
  525.             "avgtime": 0.002100748
  526.         },
  527.         "op_w_prepare_latency": {
  528.             "avgcount": 656416,
  529.             "sum": 155.526032207,
  530.             "avgtime": 0.000236932
  531.         },
  532.         "op_rw": 49750,
  533.         "op_rw_in_bytes": 281921036,
  534.         "op_rw_out_bytes": 0,
  535.         "op_rw_latency": {
  536.             "avgcount": 49750,
  537.             "sum": 465.077014778,
  538.             "avgtime": 0.009348281
  539.         },
  540.         "op_rw_process_latency": {
  541.             "avgcount": 49750,
  542.             "sum": 274.721311164,
  543.             "avgtime": 0.005522036
  544.         },
  545.         "op_rw_prepare_latency": {
  546.             "avgcount": 49769,
  547.             "sum": 16.439478429,
  548.             "avgtime": 0.000330315
  549.         },
  550.         "op_before_queue_op_lat": {
  551.             "avgcount": 5287571,
  552.             "sum": 512.769458893,
  553.             "avgtime": 0.000096976
  554.         },
  555.         "op_before_dequeue_op_lat": {
  556.             "avgcount": 5300033,
  557.             "sum": 2870.638011206,
  558.             "avgtime": 0.000541626
  559.         },
  560.         "subop": 1228287,
  561.         "subop_in_bytes": 19493558047,
  562.         "subop_latency": {
  563.             "avgcount": 1228287,
  564.             "sum": 1078.479829489,
  565.             "avgtime": 0.000878035
  566.         },
  567.         "subop_w": 1228287,
  568.         "subop_w_in_bytes": 19493558047,
  569.         "subop_w_latency": {
  570.             "avgcount": 1228287,
  571.             "sum": 1078.479829489,
  572.             "avgtime": 0.000878035
  573.         },
  574.         "subop_pull": 0,
  575.         "subop_pull_latency": {
  576.             "avgcount": 0,
  577.             "sum": 0.000000000,
  578.             "avgtime": 0.000000000
  579.         },
  580.         "subop_push": 0,
  581.         "subop_push_in_bytes": 0,
  582.         "subop_push_latency": {
  583.             "avgcount": 0,
  584.             "sum": 0.000000000,
  585.             "avgtime": 0.000000000
  586.         },
  587.         "pull": 0,
  588.         "push": 1540,
  589.         "push_out_bytes": 7110264832,
  590.         "recovery_ops": 1553,
  591.         "loadavg": 1051,
  592.         "buffer_bytes": 0,
  593.         "history_alloc_Mbytes": 0,
  594.         "history_alloc_num": 0,
  595.         "cached_crc": 0,
  596.         "cached_crc_adjusted": 0,
  597.         "missed_crc": 0,
  598.         "numpg": 85,
  599.         "numpg_primary": 24,
  600.         "numpg_replica": 61,
  601.         "numpg_stray": 0,
  602.         "numpg_removing": 0,
  603.         "heartbeat_to_peers": 47,
  604.         "map_messages": 1995,
  605.         "map_message_epochs": 2179,
  606.         "map_message_epoch_dups": 1648,
  607.         "messages_delayed_for_map": 163,
  608.         "osd_map_cache_hit": 59800,
  609.         "osd_map_cache_miss": 3,
  610.         "osd_map_cache_miss_low": 0,
  611.         "osd_map_cache_miss_low_avg": {
  612.             "avgcount": 0,
  613.             "sum": 0
  614.         },
  615.         "osd_map_bl_cache_hit": 2466,
  616.         "osd_map_bl_cache_miss": 3,
  617.         "stat_bytes": 2400471482368,
  618.         "stat_bytes_used": 58423246848,
  619.         "stat_bytes_avail": 2342048235520,
  620.         "copyfrom": 0,
  621.         "tier_promote": 0,
  622.         "tier_flush": 0,
  623.         "tier_flush_fail": 0,
  624.         "tier_try_flush": 0,
  625.         "tier_try_flush_fail": 0,
  626.         "tier_evict": 0,
  627.         "tier_whiteout": 0,
  628.         "tier_dirty": 1,
  629.         "tier_clean": 0,
  630.         "tier_delay": 0,
  631.         "tier_proxy_read": 0,
  632.         "tier_proxy_write": 0,
  633.         "agent_wake": 0,
  634.         "agent_skip": 0,
  635.         "agent_flush": 0,
  636.         "agent_evict": 0,
  637.         "object_ctx_cache_hit": 2650496,
  638.         "object_ctx_cache_total": 2653129,
  639.         "op_cache_hit": 0,
  640.         "osd_tier_flush_lat": {
  641.             "avgcount": 0,
  642.             "sum": 0.000000000,
  643.             "avgtime": 0.000000000
  644.         },
  645.         "osd_tier_promote_lat": {
  646.             "avgcount": 0,
  647.             "sum": 0.000000000,
  648.             "avgtime": 0.000000000
  649.         },
  650.         "osd_tier_r_lat": {
  651.             "avgcount": 0,
  652.             "sum": 0.000000000,
  653.             "avgtime": 0.000000000
  654.         },
  655.         "osd_pg_info": 1944618,
  656.         "osd_pg_fastinfo": 1895763,
  657.         "osd_pg_biginfo": 1247
  658.     },
  659.     "recoverystate_perf": {
  660.         "initial_latency": {
  661.             "avgcount": 112,
  662.             "sum": 1.011058419,
  663.             "avgtime": 0.009027307
  664.         },
  665.         "started_latency": {
  666.             "avgcount": 462,
  667.             "sum": 1608108.277457714,
  668.             "avgtime": 3480.753847311
  669.         },
  670.         "reset_latency": {
  671.             "avgcount": 574,
  672.             "sum": 48.606751969,
  673.             "avgtime": 0.084680752
  674.         },
  675.         "start_latency": {
  676.             "avgcount": 574,
  677.             "sum": 0.017634313,
  678.             "avgtime": 0.000030721
  679.         },
  680.         "primary_latency": {
  681.             "avgcount": 183,
  682.             "sum": 406280.537672877,
  683.             "avgtime": 2220.112227720
  684.         },
  685.         "peering_latency": {
  686.             "avgcount": 184,
  687.             "sum": 147.271474139,
  688.             "avgtime": 0.800388446
  689.         },
  690.         "backfilling_latency": {
  691.             "avgcount": 7,
  692.             "sum": 153.595140754,
  693.             "avgtime": 21.942162964
  694.         },
  695.         "waitremotebackfillreserved_latency": {
  696.             "avgcount": 8,
  697.             "sum": 405.308385245,
  698.             "avgtime": 50.663548155
  699.         },
  700.         "waitlocalbackfillreserved_latency": {
  701.             "avgcount": 16,
  702.             "sum": 6104.228830627,
  703.             "avgtime": 381.514301914
  704.         },
  705.         "notbackfilling_latency": {
  706.             "avgcount": 0,
  707.             "sum": 0.000000000,
  708.             "avgtime": 0.000000000
  709.         },
  710.         "repnotrecovering_latency": {
  711.             "avgcount": 241,
  712.             "sum": 1200645.613423247,
  713.             "avgtime": 4981.932005905
  714.         },
  715.         "repwaitrecoveryreserved_latency": {
  716.             "avgcount": 17,
  717.             "sum": 117.342876031,
  718.             "avgtime": 6.902522119
  719.         },
  720.         "repwaitbackfillreserved_latency": {
  721.             "avgcount": 11,
  722.             "sum": 358.202710008,
  723.             "avgtime": 32.563882728
  724.         },
  725.         "reprecovering_latency": {
  726.             "avgcount": 28,
  727.             "sum": 481.761502990,
  728.             "avgtime": 17.205767963
  729.         },
  730.         "activating_latency": {
  731.             "avgcount": 144,
  732.             "sum": 6.123505741,
  733.             "avgtime": 0.042524345
  734.         },
  735.         "waitlocalrecoveryreserved_latency": {
  736.             "avgcount": 13,
  737.             "sum": 7.220051988,
  738.             "avgtime": 0.555388614
  739.         },
  740.         "waitremoterecoveryreserved_latency": {
  741.             "avgcount": 13,
  742.             "sum": 6.077514994,
  743.             "avgtime": 0.467501153
  744.         },
  745.         "recovering_latency": {
  746.             "avgcount": 13,
  747.             "sum": 2.479446458,
  748.             "avgtime": 0.190726650
  749.         },
  750.         "recovered_latency": {
  751.             "avgcount": 134,
  752.             "sum": 0.003887089,
  753.             "avgtime": 0.000029008
  754.         },
  755.         "clean_latency": {
  756.             "avgcount": 110,
  757.             "sum": 399462.177875403,
  758.             "avgtime": 3631.474344321
  759.         },
  760.         "active_latency": {
  761.             "avgcount": 120,
  762.             "sum": 406134.581477756,
  763.             "avgtime": 3384.454845647
  764.         },
  765.         "replicaactive_latency": {
  766.             "avgcount": 213,
  767.             "sum": 1201592.822756439,
  768.             "avgtime": 5641.280858011
  769.         },
  770.         "stray_latency": {
  771.             "avgcount": 363,
  772.             "sum": 296.477651663,
  773.             "avgtime": 0.816742842
  774.         },
  775.         "getinfo_latency": {
  776.             "avgcount": 184,
  777.             "sum": 4.356340882,
  778.             "avgtime": 0.023675765
  779.         },
  780.         "getlog_latency": {
  781.             "avgcount": 168,
  782.             "sum": 0.125791335,
  783.             "avgtime": 0.000748757
  784.         },
  785.         "waitactingchange_latency": {
  786.             "avgcount": 23,
  787.             "sum": 22.587381908,
  788.             "avgtime": 0.982060082
  789.         },
  790.         "incomplete_latency": {
  791.             "avgcount": 0,
  792.             "sum": 0.000000000,
  793.             "avgtime": 0.000000000
  794.         },
  795.         "down_latency": {
  796.             "avgcount": 0,
  797.             "sum": 0.000000000,
  798.             "avgtime": 0.000000000
  799.         },
  800.         "getmissing_latency": {
  801.             "avgcount": 145,
  802.             "sum": 0.178170721,
  803.             "avgtime": 0.001228763
  804.         },
  805.         "waitupthru_latency": {
  806.             "avgcount": 145,
  807.             "sum": 142.604778627,
  808.             "avgtime": 0.983481231
  809.         },
  810.         "notrecovering_latency": {
  811.             "avgcount": 0,
  812.             "sum": 0.000000000,
  813.             "avgtime": 0.000000000
  814.         }
  815.     },
  816.     "rocksdb": {
  817.         "get": 59147,
  818.         "submit_transaction": 1945845,
  819.         "submit_transaction_sync": 1973697,
  820.         "get_latency": {
  821.             "avgcount": 59147,
  822.             "sum": 1.071160593,
  823.             "avgtime": 0.000018110
  824.         },
  825.         "submit_latency": {
  826.             "avgcount": 1945845,
  827.             "sum": 70.272347955,
  828.             "avgtime": 0.000036114
  829.         },
  830.         "submit_sync_latency": {
  831.             "avgcount": 1973697,
  832.             "sum": 141.436710212,
  833.             "avgtime": 0.000071660
  834.         },
  835.         "compact": 0,
  836.         "compact_range": 0,
  837.         "compact_queue_merge": 0,
  838.         "compact_queue_len": 0,
  839.         "rocksdb_write_wal_time": {
  840.             "avgcount": 0,
  841.             "sum": 0.000000000,
  842.             "avgtime": 0.000000000
  843.         },
  844.         "rocksdb_write_memtable_time": {
  845.             "avgcount": 0,
  846.             "sum": 0.000000000,
  847.             "avgtime": 0.000000000
  848.         },
  849.         "rocksdb_write_delay_time": {
  850.             "avgcount": 0,
  851.             "sum": 0.000000000,
  852.             "avgtime": 0.000000000
  853.         },
  854.         "rocksdb_write_pre_and_post_time": {
  855.             "avgcount": 0,
  856.             "sum": 0.000000000,
  857.             "avgtime": 0.000000000
  858.         }
  859.     },
  860.     "throttle-bluestore_throttle_bytes": {
  861.         "val": 0,
  862.         "max": 67108864,
  863.         "get_started": 1945845,
  864.         "get": 1945845,
  865.         "get_sum": 1407716552242,
  866.         "get_or_fail_fail": 0,
  867.         "get_or_fail_success": 0,
  868.         "take": 0,
  869.         "take_sum": 0,
  870.         "put": 1917713,
  871.         "put_sum": 1407716552242,
  872.         "wait": {
  873.             "avgcount": 5,
  874.             "sum": 0.247184203,
  875.             "avgtime": 0.049436840
  876.         }
  877.     },
  878.     "throttle-bluestore_throttle_deferred_bytes": {
  879.         "val": 37838613,
  880.         "max": 201326592,
  881.         "get_started": 0,
  882.         "get": 1928392,
  883.         "get_sum": 1305111550412,
  884.         "get_or_fail_fail": 0,
  885.         "get_or_fail_success": 1928392,
  886.         "take": 0,
  887.         "take_sum": 0,
  888.         "put": 769909,
  889.         "put_sum": 1305073711799,
  890.         "wait": {
  891.             "avgcount": 0,
  892.             "sum": 0.000000000,
  893.             "avgtime": 0.000000000
  894.         }
  895.     },
  896.     "throttle-msgr_dispatch_throttler-client": {
  897.         "val": 0,
  898.         "max": 104857600,
  899.         "get_started": 0,
  900.         "get": 2637463,
  901.         "get_sum": 11125700780,
  902.         "get_or_fail_fail": 0,
  903.         "get_or_fail_success": 2637463,
  904.         "take": 0,
  905.         "take_sum": 0,
  906.         "put": 2637463,
  907.         "put_sum": 11125700780,
  908.         "wait": {
  909.             "avgcount": 0,
  910.             "sum": 0.000000000,
  911.             "avgtime": 0.000000000
  912.         }
  913.     },
  914.     "throttle-msgr_dispatch_throttler-cluster": {
  915.         "val": 0,
  916.         "max": 104857600,
  917.         "get_started": 0,
  918.         "get": 2656118,
  919.         "get_sum": 38449211787,
  920.         "get_or_fail_fail": 0,
  921.         "get_or_fail_success": 2656118,
  922.         "take": 0,
  923.         "take_sum": 0,
  924.         "put": 2656118,
  925.         "put_sum": 38449211787,
  926.         "wait": {
  927.             "avgcount": 0,
  928.             "sum": 0.000000000,
  929.             "avgtime": 0.000000000
  930.         }
  931.     },
  932.     "throttle-msgr_dispatch_throttler-hb_back_client": {
  933.         "val": 0,
  934.         "max": 104857600,
  935.         "get_started": 0,
  936.         "get": 1096537,
  937.         "get_sum": 2197460148,
  938.         "get_or_fail_fail": 0,
  939.         "get_or_fail_success": 1096537,
  940.         "take": 0,
  941.         "take_sum": 0,
  942.         "put": 1096537,
  943.         "put_sum": 2197460148,
  944.         "wait": {
  945.             "avgcount": 0,
  946.             "sum": 0.000000000,
  947.             "avgtime": 0.000000000
  948.         }
  949.     },
  950.     "throttle-msgr_dispatch_throttler-hb_back_server": {
  951.         "val": 0,
  952.         "max": 104857600,
  953.         "get_started": 0,
  954.         "get": 1239726,
  955.         "get_sum": 2484410904,
  956.         "get_or_fail_fail": 0,
  957.         "get_or_fail_success": 1239726,
  958.         "take": 0,
  959.         "take_sum": 0,
  960.         "put": 1239726,
  961.         "put_sum": 2484410904,
  962.         "wait": {
  963.             "avgcount": 0,
  964.             "sum": 0.000000000,
  965.             "avgtime": 0.000000000
  966.         }
  967.     },
  968.     "throttle-msgr_dispatch_throttler-hb_front_client": {
  969.         "val": 0,
  970.         "max": 104857600,
  971.         "get_started": 0,
  972.         "get": 1096537,
  973.         "get_sum": 2197460148,
  974.         "get_or_fail_fail": 0,
  975.         "get_or_fail_success": 1096537,
  976.         "take": 0,
  977.         "take_sum": 0,
  978.         "put": 1096537,
  979.         "put_sum": 2197460148,
  980.         "wait": {
  981.             "avgcount": 0,
  982.             "sum": 0.000000000,
  983.             "avgtime": 0.000000000
  984.         }
  985.     },
  986.     "throttle-msgr_dispatch_throttler-hb_front_server": {
  987.         "val": 0,
  988.         "max": 104857600,
  989.         "get_started": 0,
  990.         "get": 1239726,
  991.         "get_sum": 2484410904,
  992.         "get_or_fail_fail": 0,
  993.         "get_or_fail_success": 1239726,
  994.         "take": 0,
  995.         "take_sum": 0,
  996.         "put": 1239726,
  997.         "put_sum": 2484410904,
  998.         "wait": {
  999.             "avgcount": 0,
  1000.             "sum": 0.000000000,
  1001.             "avgtime": 0.000000000
  1002.         }
  1003.     },
  1004.     "throttle-msgr_dispatch_throttler-ms_objecter": {
  1005.         "val": 0,
  1006.         "max": 104857600,
  1007.         "get_started": 0,
  1008.         "get": 0,
  1009.         "get_sum": 0,
  1010.         "get_or_fail_fail": 0,
  1011.         "get_or_fail_success": 0,
  1012.         "take": 0,
  1013.         "take_sum": 0,
  1014.         "put": 0,
  1015.         "put_sum": 0,
  1016.         "wait": {
  1017.             "avgcount": 0,
  1018.             "sum": 0.000000000,
  1019.             "avgtime": 0.000000000
  1020.         }
  1021.     },
  1022.     "throttle-objecter_bytes": {
  1023.         "val": 0,
  1024.         "max": 104857600,
  1025.         "get_started": 0,
  1026.         "get": 0,
  1027.         "get_sum": 0,
  1028.         "get_or_fail_fail": 0,
  1029.         "get_or_fail_success": 0,
  1030.         "take": 0,
  1031.         "take_sum": 0,
  1032.         "put": 0,
  1033.         "put_sum": 0,
  1034.         "wait": {
  1035.             "avgcount": 0,
  1036.             "sum": 0.000000000,
  1037.             "avgtime": 0.000000000
  1038.         }
  1039.     },
  1040.     "throttle-objecter_ops": {
  1041.         "val": 0,
  1042.         "max": 1024,
  1043.         "get_started": 0,
  1044.         "get": 0,
  1045.         "get_sum": 0,
  1046.         "get_or_fail_fail": 0,
  1047.         "get_or_fail_success": 0,
  1048.         "take": 0,
  1049.         "take_sum": 0,
  1050.         "put": 0,
  1051.         "put_sum": 0,
  1052.         "wait": {
  1053.             "avgcount": 0,
  1054.             "sum": 0.000000000,
  1055.             "avgtime": 0.000000000
  1056.         }
  1057.     },
  1058.     "throttle-osd_client_bytes": {
  1059.         "val": 4096,
  1060.         "max": 524288000,
  1061.         "get_started": 0,
  1062.         "get": 2637254,
  1063.         "get_sum": 11125215601,
  1064.         "get_or_fail_fail": 0,
  1065.         "get_or_fail_success": 2637254,
  1066.         "take": 0,
  1067.         "take_sum": 0,
  1068.         "put": 3343818,
  1069.         "put_sum": 11125211505,
  1070.         "wait": {
  1071.             "avgcount": 0,
  1072.             "sum": 0.000000000,
  1073.             "avgtime": 0.000000000
  1074.         }
  1075.     }
  1076. }
  1077. [root@os2010 ~]#
  1078.  
  1079.  
  1080. [stack@os2001 ~]$ cat /home/stack/templates/environments/node-spec-overrides.yaml
  1081. parameter_defaults:
  1082.   NodeDataLookup: |
  1083.     {
  1084.     "4c4c4544-0039-4410-8047-b7c04f443333": {
  1085.       "devices": [
  1086.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1c815-lun-0",
  1087.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1f1e9-lun-0",
  1088.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1e015-lun-0",
  1089.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1c6c5-lun-0",
  1090.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b204b5-lun-0",
  1091.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1db81-lun-0",
  1092.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1faad-lun-0",
  1093.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c992d-lun-0",
  1094.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce49485d-lun-0",
  1095.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c3449-lun-0",
  1096.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1c3bd-lun-0",
  1097.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1f929-lun-0",
  1098.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500c9b1c5e5-lun-0",
  1099.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b20405-lun-0",
  1100.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1eb61-lun-0",
  1101.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1c2a5-lun-0",
  1102.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1ecad-lun-0",
  1103.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1d1d5-lun-0",
  1104.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1d081-lun-0",
  1105.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1c8b1-lun-0",
  1106.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1ebcd-lun-0",
  1107.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce415d11-lun-0",
  1108.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500c9b1fc5d-lun-0",
  1109.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce3f2315-lun-0",
  1110.     "/dev/disk/by-path/pci-0000:5e:00.0-nvme-1",
  1111.     "/dev/disk/by-path/pci-0000:5f:00.0-nvme-1",
  1112.     "/dev/disk/by-path/pci-0000:86:00.0-nvme-1",
  1113.     "/dev/disk/by-path/pci-0000:af:00.0-nvme-1"
  1114.         ]
  1115.       },
  1116.     "4c4c4544-0039-4310-804c-b7c04f443333": {
  1117.       "devices": [
  1118.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4190e1-lun-0",
  1119.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4d5079-lun-0",
  1120.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4cc8e9-lun-0",
  1121.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce419731-lun-0",
  1122.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4cc4c1-lun-0",
  1123.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4cc295-lun-0",
  1124.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4dc33d-lun-0",
  1125.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4dd8ed-lun-0",
  1126.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4cc119-lun-0",
  1127.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce415e25-lun-0",
  1128.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4c69dd-lun-0",
  1129.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4d62cd-lun-0",
  1130.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c9c11-lun-0",
  1131.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce417839-lun-0",
  1132.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4d5905-lun-0",
  1133.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c7839-lun-0",
  1134.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4dccc5-lun-0",
  1135.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4dc635-lun-0",
  1136.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce49327d-lun-0",
  1137.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c7601-lun-0",
  1138.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce3eeac5-lun-0",
  1139.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4d9cfd-lun-0",
  1140.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c42e1-lun-0",
  1141.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4d5e1d-lun-0",
  1142.     "/dev/disk/by-path/pci-0000:5e:00.0-nvme-1",
  1143.     "/dev/disk/by-path/pci-0000:5f:00.0-nvme-1",
  1144.     "/dev/disk/by-path/pci-0000:86:00.0-nvme-1",
  1145.     "/dev/disk/by-path/pci-0000:af:00.0-nvme-1"
  1146.         ]
  1147.       },
  1148.     "4c4c4544-0039-4210-804d-b7c04f443333": {
  1149.       "devices": [
  1150.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead6b75-lun-0",
  1151.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4dcd75-lun-0",
  1152.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead6819-lun-0",
  1153.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceae18d1-lun-0",
  1154.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead0469-lun-0",
  1155.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce496a85-lun-0",
  1156.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceadc85d-lun-0",
  1157.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead76d9-lun-0",
  1158.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce4c9891-lun-0",
  1159.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceadeac9-lun-0",
  1160.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce414045-lun-0",
  1161.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ce49330d-lun-0",
  1162.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4d9a41-lun-0",
  1163.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4cc841-lun-0",
  1164.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c4301-lun-0",
  1165.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4c7cdd-lun-0",
  1166.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceace72d-lun-0",
  1167.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead9b49-lun-0",
  1168.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead6ad5-lun-0",
  1169.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead453d-lun-0",
  1170.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceada2fd-lun-0",
  1171.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce419a5d-lun-0",
  1172.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceadcb75-lun-0",
  1173.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ce4d5925-lun-0",
  1174.     "/dev/disk/by-path/pci-0000:5e:00.0-nvme-1",
  1175.     "/dev/disk/by-path/pci-0000:5f:00.0-nvme-1",
  1176.     "/dev/disk/by-path/pci-0000:86:00.0-nvme-1",
  1177.     "/dev/disk/by-path/pci-0000:af:00.0-nvme-1"
  1178.         ]
  1179.       },
  1180.     "4c4c4544-0039-4210-8043-b7c04f443333": {
  1181.       "devices": [
  1182.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceae2439-lun-0",
  1183.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceaca385-lun-0",
  1184.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead866d-lun-0",
  1185.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceadbb89-lun-0",
  1186.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceadcb91-lun-0",
  1187.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceadaaf1-lun-0",
  1188.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead41a1-lun-0",
  1189.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead4815-lun-0",
  1190.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceadd579-lun-0",
  1191.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead1435-lun-0",
  1192.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500ceadaa21-lun-0",
  1193.     "/dev/disk/by-path/pci-0000:18:00.0-sas-0x5000c500cead8789-lun-0",
  1194.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceae0cfd-lun-0",
  1195.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceadfcdd-lun-0",
  1196.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceaccfbd-lun-0",
  1197.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead985d-lun-0",
  1198.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead8749-lun-0",
  1199.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceace57d-lun-0",
  1200.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead43ad-lun-0",
  1201.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500ceadea79-lun-0",
  1202.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead9a2d-lun-0",
  1203.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead1885-lun-0",
  1204.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead2e2d-lun-0",
  1205.     "/dev/disk/by-path/pci-0000:3c:00.0-sas-0x5000c500cead6f69-lun-0",
  1206.     "/dev/disk/by-path/pci-0000:5e:00.0-nvme-1",
  1207.     "/dev/disk/by-path/pci-0000:5f:00.0-nvme-1",
  1208.     "/dev/disk/by-path/pci-0000:86:00.0-nvme-1",
  1209.     "/dev/disk/by-path/pci-0000:af:00.0-nvme-1"
  1210.         ]
  1211.       }
  1212.     }
  1213. [stack@os2001 ~]$
  1214.  
  1215.  
  1216.  
  1217. [stack@os2001 ~]$ cat /home/stack/templates/storage-config.yaml
  1218. parameter_defaults:
  1219.   CephAnsibleDisksConfig:
  1220.     osd_scenario: lvm
  1221.     osd_objectstore: bluestore
  1222.   CephPoolDefaultSize: 3
  1223.   CephPoolDefaultPgNum: 128
  1224.   CephPools:
  1225.     - {"name": .rgw.root, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1226.     - {"name": default.rgw.log, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1227.     - {"name": default.rgw.buckets.data.extra, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1228.     - {"name": default.rgw.buckets.data, "pg_num": 256, "pgp_num": 256, "application": rgw}
  1229.     - {"name": default.rgw.buckets.index, "pg_num": 128, "pgp_num": 128, "application": rgw}
  1230.     - {"name": default.rgw.buckets.non-ec, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1231.     - {"name": default.rgw.control, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1232.     - {"name": default.rgw.users, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1233.     - {"name": default.rgw.users.email, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1234.     - {"name": default.rgw.users.keys, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1235.     - {"name": default.rgw.users.swift, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1236.     - {"name": default.rgw.users.uid, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1237.     - {"name": default.rgw.meta, "pg_num": 64, "pgp_num": 64, "application": rgw}
  1238.     - {"name": backups, "pg_num": 256, "pgp_num": 256, "application": rbd}
  1239.     - {"name": volumes, "pg_num": 1024, "pgp_num": 1024, "application": rbd}
  1240.     - {"name": vms, "pg_num": 256, "pgp_num": 256, "application": rbd}
  1241.     - {"name": images, "pg_num": 64, "pgp_num": 64, "application": rbd}
  1242.     - {"name": metrics, "pg_num": 128, "pgp_num": 128, "application": openstack_gnocchi}
  1243.     - {"name": manila_data, "pg_num": 256, "pgp_num": 256, "application": cephfs}
  1244.     - {"name": manila_metadata, "pg_num": 64, "pgp_num": 64, "application": cephfs}
  1245.   CephConfigOverrides:
  1246.     osd_recovery_op_priority: 3
  1247.     osd_recovery_max_active: 3
  1248.     osd_max_backfills: 1
  1249.     rgw_swift_account_in_url: true
  1250.     global:
  1251.       max_open_files: 131072
  1252.       mon_pg_warn_max_object_skew: 30
  1253.     osd:
  1254.       osd_scrub_during_recovery: false
  1255.       osd_deep_scrub_stride: 1048576
  1256.       osd_scrub_begin_hour: 22
  1257.       osd_scrub_end_hour: 6
  1258.   CephAnsibleExtraConfig:
  1259.     health_osd_check_delay: 40
  1260.     health_osd_check_retries: 3
  1261. [stack@os2001 ~]$
  1262.  
  1263.  
  1264. IOSTAT DAS NVME.
  1265.  
  1266. 09/28/2020 11:00:16 AM
  1267. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1268.            6.28    0.00    3.35   27.82    0.00   62.55
  1269.  
  1270. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1271. nvme1n1           0.00     5.00    0.00 1219.00     0.00 12488.00    20.49     0.05    0.04    0.00    0.04   0.03   3.10
  1272. nvme0n1           0.00     6.00    0.00 1291.00     0.00 13216.00    20.47     0.04    0.03    0.00    0.03   0.03   3.40
  1273. nvme2n1           0.00     5.00    0.00 1370.00     0.00 14004.00    20.44     0.03    0.02    0.00    0.02   0.02   2.40
  1274. nvme3n1           0.00     6.00    0.00 1214.00     0.00 12800.00    21.09     0.06    0.05    0.00    0.05   0.02   2.60
  1275.  
  1276. 09/28/2020 11:00:17 AM
  1277. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1278.            4.01    0.00    2.06   31.96    0.00   61.97
  1279.  
  1280. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1281. nvme1n1           0.00     4.00    0.00  597.00     0.00  5904.00    19.78     0.01    0.02    0.00    0.02   0.02   1.00
  1282. nvme0n1           0.00     3.00    0.00  653.00     0.00  6680.00    20.46     0.01    0.02    0.00    0.02   0.02   1.30
  1283. nvme2n1           0.00     5.00    0.00  650.00     0.00  6760.00    20.80     0.03    0.05    0.00    0.05   0.02   1.50
  1284. nvme3n1           0.00     3.00    0.00  686.00     0.00  6892.00    20.09     0.01    0.02    0.00    0.02   0.02   1.30
  1285.  
  1286. 09/28/2020 11:00:18 AM
  1287. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1288.            3.85    0.00    2.10   32.23    0.00   61.82
  1289.  
  1290. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1291. nvme1n1           0.00     3.00    0.00  602.00     0.00  6004.00    19.95     0.01    0.02    0.00    0.02   0.02   1.30
  1292. nvme0n1           0.00     2.00    0.00  616.00     0.00  6288.00    20.42     0.03    0.05    0.00    0.05   0.02   1.50
  1293. nvme2n1           0.00     3.00    0.00  706.00     0.00  7136.00    20.22     0.02    0.03    0.00    0.03   0.03   1.80
  1294. nvme3n1           0.00     2.00    0.00  682.00     0.00  6880.00    20.18     0.02    0.03    0.00    0.03   0.02   1.70
  1295.  
  1296. 09/28/2020 11:00:19 AM
  1297. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1298.            4.24    0.00    2.02   32.26    0.00   61.48
  1299.  
  1300. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1301. nvme1n1           0.00     3.00    0.00  603.00     0.00  6192.00    20.54     0.02    0.03    0.00    0.03   0.03   1.70
  1302. nvme0n1           0.00     4.00    0.00  674.00     0.00  6792.00    20.15     0.03    0.04    0.00    0.04   0.03   1.80
  1303. nvme2n1           0.00     4.00    0.00  689.00     0.00  7248.00    21.04     0.03    0.05    0.00    0.05   0.02   1.40
  1304. nvme3n1           0.00     5.00    0.00  697.00     0.00  7100.00    20.37     0.02    0.02    0.00    0.02   0.02   1.40
  1305.  
  1306. 09/28/2020 11:00:20 AM
  1307. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1308.            4.17    0.00    2.17   33.22    0.00   60.43
  1309.  
  1310. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1311. nvme1n1           0.00     5.00    0.00  752.00     0.00  7568.00    20.13     0.05    0.07    0.00    0.07   0.04   2.80
  1312. nvme0n1           0.00     3.00    0.00  801.00     0.00  8100.00    20.22     0.02    0.03    0.00    0.03   0.02   2.00
  1313. nvme2n1           0.00     5.00    0.00  801.00     0.00  8024.00    20.03     0.01    0.01    0.00    0.01   0.01   1.10
  1314. nvme3n1           0.00     6.00    0.00  742.00     0.00  7560.00    20.38     0.02    0.03    0.00    0.03   0.03   2.00
  1315.  
  1316. 09/28/2020 11:00:21 AM
  1317. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1318.            4.00    0.00    1.96   35.39    0.00   58.66
  1319.  
  1320. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1321. nvme1n1           0.00     2.00    0.00  566.00     0.00  5648.00    19.96     0.02    0.03    0.00    0.03   0.02   0.90
  1322. nvme0n1           0.00     1.00    0.00  649.00     0.00  6476.00    19.96     0.01    0.02    0.00    0.02   0.02   1.10
  1323. nvme2n1           0.00     2.00    0.00  671.00     0.00  6856.00    20.44     0.03    0.03    0.00    0.03   0.02   1.60
  1324. nvme3n1           0.00     2.00    0.00  648.00     0.00  6588.00    20.33     0.02    0.03    0.00    0.03   0.02   1.50
  1325.  
  1326. 09/28/2020 11:00:22 AM
  1327. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1328.            3.56    0.00    2.10   33.37    0.00   60.97
  1329.  
  1330. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1331. nvme1n1           0.00     1.00    0.00  551.00     0.00  5636.00    20.46     0.03    0.05    0.00    0.05   0.03   1.70
  1332. nvme0n1           0.00     3.00    0.00  608.00     0.00  6124.00    20.14     0.01    0.02    0.00    0.02   0.02   1.40
  1333. nvme2n1           0.00     3.00    0.00  629.00     0.00  6312.00    20.07     0.03    0.05    0.00    0.05   0.03   1.90
  1334. nvme3n1           0.00     1.00    0.00  550.00     0.00  5580.00    20.29     0.03    0.05    0.00    0.05   0.03   1.50
  1335.  
  1336. 09/28/2020 11:00:23 AM
  1337. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1338.            5.48    0.00    2.89   34.05    0.00   57.59
  1339.  
  1340. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1341. nvme1n1           0.00     6.00    0.00 1038.00     0.00 10612.00    20.45     0.02    0.02    0.00    0.02   0.02   2.00
  1342. nvme0n1           0.00     4.00    0.00 1062.00     0.00 10732.00    20.21     0.04    0.04    0.00    0.04   0.03   3.10
  1343. nvme2n1           0.00     7.00    0.00 1159.00     0.00 12396.00    21.39     0.04    0.04    0.00    0.04   0.02   2.60
  1344. nvme3n1           0.00     5.00    0.00 1173.00     0.00 12176.00    20.76     0.04    0.03    0.00    0.03   0.02   1.90
  1345.  
  1346. 09/28/2020 11:00:24 AM
  1347. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1348.            3.94    0.00    2.04   34.41    0.00   59.62
  1349.  
  1350. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1351. nvme1n1           0.00     3.00    0.00  616.00     0.00  6396.00    20.77     0.01    0.02    0.00    0.02   0.01   0.90
  1352. nvme0n1           0.00     4.00    0.00  610.00     0.00  6472.00    21.22     0.02    0.03    0.00    0.03   0.02   1.50
  1353. nvme2n1           0.00     2.00    0.00  709.00     0.00  7372.00    20.80     0.01    0.02    0.00    0.02   0.02   1.10
  1354. nvme3n1           0.00     2.00    0.00  675.00     0.00  6912.00    20.48     0.01    0.01    0.00    0.01   0.01   0.90
  1355.  
  1356. 09/28/2020 11:00:25 AM
  1357. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1358.            5.84    0.00    2.86   33.56    0.00   57.74
  1359.  
  1360. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1361. nvme1n1           0.00     5.00    0.00 1027.00     0.00 10932.00    21.29     0.04    0.04    0.00    0.04   0.03   2.70
  1362. nvme0n1           0.00     8.00    0.00 1075.00     0.00 11564.00    21.51     0.03    0.03    0.00    0.03   0.02   2.60
  1363. nvme2n1           0.00     8.00    0.00 1141.00     0.00 12292.00    21.55     0.03    0.03    0.00    0.03   0.02   2.10
  1364. nvme3n1           0.00     6.00    0.00 1011.00     0.00 10696.00    21.16     0.02    0.02    0.00    0.02   0.02   1.80
  1365.  
  1366. 09/28/2020 11:00:26 AM
  1367. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1368.            4.49    0.00    2.41   35.99    0.00   57.11
  1369.  
  1370. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1371. nvme1n1           0.00     5.00    0.00  761.00     0.00  7708.00    20.26     0.02    0.02    0.00    0.02   0.02   1.60
  1372. nvme0n1           0.00     4.00    0.00  834.00     0.00  8520.00    20.43     0.02    0.02    0.00    0.02   0.02   1.50
  1373. nvme2n1           0.00     4.00    0.00  857.00     0.00  8688.00    20.28     0.01    0.02    0.00    0.02   0.02   1.30
  1374. nvme3n1           0.00     5.00    0.00  922.00     0.00  9564.00    20.75     0.02    0.02    0.00    0.02   0.02   2.00
  1375.  
  1376. 09/28/2020 11:00:27 AM
  1377. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1378.            3.49    0.00    1.87   35.41    0.00   59.24
  1379.  
  1380. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1381. nvme1n1           0.00     3.00    0.00  522.00     0.00  5208.00    19.95     0.01    0.02    0.00    0.02   0.02   0.90
  1382. nvme0n1           0.00     2.00    0.00  502.00     0.00  5020.00    20.00     0.01    0.01    0.00    0.01   0.01   0.60
  1383. nvme2n1           0.00     2.00    0.00  535.00     0.00  5396.00    20.17     0.00    0.01    0.00    0.01   0.01   0.40
  1384. nvme3n1           0.00     5.00    0.00  507.00     0.00  5068.00    19.99     0.01    0.02    0.00    0.02   0.02   0.80
  1385.  
  1386. 09/28/2020 11:00:28 AM
  1387. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1388.            4.48    0.00    2.34   32.93    0.00   60.25
  1389.  
  1390. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1391. nvme1n1           0.00     3.00    0.00  765.00     0.00  7712.00    20.16     0.01    0.01    0.00    0.01   0.01   0.90
  1392. nvme0n1           0.00     4.00    0.00  785.00     0.00  8032.00    20.46     0.06    0.05    0.00    0.05   0.03   2.10
  1393. nvme2n1           0.00     6.00    0.00  871.00     0.00  8840.00    20.30     0.03    0.03    0.00    0.03   0.02   1.90
  1394. nvme3n1           0.00     2.00    0.00  784.00     0.00  7860.00    20.05     0.01    0.02    0.00    0.02   0.01   1.10
  1395.  
  1396. 09/28/2020 11:00:29 AM
  1397. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  1398.            4.77    0.00    2.54   29.91    0.00   62.78
  1399.  
  1400. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  1401. nvme1n1           0.00     5.00    0.00  808.00     0.00  8360.00    20.69     0.04    0.04    0.00    0.04   0.02   1.90
  1402. nvme0n1           0.00     4.00    0.00  827.00     0.00  8552.00    20.68     0.01    0.02    0.00    0.02   0.02   1.30
  1403. nvme2n1           0.00     5.00    0.00  909.00     0.00  9356.00    20.59     0.03    0.03    0.00    0.03   0.03   2.60
  1404. nvme3n1           0.00     4.00    0.00  842.00     0.00  8784.00    20.86     0.03    0.03    0.00    0.03   0.02   2.00
  1405.  
  1406.  
  1407.  
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement
Public Pastes
Advertisement
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy.  OK, I Understand
Not a member of Pastebin yet?
Sign Up, it unlocks many cool features!