Advertisement
alohamora007

ceph-osd-corruption

Aug 16th, 2017
536
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Bash 58.94 KB | None | 0 0
  1.  
  2. [root@qcttwcoec24 ~]# ceph-disk  activate /dev/sdm1
  3. Removed symlink /etc/systemd/system/ceph-osd.target.wants/ceph-osd@54.service.
  4. Created symlink from /etc/systemd/system/ceph-osd.target.wants/ceph-osd@54.service to /usr/lib/systemd/system/ceph-osd@.service.
  5. [root@qcttwcoec24 ~]#
  6.  
  7. ------------------------------------
  8. OSD 54 logs after ceph-disk activate
  9. ------------------------------------
  10.  
  11. 2017-08-16 12:11:51.678810 7f8de4b9f800  0 set uid:gid to 167:167 (ceph:ceph)
  12. 2017-08-16 12:11:51.678823 7f8de4b9f800  0 ceph version 10.2.7-28.0.TEST.bz1470301.el7cp (8950adbd3b787f57ba50a41d5289dee56dc02e44), process ceph-osd, pid 24708
  13. 2017-08-16 12:11:51.679453 7f8de4b9f800  0 pidfile_write: ignore empty --pid-file
  14. 2017-08-16 12:11:51.703338 7f8de4b9f800  0 filestore(/var/lib/ceph/osd/ceph-54) backend xfs (magic 0x58465342)
  15. 2017-08-16 12:11:52.686715 7f8de4b9f800 -1 genericfilestorebackend(/var/lib/ceph/osd/ceph-54) detect_features: unable to create /var/lib/ceph/osd/ceph-54/fiemap_test: (28) No space left on device
  16. 2017-08-16 12:11:52.686730 7f8de4b9f800 -1 filestore(/var/lib/ceph/osd/ceph-54) _detect_fs: detect_features error: (28) No space left on device
  17. 2017-08-16 12:11:52.686732 7f8de4b9f800 -1 filestore(/var/lib/ceph/osd/ceph-54) FileStore::mount: error in _detect_fs: (28) No space left on device
  18. 2017-08-16 12:11:52.686739 7f8de4b9f800 -1 osd.54 0 OSD:init: unable to mount object store
  19. 2017-08-16 12:11:52.686744 7f8de4b9f800 -1  ** ERROR: osd init failed: (28) No space left on device
  20.  
  21. ------------------------------------
  22. OSD.54 has enough free capacity
  23. ------------------------------------
  24.  
  25. [root@qcttwcoec24 ceph-14]# df -h /dev/sdm1
  26. Filesystem      Size  Used Avail Use% Mounted on
  27. /dev/sdm1       5.5T  710G  4.8T  13% /var/lib/ceph/osd/ceph-54
  28. [root@qcttwcoec24 ceph-14]#
  29.  
  30. ------------------------------------------------
  31. Not able to create any file on osd.54 filesystem
  32. ------------------------------------------------
  33.  
  34. [root@qcttwcoec24 ceph-14]# touch /var/lib/ceph/osd/ceph-54/dummy-file
  35. touch: cannot touch β€˜/var/lib/ceph/osd/ceph-54/dummy-file’: No space left on device
  36. [root@qcttwcoec24 ceph-14]# umount /dev/sdm1
  37.  
  38. ----------------
  39. Tried xfs_repair
  40. ----------------
  41.  
  42. [root@qcttwcoec24 ~]# xfs_repair /dev/sdm1
  43. Phase 1 - find and verify superblock...
  44. Phase 2 - using internal log
  45.         - zero log...
  46.         - scan filesystem freespace and inode maps...
  47. Metadata CRC error detected at xfs_allocbt block 0x1000ecf70/0x1000
  48. btree block 2/121328 is suspect, error -74
  49. bad magic # 0 in btbno block 2/121328
  50. block (2,185769-185769) multiply claimed by cnt space tree, state - 2
  51. block (2,200631-200631) multiply claimed by cnt space tree, state - 2
  52. block (2,217486-217486) multiply claimed by cnt space tree, state - 2
  53. Metadata CRC error detected at xfs_allocbt block 0x1804c70d8/0x1000
  54. ....
  55. output skipped
  56. ....
  57. Metadata corruption detected at xfs_dir3_block block 0x1006dbf10/0x1000
  58. libxfs_writebufr: write verifer failed on xfs_dir3_block bno 0x1006dbf10/0x1000
  59. Maximum metadata LSN (14221312:3538944) is ahead of log (1:8).
  60. Format log to cycle 14221315.
  61. releasing dirty buffer (bulk) to free list!done
  62. [root@qcttwcoec24 ~]#
  63.  
  64. ----------------------------------------
  65. Able to create new file after xfs_repair
  66. ----------------------------------------
  67. [root@qcttwcoec24 ~]# touch /var/lib/ceph/osd/ceph-54/dummy-file
  68. [root@qcttwcoec24 ~]#
  69. [root@qcttwcoec24 ~]# ls -l /var/lib/ceph/osd/ceph-54/dummy-file
  70. -rw-r--r-- 1 root root 0 Aug 16 13:47 /var/lib/ceph/osd/ceph-54/dummy-file
  71. [root@qcttwcoec24 ~]#
  72.  
  73. ----------------------------------------
  74. Retried ceph-disk activate
  75. ----------------------------------------
  76.  
  77. [root@qcttwcoec24 ~]# ceph-disk  activate /dev/sdm1
  78. Removed symlink /etc/systemd/system/ceph-osd.target.wants/ceph-osd@54.service.
  79. Created symlink from /etc/systemd/system/ceph-osd.target.wants/ceph-osd@54.service to /usr/lib/systemd/system/ceph-osd@.service.
  80. [root@qcttwcoec24 ~]#
  81.  
  82. ----------------------------------------
  83. osd.54 status is 'activating'
  84. ----------------------------------------
  85.  
  86. [root@qcttwcoec24 ~]# systemctl status ceph-osd@54.service
  87. ● ceph-osd@54.service - Ceph object storage daemon
  88.    Loaded: loaded (/usr/lib/systemd/system/ceph-osd@.service; enabled; vendor preset: disabled)
  89.    Active: activating (auto-restart) (Result: exit-code) since Wed 2017-08-16 12:20:51 UTC; 19s ago
  90.   Process: 27254 ExecStart=/usr/bin/ceph-osd -f --cluster ${CLUSTER} --id %i --setuser ceph --setgroup ceph (code=exited, status=1/FAILURE)
  91.   Process: 27203 ExecStartPre=/usr/lib/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id %i (code=exited, status=0/SUCCESS)
  92.  Main PID: 27254 (code=exited, status=1/FAILURE)
  93.  
  94. Aug 16 12:20:51 qcttwcoec24.qct.com systemd[1]: Unit ceph-osd@54.service entered failed state.
  95. Aug 16 12:20:51 qcttwcoec24.qct.com systemd[1]: ceph-osd@54.service failed.
  96. [root@qcttwcoec24 ~]#
  97.  
  98. ----------------------------------------
  99. osd.54 logs after ceph-disk activate
  100. ----------------------------------------
  101.  
  102. 2017-08-16 12:21:11.915230 7f11b5fd2800  0 set uid:gid to 167:167 (ceph:ceph)
  103. 2017-08-16 12:21:11.915244 7f11b5fd2800  0 ceph version 10.2.7-28.0.TEST.bz1470301.el7cp (8950adbd3b787f57ba50a41d5289dee56dc02e44), process ceph-osd, pid 27392
  104. 2017-08-16 12:21:11.915905 7f11b5fd2800  0 pidfile_write: ignore empty --pid-file
  105. 2017-08-16 12:21:11.941815 7f11b5fd2800  0 filestore(/var/lib/ceph/osd/ceph-54) backend xfs (magic 0x58465342)
  106. 2017-08-16 12:21:11.942130 7f11b5fd2800  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-54) detect_features: FIEMAP ioctl is disabled via 'filestore fiemap' config option
  107. 2017-08-16 12:21:11.942135 7f11b5fd2800  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-54) detect_features: SEEK_DATA/SEEK_HOLE is disabled via 'filestore seek data hole' config option
  108. 2017-08-16 12:21:11.942147 7f11b5fd2800  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-54) detect_features: splice is supported
  109. 2017-08-16 12:21:11.954078 7f11b5fd2800  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-54) detect_features: syncfs(2) syscall fully supported (by glibc and kernel)
  110. 2017-08-16 12:21:11.954157 7f11b5fd2800  0 xfsfilestorebackend(/var/lib/ceph/osd/ceph-54) detect_feature: extsize is disabled by conf
  111. 2017-08-16 12:21:11.955999 7f11b5fd2800 -1 filestore(/var/lib/ceph/osd/ceph-54) Error initializing leveldb : Corruption: checksum mismatch
  112. 2017-08-16 12:21:11.956008 7f11b5fd2800 -1 osd.54 0 OSD:init: unable to mount object store
  113. 2017-08-16 12:21:11.956013 7f11b5fd2800 -1  ** ERROR: osd init failed: (1) Operation not permitted
  114.  
  115. ---------------
  116. Cluster Output
  117. ---------------
  118.  
  119. [root@qcttwcoec24 ~]# ceph -s
  120.     cluster 4411097d-ba0c-4a23-b043-a347bfe9e009
  121.      health HEALTH_WARN
  122.             nodown,noout,nobackfill,norecover,noscrub,nodeep-scrub flag(s) set
  123.      monmap e1: 3 mons at {qcttwcoehd42=10.102.46.42:6789/0,qcttwcoehd43=10.102.46.43:6789/0,qcttwcoehd44=10.102.46.44:6789/0}
  124.             election epoch 58, quorum 0,1,2 qcttwcoehd42,qcttwcoehd43,qcttwcoehd44
  125.      osdmap e68419: 666 osds: 666 up, 666 in
  126.             flags nodown,noout,nobackfill,norecover,noscrub,nodeep-scrub,sortbitwise,require_jewel_osds
  127.       pgmap v4541881: 42408 pgs, 13 pools, 262 TB data, 68989 kobjects
  128.             411 TB used, 3027 TB / 3438 TB avail
  129.                42408 active+clean
  130. [root@qcttwcoec24 ~]#
  131. [root@qcttwcoec24 ~]# ceph df
  132. GLOBAL:
  133.     SIZE      AVAIL     RAW USED     %RAW USED
  134.     3438T     3027T         411T         11.96
  135. POOLS:
  136.     NAME                           ID     USED       %USED     MAX AVAIL     OBJECTS
  137.     default.rgw.users.uid          18        657         0          976T            3
  138.     .rgw.root                      20       1236         0          976T            2
  139.     default.rgw.control            21          0         0          976T           15
  140.     default.rgw.data.root          22      18418         0          976T           59
  141.     default.rgw.gc                 23          0         0          976T           32
  142.     default.rgw.log                24          0         0          976T            0
  143.     default.rgw.users.keys         25         19         0          976T            2
  144.     default.rgw.users.swift        26          9         0          976T            1
  145.     default.rgw.buckets.data       27       239T     10.92         1952T     64619304
  146.     rbd                            29     11115G      1.10          976T      2848369
  147.     default.rgw.buckets.index      34          0         0          380G         2704
  148.     default.rgw.buckets.non-ec     35          0         0          976T         5547
  149.     rados-bench-cbt                38     12378G      0.62         1952T      3168966
  150. [root@qcttwcoec24 ~]#
  151. [root@qcttwcoec24 ~]# ceph osd tree
  152. ID  WEIGHT     TYPE NAME                UP/DOWN REWEIGHT PRIMARY-AFFINITY
  153.  -2    1.47574 root ssd
  154. -22    0.08199     host qcttwcoec25-ssd
  155. 661    0.04099         osd.661               up  1.00000          1.00000
  156. 700    0.04099         osd.700               up  1.00000          1.00000
  157. -23    0.08199     host qcttwcoec27-ssd
  158. 635    0.04099         osd.635               up  1.00000          1.00000
  159. 637    0.04099         osd.637               up  1.00000          1.00000
  160. -24    0.08199     host qcttwcoec23-ssd
  161. 653    0.04099         osd.653               up  1.00000          1.00000
  162. 699    0.04099         osd.699               up  1.00000          1.00000
  163. -25    0.08199     host qcttwcoec24-ssd
  164. 667    0.04099         osd.667               up  1.00000          1.00000
  165. 677    0.04099         osd.677               up  1.00000          1.00000
  166. -26    0.08199     host qcttwcoec28-ssd
  167. 639    0.04099         osd.639               up  1.00000          1.00000
  168. 641    0.04099         osd.641               up  1.00000          1.00000
  169. -27    0.08199     host qcttwcoec29-ssd
  170. 671    0.04099         osd.671               up  1.00000          1.00000
  171. 683    0.04099         osd.683               up  1.00000          1.00000
  172. -28    0.08199     host qcttwcoec30-ssd
  173. 665    0.04099         osd.665               up  1.00000          1.00000
  174. 695    0.04099         osd.695               up  1.00000          1.00000
  175. -29    0.08199     host qcttwcoec31-ssd
  176. 643    0.04099         osd.643               up  1.00000          1.00000
  177. 675    0.04099         osd.675               up  1.00000          1.00000
  178. -30    0.08199     host qcttwcoec32-ssd
  179. 647    0.04099         osd.647               up  1.00000          1.00000
  180. 687    0.04099         osd.687               up  1.00000          1.00000
  181. -31    0.08199     host qcttwcoec33-ssd
  182. 655    0.04099         osd.655               up  1.00000          1.00000
  183. 701    0.04099         osd.701               up  1.00000          1.00000
  184. -32    0.08199     host qcttwcoec34-ssd
  185. 669    0.04099         osd.669               up  1.00000          1.00000
  186. 691    0.04099         osd.691               up  1.00000          1.00000
  187. -33    0.08199     host qcttwcoec35-ssd
  188. 659    0.04099         osd.659               up  1.00000          1.00000
  189. 689    0.04099         osd.689               up  1.00000          1.00000
  190. -34    0.08199     host qcttwcoec36-ssd
  191. 649    0.04099         osd.649               up  1.00000          1.00000
  192. 681    0.04099         osd.681               up  1.00000          1.00000
  193. -35    0.08199     host qcttwcoec37-ssd
  194. 663    0.04099         osd.663               up  1.00000          1.00000
  195. 702    0.04099         osd.702               up  1.00000          1.00000
  196. -36    0.08199     host qcttwcoec38-ssd
  197. 645    0.04099         osd.645               up  1.00000          1.00000
  198.   0    0.04099         osd.0                 up  1.00000          1.00000
  199. -37    0.08199     host qcttwcoec39-ssd
  200. 657    0.04099         osd.657               up  1.00000          1.00000
  201. 697    0.04099         osd.697               up  1.00000          1.00000
  202. -38    0.08199     host qcttwcoec40-ssd
  203. 673    0.04099         osd.673               up  1.00000          1.00000
  204. 693    0.04099         osd.693               up  1.00000          1.00000
  205. -39    0.08199     host qcttwcoec22-ssd
  206. 651    0.04099         osd.651               up  1.00000          1.00000
  207. 679    0.04099         osd.679               up  1.00000          1.00000
  208.  -1 3437.28003 root default
  209.  -3  190.96001     host qcttwcoec25
  210.   2    5.45599         osd.2                 up  1.00000          1.00000
  211.   6    5.45599         osd.6                 up  1.00000          1.00000
  212.  10    5.45599         osd.10                up  1.00000          1.00000
  213.  16    5.45599         osd.16                up  1.00000          1.00000
  214.  21    5.45599         osd.21                up  1.00000          1.00000
  215.  26    5.45599         osd.26                up  1.00000          1.00000
  216.  31    5.45599         osd.31                up  1.00000          1.00000
  217.  35    5.45599         osd.35                up  1.00000          1.00000
  218.  40    5.45599         osd.40                up  1.00000          1.00000
  219.  45    5.45599         osd.45                up  1.00000          1.00000
  220.  50    5.45599         osd.50                up  1.00000          1.00000
  221.  55    5.45599         osd.55                up  1.00000          1.00000
  222.  60    5.45599         osd.60                up  1.00000          1.00000
  223.  65    5.45599         osd.65                up  1.00000          1.00000
  224.  70    5.45599         osd.70                up  1.00000          1.00000
  225.  75    5.45599         osd.75                up  1.00000          1.00000
  226.  80    5.45599         osd.80                up  1.00000          1.00000
  227.  85    5.45599         osd.85                up  1.00000          1.00000
  228.  90    5.45599         osd.90                up  1.00000          1.00000
  229.  95    5.45599         osd.95                up  1.00000          1.00000
  230. 100    5.45599         osd.100               up  1.00000          1.00000
  231. 105    5.45599         osd.105               up  1.00000          1.00000
  232. 110    5.45599         osd.110               up  1.00000          1.00000
  233. 115    5.45599         osd.115               up  1.00000          1.00000
  234. 120    5.45599         osd.120               up  1.00000          1.00000
  235. 125    5.45599         osd.125               up  1.00000          1.00000
  236. 130    5.45599         osd.130               up  1.00000          1.00000
  237. 135    5.45599         osd.135               up  1.00000          1.00000
  238. 140    5.45599         osd.140               up  1.00000          1.00000
  239. 145    5.45599         osd.145               up  1.00000          1.00000
  240. 150    5.45599         osd.150               up  1.00000          1.00000
  241. 155    5.45599         osd.155               up  1.00000          1.00000
  242. 160    5.45599         osd.160               up  1.00000          1.00000
  243. 165    5.45599         osd.165               up  1.00000          1.00000
  244. 170    5.45599         osd.170               up  1.00000          1.00000
  245.  -4  190.96001     host qcttwcoec27
  246.   3    5.45599         osd.3                 up  1.00000          1.00000
  247.   8    5.45599         osd.8                 up  1.00000          1.00000
  248.  13    5.45599         osd.13                up  1.00000          1.00000
  249.  19    5.45599         osd.19                up  1.00000          1.00000
  250.  23    5.45599         osd.23                up  1.00000          1.00000
  251.  28    5.45599         osd.28                up  1.00000          1.00000
  252.  32    5.45599         osd.32                up  1.00000          1.00000
  253.  37    5.45599         osd.37                up  1.00000          1.00000
  254.  43    5.45599         osd.43                up  1.00000          1.00000
  255.  48    5.45599         osd.48                up  1.00000          1.00000
  256.  53    5.45599         osd.53                up  1.00000          1.00000
  257.  58    5.45599         osd.58                up  1.00000          1.00000
  258.  63    5.45599         osd.63                up  1.00000          1.00000
  259.  67    5.45599         osd.67                up  1.00000          1.00000
  260.  72    5.45599         osd.72                up  1.00000          1.00000
  261.  77    5.45599         osd.77                up  1.00000          1.00000
  262.  82    5.45599         osd.82                up  1.00000          1.00000
  263.  86    5.45599         osd.86                up  1.00000          1.00000
  264.  91    5.45599         osd.91                up  1.00000          1.00000
  265.  97    5.45599         osd.97                up  1.00000          1.00000
  266. 102    5.45599         osd.102               up  1.00000          1.00000
  267. 108    5.45599         osd.108               up  1.00000          1.00000
  268. 113    5.45599         osd.113               up  1.00000          1.00000
  269. 118    5.45599         osd.118               up  1.00000          1.00000
  270. 123    5.45599         osd.123               up  1.00000          1.00000
  271. 128    5.45599         osd.128               up  1.00000          1.00000
  272. 133    5.45599         osd.133               up  1.00000          1.00000
  273. 138    5.45599         osd.138               up  1.00000          1.00000
  274. 143    5.45599         osd.143               up  1.00000          1.00000
  275. 148    5.45599         osd.148               up  1.00000          1.00000
  276. 153    5.45599         osd.153               up  1.00000          1.00000
  277. 158    5.45599         osd.158               up  1.00000          1.00000
  278. 163    5.45599         osd.163               up  1.00000          1.00000
  279. 168    5.45599         osd.168               up  1.00000          1.00000
  280. 173    5.45599         osd.173               up  1.00000          1.00000
  281.  -5  190.96001     host qcttwcoec23
  282.   1    5.45599         osd.1                 up  1.00000          1.00000
  283.   7    5.45599         osd.7                 up  1.00000          1.00000
  284.  12    5.45599         osd.12                up  1.00000          1.00000
  285.  17    5.45599         osd.17                up  1.00000          1.00000
  286.  22    5.45599         osd.22                up  1.00000          1.00000
  287.  27    5.45599         osd.27                up  1.00000          1.00000
  288.  33    5.45599         osd.33                up  1.00000          1.00000
  289.  38    5.45599         osd.38                up  1.00000          1.00000
  290.  42    5.45599         osd.42                up  1.00000          1.00000
  291.  47    5.45599         osd.47                up  1.00000          1.00000
  292.  52    5.45599         osd.52                up  1.00000          1.00000
  293.  57    5.45599         osd.57                up  1.00000          1.00000
  294.  62    5.45599         osd.62                up  1.00000          1.00000
  295.  66    5.45599         osd.66                up  1.00000          1.00000
  296.  71    5.45599         osd.71                up  1.00000          1.00000
  297.  76    5.45599         osd.76                up  1.00000          1.00000
  298.  81    5.45599         osd.81                up  1.00000          1.00000
  299.  88    5.45599         osd.88                up  1.00000          1.00000
  300.  93    5.45599         osd.93                up  1.00000          1.00000
  301.  98    5.45599         osd.98                up  1.00000          1.00000
  302. 103    5.45599         osd.103               up  1.00000          1.00000
  303. 107    5.45599         osd.107               up  1.00000          1.00000
  304. 111    5.45599         osd.111               up  1.00000          1.00000
  305. 116    5.45599         osd.116               up  1.00000          1.00000
  306. 121    5.45599         osd.121               up  1.00000          1.00000
  307. 126    5.45599         osd.126               up  1.00000          1.00000
  308. 131    5.45599         osd.131               up  1.00000          1.00000
  309. 136    5.45599         osd.136               up  1.00000          1.00000
  310. 141    5.45599         osd.141               up  1.00000          1.00000
  311. 146    5.45599         osd.146               up  1.00000          1.00000
  312. 151    5.45599         osd.151               up  1.00000          1.00000
  313. 156    5.45599         osd.156               up  1.00000          1.00000
  314. 161    5.45599         osd.161               up  1.00000          1.00000
  315. 166    5.45599         osd.166               up  1.00000          1.00000
  316. 171    5.45599         osd.171               up  1.00000          1.00000
  317.  -6  190.96001     host qcttwcoec24
  318.   4    5.45599         osd.4                 up  1.00000          1.00000
  319.   9    5.45599         osd.9                 up  1.00000          1.00000
  320.  14    5.45599         osd.14                up  1.00000          1.00000
  321.  18    5.45599         osd.18                up  1.00000          1.00000
  322.  24    5.45599         osd.24                up  1.00000          1.00000
  323.  29    5.45599         osd.29                up  1.00000          1.00000
  324.  34    5.45599         osd.34                up  1.00000          1.00000
  325.  39    5.45599         osd.39                up  1.00000          1.00000
  326.  44    5.45599         osd.44                up  1.00000          1.00000
  327.  49    5.45599         osd.49                up  1.00000          1.00000
  328.  54    5.45599         osd.54                up  1.00000          1.00000
  329.  59    5.45599         osd.59                up  1.00000          1.00000
  330.  64    5.45599         osd.64                up  1.00000          1.00000
  331.  69    5.45599         osd.69                up  1.00000          1.00000
  332.  74    5.45599         osd.74                up  1.00000          1.00000
  333.  78    5.45599         osd.78                up  1.00000          1.00000
  334.  83    5.45599         osd.83                up  1.00000          1.00000
  335.  87    5.45599         osd.87                up  1.00000          1.00000
  336.  92    5.45599         osd.92                up  1.00000          1.00000
  337.  96    5.45599         osd.96                up  1.00000          1.00000
  338. 101    5.45599         osd.101               up  1.00000          1.00000
  339. 106    5.45599         osd.106               up  1.00000          1.00000
  340. 112    5.45599         osd.112               up  1.00000          1.00000
  341. 117    5.45599         osd.117               up  1.00000          1.00000
  342. 122    5.45599         osd.122               up  1.00000          1.00000
  343. 127    5.45599         osd.127               up  1.00000          1.00000
  344. 132    5.45599         osd.132               up  1.00000          1.00000
  345. 137    5.45599         osd.137               up  1.00000          1.00000
  346. 142    5.45599         osd.142               up  1.00000          1.00000
  347. 147    5.45599         osd.147               up  1.00000          1.00000
  348. 152    5.45599         osd.152               up  1.00000          1.00000
  349. 157    5.45599         osd.157               up  1.00000          1.00000
  350. 162    5.45599         osd.162               up  1.00000          1.00000
  351. 167    5.45599         osd.167               up  1.00000          1.00000
  352. 172    5.45599         osd.172               up  1.00000          1.00000
  353.  -7  190.96001     host qcttwcoec28
  354. 175    5.45599         osd.175               up  1.00000          1.00000
  355. 180    5.45599         osd.180               up  1.00000          1.00000
  356. 185    5.45599         osd.185               up  1.00000          1.00000
  357. 190    5.45599         osd.190               up  1.00000          1.00000
  358. 195    5.45599         osd.195               up  1.00000          1.00000
  359. 200    5.45599         osd.200               up  1.00000          1.00000
  360. 205    5.45599         osd.205               up  1.00000          1.00000
  361. 210    5.45599         osd.210               up  1.00000          1.00000
  362. 215    5.45599         osd.215               up  1.00000          1.00000
  363. 220    5.45599         osd.220               up  1.00000          1.00000
  364. 225    5.45599         osd.225               up  1.00000          1.00000
  365. 230    5.45599         osd.230               up  1.00000          1.00000
  366. 235    5.45599         osd.235               up  1.00000          1.00000
  367. 240    5.45599         osd.240               up  1.00000          1.00000
  368. 245    5.45599         osd.245               up  1.00000          1.00000
  369. 251    5.45599         osd.251               up  1.00000          1.00000
  370. 255    5.45599         osd.255               up  1.00000          1.00000
  371. 260    5.45599         osd.260               up  1.00000          1.00000
  372. 265    5.45599         osd.265               up  1.00000          1.00000
  373. 271    5.45599         osd.271               up  1.00000          1.00000
  374. 276    5.45599         osd.276               up  1.00000          1.00000
  375. 281    5.45599         osd.281               up  1.00000          1.00000
  376. 286    5.45599         osd.286               up  1.00000          1.00000
  377. 291    5.45599         osd.291               up  1.00000          1.00000
  378. 296    5.45599         osd.296               up  1.00000          1.00000
  379. 301    5.45599         osd.301               up  1.00000          1.00000
  380. 305    5.45599         osd.305               up  1.00000          1.00000
  381. 310    5.45599         osd.310               up  1.00000          1.00000
  382. 315    5.45599         osd.315               up  1.00000          1.00000
  383. 320    5.45599         osd.320               up  1.00000          1.00000
  384. 325    5.45599         osd.325               up  1.00000          1.00000
  385. 330    5.45599         osd.330               up  1.00000          1.00000
  386. 335    5.45599         osd.335               up  1.00000          1.00000
  387. 341    5.45599         osd.341               up  1.00000          1.00000
  388. 346    5.45599         osd.346               up  1.00000          1.00000
  389.  -8  190.96001     host qcttwcoec29
  390. 176    5.45599         osd.176               up  1.00000          1.00000
  391. 181    5.45599         osd.181               up  1.00000          1.00000
  392. 186    5.45599         osd.186               up  1.00000          1.00000
  393. 191    5.45599         osd.191               up  1.00000          1.00000
  394. 196    5.45599         osd.196               up  1.00000          1.00000
  395. 201    5.45599         osd.201               up  1.00000          1.00000
  396. 206    5.45599         osd.206               up  1.00000          1.00000
  397. 211    5.45599         osd.211               up  1.00000          1.00000
  398. 216    5.45599         osd.216               up  1.00000          1.00000
  399. 221    5.45599         osd.221               up  1.00000          1.00000
  400. 226    5.45599         osd.226               up  1.00000          1.00000
  401. 231    5.45599         osd.231               up  1.00000          1.00000
  402. 236    5.45599         osd.236               up  1.00000          1.00000
  403. 241    5.45599         osd.241               up  1.00000          1.00000
  404. 247    5.45599         osd.247               up  1.00000          1.00000
  405. 250    5.45599         osd.250               up  1.00000          1.00000
  406. 256    5.45599         osd.256               up  1.00000          1.00000
  407. 261    5.45599         osd.261               up  1.00000          1.00000
  408. 266    5.45599         osd.266               up  1.00000          1.00000
  409. 270    5.45599         osd.270               up  1.00000          1.00000
  410. 275    5.45599         osd.275               up  1.00000          1.00000
  411. 280    5.45599         osd.280               up  1.00000          1.00000
  412. 285    5.45599         osd.285               up  1.00000          1.00000
  413. 290    5.45599         osd.290               up  1.00000          1.00000
  414. 295    5.45599         osd.295               up  1.00000          1.00000
  415. 300    5.45599         osd.300               up  1.00000          1.00000
  416. 306    5.45599         osd.306               up  1.00000          1.00000
  417. 311    5.45599         osd.311               up  1.00000          1.00000
  418. 316    5.45599         osd.316               up  1.00000          1.00000
  419. 322    5.45599         osd.322               up  1.00000          1.00000
  420. 327    5.45599         osd.327               up  1.00000          1.00000
  421. 333    5.45599         osd.333               up  1.00000          1.00000
  422. 338    5.45599         osd.338               up  1.00000          1.00000
  423. 343    5.45599         osd.343               up  1.00000          1.00000
  424. 348    5.45599         osd.348               up  1.00000          1.00000
  425.  -9  190.96001     host qcttwcoec30
  426. 177    5.45599         osd.177               up  1.00000          1.00000
  427. 182    5.45599         osd.182               up  1.00000          1.00000
  428. 187    5.45599         osd.187               up  1.00000          1.00000
  429. 192    5.45599         osd.192               up  1.00000          1.00000
  430. 197    5.45599         osd.197               up  1.00000          1.00000
  431. 202    5.45599         osd.202               up  1.00000          1.00000
  432. 207    5.45599         osd.207               up  1.00000          1.00000
  433. 212    5.45599         osd.212               up  1.00000          1.00000
  434. 217    5.45599         osd.217               up  1.00000          1.00000
  435. 222    5.45599         osd.222               up  1.00000          1.00000
  436. 227    5.45599         osd.227               up  1.00000          1.00000
  437. 232    5.45599         osd.232               up  1.00000          1.00000
  438. 237    5.45599         osd.237               up  1.00000          1.00000
  439. 242    5.45599         osd.242               up  1.00000          1.00000
  440. 246    5.45599         osd.246               up  1.00000          1.00000
  441. 252    5.45599         osd.252               up  1.00000          1.00000
  442. 257    5.45599         osd.257               up  1.00000          1.00000
  443. 262    5.45599         osd.262               up  1.00000          1.00000
  444. 267    5.45599         osd.267               up  1.00000          1.00000
  445. 272    5.45599         osd.272               up  1.00000          1.00000
  446. 277    5.45599         osd.277               up  1.00000          1.00000
  447. 282    5.45599         osd.282               up  1.00000          1.00000
  448. 287    5.45599         osd.287               up  1.00000          1.00000
  449. 292    5.45599         osd.292               up  1.00000          1.00000
  450. 297    5.45599         osd.297               up  1.00000          1.00000
  451. 302    5.45599         osd.302               up  1.00000          1.00000
  452. 307    5.45599         osd.307               up  1.00000          1.00000
  453. 312    5.45599         osd.312               up  1.00000          1.00000
  454. 317    5.45599         osd.317               up  1.00000          1.00000
  455. 321    5.45599         osd.321               up  1.00000          1.00000
  456. 326    5.45599         osd.326               up  1.00000          1.00000
  457. 331    5.45599         osd.331               up  1.00000          1.00000
  458. 337    5.45599         osd.337               up  1.00000          1.00000
  459. 342    5.45599         osd.342               up  1.00000          1.00000
  460. 347    5.45599         osd.347               up  1.00000          1.00000
  461. -10  190.96001     host qcttwcoec31
  462. 178    5.45599         osd.178               up  1.00000          1.00000
  463. 183    5.45599         osd.183               up  1.00000          1.00000
  464. 188    5.45599         osd.188               up  1.00000          1.00000
  465. 193    5.45599         osd.193               up  1.00000          1.00000
  466. 198    5.45599         osd.198               up  1.00000          1.00000
  467. 203    5.45599         osd.203               up  1.00000          1.00000
  468. 208    5.45599         osd.208               up  1.00000          1.00000
  469. 213    5.45599         osd.213               up  1.00000          1.00000
  470. 218    5.45599         osd.218               up  1.00000          1.00000
  471. 223    5.45599         osd.223               up  1.00000          1.00000
  472. 228    5.45599         osd.228               up  1.00000          1.00000
  473. 233    5.45599         osd.233               up  1.00000          1.00000
  474. 238    5.45599         osd.238               up  1.00000          1.00000
  475. 243    5.45599         osd.243               up  1.00000          1.00000
  476. 248    5.45599         osd.248               up  1.00000          1.00000
  477. 253    5.45599         osd.253               up  1.00000          1.00000
  478. 258    5.45599         osd.258               up  1.00000          1.00000
  479. 263    5.45599         osd.263               up  1.00000          1.00000
  480. 268    5.45599         osd.268               up  1.00000          1.00000
  481. 273    5.45599         osd.273               up  1.00000          1.00000
  482. 278    5.45599         osd.278               up  1.00000          1.00000
  483. 283    5.45599         osd.283               up  1.00000          1.00000
  484. 288    5.45599         osd.288               up  1.00000          1.00000
  485. 293    5.45599         osd.293               up  1.00000          1.00000
  486. 298    5.45599         osd.298               up  1.00000          1.00000
  487. 303    5.45599         osd.303               up  1.00000          1.00000
  488. 308    5.45599         osd.308               up  1.00000          1.00000
  489. 313    5.45599         osd.313               up  1.00000          1.00000
  490. 318    5.45599         osd.318               up  1.00000          1.00000
  491. 323    5.45599         osd.323               up  1.00000          1.00000
  492. 328    5.45599         osd.328               up  1.00000          1.00000
  493. 332    5.45599         osd.332               up  1.00000          1.00000
  494. 336    5.45599         osd.336               up  1.00000          1.00000
  495. 340    5.45599         osd.340               up  1.00000          1.00000
  496. 345    5.45599         osd.345               up  1.00000          1.00000
  497. -11  190.96001     host qcttwcoec32
  498. 179    5.45599         osd.179               up  1.00000          1.00000
  499. 184    5.45599         osd.184               up  1.00000          1.00000
  500. 189    5.45599         osd.189               up  1.00000          1.00000
  501. 194    5.45599         osd.194               up  1.00000          1.00000
  502. 199    5.45599         osd.199               up  1.00000          1.00000
  503. 204    5.45599         osd.204               up  1.00000          1.00000
  504. 209    5.45599         osd.209               up  1.00000          1.00000
  505. 214    5.45599         osd.214               up  1.00000          1.00000
  506. 219    5.45599         osd.219               up  1.00000          1.00000
  507. 224    5.45599         osd.224               up  1.00000          1.00000
  508. 229    5.45599         osd.229               up  1.00000          1.00000
  509. 234    5.45599         osd.234               up  1.00000          1.00000
  510. 239    5.45599         osd.239               up  1.00000          1.00000
  511. 244    5.45599         osd.244               up  1.00000          1.00000
  512. 249    5.45599         osd.249               up  1.00000          1.00000
  513. 254    5.45599         osd.254               up  1.00000          1.00000
  514. 259    5.45599         osd.259               up  1.00000          1.00000
  515. 264    5.45599         osd.264               up  1.00000          1.00000
  516. 269    5.45599         osd.269               up  1.00000          1.00000
  517. 274    5.45599         osd.274               up  1.00000          1.00000
  518. 279    5.45599         osd.279               up  1.00000          1.00000
  519. 284    5.45599         osd.284               up  1.00000          1.00000
  520. 289    5.45599         osd.289               up  1.00000          1.00000
  521. 294    5.45599         osd.294               up  1.00000          1.00000
  522. 299    5.45599         osd.299               up  1.00000          1.00000
  523. 304    5.45599         osd.304               up  1.00000          1.00000
  524. 309    5.45599         osd.309               up  1.00000          1.00000
  525. 314    5.45599         osd.314               up  1.00000          1.00000
  526. 319    5.45599         osd.319               up  1.00000          1.00000
  527. 324    5.45599         osd.324               up  1.00000          1.00000
  528. 329    5.45599         osd.329               up  1.00000          1.00000
  529. 334    5.45599         osd.334               up  1.00000          1.00000
  530. 339    5.45599         osd.339               up  1.00000          1.00000
  531. 344    5.45599         osd.344               up  1.00000          1.00000
  532. 349    5.45599         osd.349               up  1.00000          1.00000
  533. -12  190.96001     host qcttwcoec33
  534. 350    5.45599         osd.350               up  1.00000          1.00000
  535. 355    5.45599         osd.355               up  1.00000          1.00000
  536. 360    5.45599         osd.360               up  1.00000          1.00000
  537. 365    5.45599         osd.365               up  1.00000          1.00000
  538. 370    5.45599         osd.370               up  1.00000          1.00000
  539. 375    5.45599         osd.375               up  1.00000          1.00000
  540. 380    5.45599         osd.380               up  1.00000          1.00000
  541. 385    5.45599         osd.385               up  1.00000          1.00000
  542. 390    5.45599         osd.390               up  1.00000          1.00000
  543. 395    5.45599         osd.395               up  1.00000          1.00000
  544. 400    5.45599         osd.400               up  1.00000          1.00000
  545. 405    5.45599         osd.405               up  1.00000          1.00000
  546. 410    5.45599         osd.410               up  1.00000          1.00000
  547. 415    5.45599         osd.415               up  1.00000          1.00000
  548. 420    5.45599         osd.420               up  1.00000          1.00000
  549. 425    5.45599         osd.425               up  1.00000          1.00000
  550. 430    5.45599         osd.430               up  1.00000          1.00000
  551. 435    5.45599         osd.435               up  1.00000          1.00000
  552. 441    5.45599         osd.441               up  1.00000          1.00000
  553. 446    5.45599         osd.446               up  1.00000          1.00000
  554. 451    5.45599         osd.451               up  1.00000          1.00000
  555. 456    5.45599         osd.456               up  1.00000          1.00000
  556. 461    5.45599         osd.461               up  1.00000          1.00000
  557. 466    5.45599         osd.466               up  1.00000          1.00000
  558. 471    5.45599         osd.471               up  1.00000          1.00000
  559. 476    5.45599         osd.476               up  1.00000          1.00000
  560. 481    5.45599         osd.481               up  1.00000          1.00000
  561. 486    5.45599         osd.486               up  1.00000          1.00000
  562. 491    5.45599         osd.491               up  1.00000          1.00000
  563. 496    5.45599         osd.496               up  1.00000          1.00000
  564. 501    5.45599         osd.501               up  1.00000          1.00000
  565. 506    5.45599         osd.506               up  1.00000          1.00000
  566. 511    5.45599         osd.511               up  1.00000          1.00000
  567. 516    5.45599         osd.516               up  1.00000          1.00000
  568. 521    5.45599         osd.521               up  1.00000          1.00000
  569. -13  190.96001     host qcttwcoec34
  570. 356    5.45599         osd.356               up  1.00000          1.00000
  571. 351    5.45599         osd.351               up  1.00000          1.00000
  572. 361    5.45599         osd.361               up  1.00000          1.00000
  573. 366    5.45599         osd.366               up  1.00000          1.00000
  574. 371    5.45599         osd.371               up  1.00000          1.00000
  575. 376    5.45599         osd.376               up  1.00000          1.00000
  576. 381    5.45599         osd.381               up  1.00000          1.00000
  577. 386    5.45599         osd.386               up  1.00000          1.00000
  578. 391    5.45599         osd.391               up  1.00000          1.00000
  579. 396    5.45599         osd.396               up  1.00000          1.00000
  580. 401    5.45599         osd.401               up  1.00000          1.00000
  581. 406    5.45599         osd.406               up  1.00000          1.00000
  582. 411    5.45599         osd.411               up  1.00000          1.00000
  583. 416    5.45599         osd.416               up  1.00000          1.00000
  584. 421    5.45599         osd.421               up  1.00000          1.00000
  585. 426    5.45599         osd.426               up  1.00000          1.00000
  586. 431    5.45599         osd.431               up  1.00000          1.00000
  587. 436    5.45599         osd.436               up  1.00000          1.00000
  588. 440    5.45599         osd.440               up  1.00000          1.00000
  589. 445    5.45599         osd.445               up  1.00000          1.00000
  590. 450    5.45599         osd.450               up  1.00000          1.00000
  591. 455    5.45599         osd.455               up  1.00000          1.00000
  592. 460    5.45599         osd.460               up  1.00000          1.00000
  593. 465    5.45599         osd.465               up  1.00000          1.00000
  594. 470    5.45599         osd.470               up  1.00000          1.00000
  595. 475    5.45599         osd.475               up  1.00000          1.00000
  596. 480    5.45599         osd.480               up  1.00000          1.00000
  597. 485    5.45599         osd.485               up  1.00000          1.00000
  598. 490    5.45599         osd.490               up  1.00000          1.00000
  599. 495    5.45599         osd.495               up  1.00000          1.00000
  600. 500    5.45599         osd.500               up  1.00000          1.00000
  601. 505    5.45599         osd.505               up  1.00000          1.00000
  602. 510    5.45599         osd.510               up  1.00000          1.00000
  603. 515    5.45599         osd.515               up  1.00000          1.00000
  604. 520    5.45599         osd.520               up  1.00000          1.00000
  605. -14  190.96001     host qcttwcoec35
  606. 352    5.45599         osd.352               up  1.00000          1.00000
  607. 357    5.45599         osd.357               up  1.00000          1.00000
  608. 362    5.45599         osd.362               up  1.00000          1.00000
  609. 367    5.45599         osd.367               up  1.00000          1.00000
  610. 372    5.45599         osd.372               up  1.00000          1.00000
  611. 377    5.45599         osd.377               up  1.00000          1.00000
  612. 382    5.45599         osd.382               up  1.00000          1.00000
  613. 387    5.45599         osd.387               up  1.00000          1.00000
  614. 392    5.45599         osd.392               up  1.00000          1.00000
  615. 397    5.45599         osd.397               up  1.00000          1.00000
  616. 402    5.45599         osd.402               up  1.00000          1.00000
  617. 407    5.45599         osd.407               up  1.00000          1.00000
  618. 412    5.45599         osd.412               up  1.00000          1.00000
  619. 417    5.45599         osd.417               up  1.00000          1.00000
  620. 422    5.45599         osd.422               up  1.00000          1.00000
  621. 427    5.45599         osd.427               up  1.00000          1.00000
  622. 433    5.45599         osd.433               up  1.00000          1.00000
  623. 438    5.45599         osd.438               up  1.00000          1.00000
  624. 443    5.45599         osd.443               up  1.00000          1.00000
  625. 448    5.45599         osd.448               up  1.00000          1.00000
  626. 453    5.45599         osd.453               up  1.00000          1.00000
  627. 458    5.45599         osd.458               up  1.00000          1.00000
  628. 463    5.45599         osd.463               up  1.00000          1.00000
  629. 468    5.45599         osd.468               up  1.00000          1.00000
  630. 473    5.45599         osd.473               up  1.00000          1.00000
  631. 478    5.45599         osd.478               up  1.00000          1.00000
  632. 483    5.45599         osd.483               up  1.00000          1.00000
  633. 488    5.45599         osd.488               up  1.00000          1.00000
  634. 493    5.45599         osd.493               up  1.00000          1.00000
  635. 498    5.45599         osd.498               up  1.00000          1.00000
  636. 503    5.45599         osd.503               up  1.00000          1.00000
  637. 508    5.45599         osd.508               up  1.00000          1.00000
  638. 513    5.45599         osd.513               up  1.00000          1.00000
  639. 518    5.45599         osd.518               up  1.00000          1.00000
  640. 523    5.45599         osd.523               up  1.00000          1.00000
  641. -15  190.96001     host qcttwcoec36
  642. 353    5.45599         osd.353               up  1.00000          1.00000
  643. 358    5.45599         osd.358               up  1.00000          1.00000
  644. 363    5.45599         osd.363               up  1.00000          1.00000
  645. 368    5.45599         osd.368               up  1.00000          1.00000
  646. 373    5.45599         osd.373               up  1.00000          1.00000
  647. 378    5.45599         osd.378               up  1.00000          1.00000
  648. 383    5.45599         osd.383               up  1.00000          1.00000
  649. 388    5.45599         osd.388               up  1.00000          1.00000
  650. 393    5.45599         osd.393               up  1.00000          1.00000
  651. 398    5.45599         osd.398               up  1.00000          1.00000
  652. 403    5.45599         osd.403               up  1.00000          1.00000
  653. 408    5.45599         osd.408               up  1.00000          1.00000
  654. 413    5.45599         osd.413               up  1.00000          1.00000
  655. 418    5.45599         osd.418               up  1.00000          1.00000
  656. 423    5.45599         osd.423               up  1.00000          1.00000
  657. 428    5.45599         osd.428               up  1.00000          1.00000
  658. 432    5.45599         osd.432               up  1.00000          1.00000
  659. 437    5.45599         osd.437               up  1.00000          1.00000
  660. 442    5.45599         osd.442               up  1.00000          1.00000
  661. 447    5.45599         osd.447               up  1.00000          1.00000
  662. 452    5.45599         osd.452               up  1.00000          1.00000
  663. 457    5.45599         osd.457               up  1.00000          1.00000
  664. 462    5.45599         osd.462               up  1.00000          1.00000
  665. 467    5.45599         osd.467               up  1.00000          1.00000
  666. 472    5.45599         osd.472               up  1.00000          1.00000
  667. 477    5.45599         osd.477               up  1.00000          1.00000
  668. 482    5.45599         osd.482               up  1.00000          1.00000
  669. 487    5.45599         osd.487               up  1.00000          1.00000
  670. 492    5.45599         osd.492               up  1.00000          1.00000
  671. 497    5.45599         osd.497               up  1.00000          1.00000
  672. 502    5.45599         osd.502               up  1.00000          1.00000
  673. 507    5.45599         osd.507               up  1.00000          1.00000
  674. 512    5.45599         osd.512               up  1.00000          1.00000
  675. 517    5.45599         osd.517               up  1.00000          1.00000
  676. 522    5.45599         osd.522               up  1.00000          1.00000
  677. -16  190.96001     host qcttwcoec37
  678. 354    5.45599         osd.354               up  1.00000          1.00000
  679. 359    5.45599         osd.359               up  1.00000          1.00000
  680. 364    5.45599         osd.364               up  1.00000          1.00000
  681. 369    5.45599         osd.369               up  1.00000          1.00000
  682. 374    5.45599         osd.374               up  1.00000          1.00000
  683. 379    5.45599         osd.379               up  1.00000          1.00000
  684. 384    5.45599         osd.384               up  1.00000          1.00000
  685. 389    5.45599         osd.389               up  1.00000          1.00000
  686. 394    5.45599         osd.394               up  1.00000          1.00000
  687. 399    5.45599         osd.399               up  1.00000          1.00000
  688. 404    5.45599         osd.404               up  1.00000          1.00000
  689. 409    5.45599         osd.409               up  1.00000          1.00000
  690. 414    5.45599         osd.414               up  1.00000          1.00000
  691. 419    5.45599         osd.419               up  1.00000          1.00000
  692. 424    5.45599         osd.424               up  1.00000          1.00000
  693. 429    5.45599         osd.429               up  1.00000          1.00000
  694. 434    5.45599         osd.434               up  1.00000          1.00000
  695. 439    5.45599         osd.439               up  1.00000          1.00000
  696. 444    5.45599         osd.444               up  1.00000          1.00000
  697. 449    5.45599         osd.449               up  1.00000          1.00000
  698. 454    5.45599         osd.454               up  1.00000          1.00000
  699. 459    5.45599         osd.459               up  1.00000          1.00000
  700. 464    5.45599         osd.464               up  1.00000          1.00000
  701. 469    5.45599         osd.469               up  1.00000          1.00000
  702. 474    5.45599         osd.474               up  1.00000          1.00000
  703. 479    5.45599         osd.479               up  1.00000          1.00000
  704. 484    5.45599         osd.484               up  1.00000          1.00000
  705. 489    5.45599         osd.489               up  1.00000          1.00000
  706. 494    5.45599         osd.494               up  1.00000          1.00000
  707. 499    5.45599         osd.499               up  1.00000          1.00000
  708. 504    5.45599         osd.504               up  1.00000          1.00000
  709. 509    5.45599         osd.509               up  1.00000          1.00000
  710. 514    5.45599         osd.514               up  1.00000          1.00000
  711. 519    5.45599         osd.519               up  1.00000          1.00000
  712. 524    5.45599         osd.524               up  1.00000          1.00000
  713. -17  190.96001     host qcttwcoec38
  714. 525    5.45599         osd.525               up  1.00000          1.00000
  715. 528    5.45599         osd.528               up  1.00000          1.00000
  716. 532    5.45599         osd.532               up  1.00000          1.00000
  717. 535    5.45599         osd.535               up  1.00000          1.00000
  718. 538    5.45599         osd.538               up  1.00000          1.00000
  719. 541    5.45599         osd.541               up  1.00000          1.00000
  720. 544    5.45599         osd.544               up  1.00000          1.00000
  721. 547    5.45599         osd.547               up  1.00000          1.00000
  722. 550    5.45599         osd.550               up  1.00000          1.00000
  723. 553    5.45599         osd.553               up  1.00000          1.00000
  724. 556    5.45599         osd.556               up  1.00000          1.00000
  725. 559    5.45599         osd.559               up  1.00000          1.00000
  726. 562    5.45599         osd.562               up  1.00000          1.00000
  727. 565    5.45599         osd.565               up  1.00000          1.00000
  728. 568    5.45599         osd.568               up  1.00000          1.00000
  729. 571    5.45599         osd.571               up  1.00000          1.00000
  730. 574    5.45599         osd.574               up  1.00000          1.00000
  731. 577    5.45599         osd.577               up  1.00000          1.00000
  732. 580    5.45599         osd.580               up  1.00000          1.00000
  733. 583    5.45599         osd.583               up  1.00000          1.00000
  734. 586    5.45599         osd.586               up  1.00000          1.00000
  735. 589    5.45599         osd.589               up  1.00000          1.00000
  736. 592    5.45599         osd.592               up  1.00000          1.00000
  737. 595    5.45599         osd.595               up  1.00000          1.00000
  738. 598    5.45599         osd.598               up  1.00000          1.00000
  739. 601    5.45599         osd.601               up  1.00000          1.00000
  740. 604    5.45599         osd.604               up  1.00000          1.00000
  741. 607    5.45599         osd.607               up  1.00000          1.00000
  742. 610    5.45599         osd.610               up  1.00000          1.00000
  743. 613    5.45599         osd.613               up  1.00000          1.00000
  744. 616    5.45599         osd.616               up  1.00000          1.00000
  745. 619    5.45599         osd.619               up  1.00000          1.00000
  746. 622    5.45599         osd.622               up  1.00000          1.00000
  747. 625    5.45599         osd.625               up  1.00000          1.00000
  748. 628    5.45599         osd.628               up  1.00000          1.00000
  749. -18  190.96001     host qcttwcoec39
  750. 526    5.45599         osd.526               up  1.00000          1.00000
  751. 529    5.45599         osd.529               up  1.00000          1.00000
  752. 531    5.45599         osd.531               up  1.00000          1.00000
  753. 534    5.45599         osd.534               up  1.00000          1.00000
  754. 537    5.45599         osd.537               up  1.00000          1.00000
  755. 540    5.45599         osd.540               up  1.00000          1.00000
  756. 543    5.45599         osd.543               up  1.00000          1.00000
  757. 546    5.45599         osd.546               up  1.00000          1.00000
  758. 549    5.45599         osd.549               up  1.00000          1.00000
  759. 552    5.45599         osd.552               up  1.00000          1.00000
  760. 555    5.45599         osd.555               up  1.00000          1.00000
  761. 558    5.45599         osd.558               up  1.00000          1.00000
  762. 561    5.45599         osd.561               up  1.00000          1.00000
  763. 564    5.45599         osd.564               up  1.00000          1.00000
  764. 567    5.45599         osd.567               up  1.00000          1.00000
  765. 570    5.45599         osd.570               up  1.00000          1.00000
  766. 573    5.45599         osd.573               up  1.00000          1.00000
  767. 576    5.45599         osd.576               up  1.00000          1.00000
  768. 579    5.45599         osd.579               up  1.00000          1.00000
  769. 582    5.45599         osd.582               up  1.00000          1.00000
  770. 585    5.45599         osd.585               up  1.00000          1.00000
  771. 588    5.45599         osd.588               up  1.00000          1.00000
  772. 591    5.45599         osd.591               up  1.00000          1.00000
  773. 594    5.45599         osd.594               up  1.00000          1.00000
  774. 597    5.45599         osd.597               up  1.00000          1.00000
  775. 600    5.45599         osd.600               up  1.00000          1.00000
  776. 603    5.45599         osd.603               up  1.00000          1.00000
  777. 606    5.45599         osd.606               up  1.00000          1.00000
  778. 609    5.45599         osd.609               up  1.00000          1.00000
  779. 612    5.45599         osd.612               up  1.00000          1.00000
  780. 615    5.45599         osd.615               up  1.00000          1.00000
  781. 618    5.45599         osd.618               up  1.00000          1.00000
  782. 621    5.45599         osd.621               up  1.00000          1.00000
  783. 624    5.45599         osd.624               up  1.00000          1.00000
  784. 627    5.45599         osd.627               up  1.00000          1.00000
  785. -19  190.96001     host qcttwcoec40
  786. 527    5.45599         osd.527               up  1.00000          1.00000
  787. 530    5.45599         osd.530               up  1.00000          1.00000
  788. 533    5.45599         osd.533               up  1.00000          1.00000
  789. 536    5.45599         osd.536               up  1.00000          1.00000
  790. 539    5.45599         osd.539               up  1.00000          1.00000
  791. 542    5.45599         osd.542               up  1.00000          1.00000
  792. 545    5.45599         osd.545               up  1.00000          1.00000
  793. 548    5.45599         osd.548               up  1.00000          1.00000
  794. 551    5.45599         osd.551               up  1.00000          1.00000
  795. 554    5.45599         osd.554               up  1.00000          1.00000
  796. 557    5.45599         osd.557               up  1.00000          1.00000
  797. 560    5.45599         osd.560               up  1.00000          1.00000
  798. 563    5.45599         osd.563               up  1.00000          1.00000
  799. 566    5.45599         osd.566               up  1.00000          1.00000
  800. 569    5.45599         osd.569               up  1.00000          1.00000
  801. 572    5.45599         osd.572               up  1.00000          1.00000
  802. 575    5.45599         osd.575               up  1.00000          1.00000
  803. 578    5.45599         osd.578               up  1.00000          1.00000
  804. 581    5.45599         osd.581               up  1.00000          1.00000
  805. 584    5.45599         osd.584               up  1.00000          1.00000
  806. 587    5.45599         osd.587               up  1.00000          1.00000
  807. 590    5.45599         osd.590               up  1.00000          1.00000
  808. 593    5.45599         osd.593               up  1.00000          1.00000
  809. 596    5.45599         osd.596               up  1.00000          1.00000
  810. 599    5.45599         osd.599               up  1.00000          1.00000
  811. 602    5.45599         osd.602               up  1.00000          1.00000
  812. 605    5.45599         osd.605               up  1.00000          1.00000
  813. 608    5.45599         osd.608               up  1.00000          1.00000
  814. 611    5.45599         osd.611               up  1.00000          1.00000
  815. 614    5.45599         osd.614               up  1.00000          1.00000
  816. 617    5.45599         osd.617               up  1.00000          1.00000
  817. 620    5.45599         osd.620               up  1.00000          1.00000
  818. 623    5.45599         osd.623               up  1.00000          1.00000
  819. 626    5.45599         osd.626               up  1.00000          1.00000
  820. 629    5.45599         osd.629               up  1.00000          1.00000
  821. -20  190.96001     host qcttwcoec22
  822. 630    5.45599         osd.630               up  1.00000          1.00000
  823. 632    5.45599         osd.632               up  1.00000          1.00000
  824. 634    5.45599         osd.634               up  1.00000          1.00000
  825. 636    5.45599         osd.636               up  1.00000          1.00000
  826. 638    5.45599         osd.638               up  1.00000          1.00000
  827. 640    5.45599         osd.640               up  1.00000          1.00000
  828. 642    5.45599         osd.642               up  1.00000          1.00000
  829. 644    5.45599         osd.644               up  1.00000          1.00000
  830. 646    5.45599         osd.646               up  1.00000          1.00000
  831. 648    5.45599         osd.648               up  1.00000          1.00000
  832. 650    5.45599         osd.650               up  1.00000          1.00000
  833. 652    5.45599         osd.652               up  1.00000          1.00000
  834. 654    5.45599         osd.654               up  1.00000          1.00000
  835. 656    5.45599         osd.656               up  1.00000          1.00000
  836. 658    5.45599         osd.658               up  1.00000          1.00000
  837. 660    5.45599         osd.660               up  1.00000          1.00000
  838. 662    5.45599         osd.662               up  1.00000          1.00000
  839. 664    5.45599         osd.664               up  1.00000          1.00000
  840. 666    5.45599         osd.666               up  1.00000          1.00000
  841. 668    5.45599         osd.668               up  1.00000          1.00000
  842. 670    5.45599         osd.670               up  1.00000          1.00000
  843. 672    5.45599         osd.672               up  1.00000          1.00000
  844. 674    5.45599         osd.674               up  1.00000          1.00000
  845. 676    5.45599         osd.676               up  1.00000          1.00000
  846. 678    5.45599         osd.678               up  1.00000          1.00000
  847. 680    5.45599         osd.680               up  1.00000          1.00000
  848. 682    5.45599         osd.682               up  1.00000          1.00000
  849. 684    5.45599         osd.684               up  1.00000          1.00000
  850. 686    5.45599         osd.686               up  1.00000          1.00000
  851. 688    5.45599         osd.688               up  1.00000          1.00000
  852. 690    5.45599         osd.690               up  1.00000          1.00000
  853. 692    5.45599         osd.692               up  1.00000          1.00000
  854. 694    5.45599         osd.694               up  1.00000          1.00000
  855. 696    5.45599         osd.696               up  1.00000          1.00000
  856. 698    5.45599         osd.698               up  1.00000          1.00000
  857. [root@qcttwcoec24 ~]#
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement