API tools faq
paste
Advertisement
Zorobay

retry log

Zorobay
Mar 13th, 2019
171
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
JSON 195.47 KB | None | 0 0
raw download clone embed print report
  1. {
  2.     "acknowledged": true,
  3.     "state": {
  4.         "cluster_uuid": "rlL_rUR_ScujRUSEZrFvcA",
  5.         "version": 408,
  6.         "state_uuid": "_S7Phn_ORLeuuY0Z3pIjOA",
  7.         "master_node": "d7RZ_TVwQpipnNIAXuqiGg",
  8.         "blocks": {},
  9.         "nodes": {
  10.             "d7RZ_TVwQpipnNIAXuqiGg": {
  11.                 "name": "threadripper-1",
  12.                 "ephemeral_id": "TW3qKckzRm-BTsg3C1JepQ",
  13.                 "transport_address": "x.x.x.x",
  14.                 "attributes": {
  15.                     "ml.machine_memory": "8376053760",
  16.                     "xpack.installed": "true",
  17.                     "ml.max_open_jobs": "20",
  18.                     "ml.enabled": "true"
  19.                 }
  20.             }
  21.         },
  22.         "routing_table": {
  23.             "indices": {
  24.                 "kpi_execution_time": {
  25.                     "shards": {
  26.                         "2": [
  27.                             {
  28.                                 "state": "INITIALIZING",
  29.                                 "primary": true,
  30.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  31.                                 "relocating_node": null,
  32.                                 "shard": 2,
  33.                                 "index": "kpi_execution_time",
  34.                                 "recovery_source": {
  35.                                     "type": "EXISTING_STORE",
  36.                                     "bootstrap_new_history_uuid": false
  37.                                 },
  38.                                 "allocation_id": {
  39.                                     "id": "ccJEcAEWQf25ikMoG6561A"
  40.                                 },
  41.                                 "unassigned_info": {
  42.                                     "reason": "MANUAL_ALLOCATION",
  43.                                     "at": "2019-03-13T11:53:43.363Z",
  44.                                     "delayed": false,
  45.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/2/translog/translog-50.tlog: Device or resource busy]; ",
  46.                                     "allocation_status": "deciders_no"
  47.                                 }
  48.                             },
  49.                             {
  50.                                 "state": "UNASSIGNED",
  51.                                 "primary": false,
  52.                                 "node": null,
  53.                                 "relocating_node": null,
  54.                                 "shard": 2,
  55.                                 "index": "kpi_execution_time",
  56.                                 "recovery_source": {
  57.                                     "type": "PEER"
  58.                                 },
  59.                                 "unassigned_info": {
  60.                                     "reason": "CLUSTER_RECOVERED",
  61.                                     "at": "2019-03-13T11:45:44.651Z",
  62.                                     "delayed": false,
  63.                                     "allocation_status": "no_attempt"
  64.                                 }
  65.                             }
  66.                         ],
  67.                         "4": [
  68.                             {
  69.                                 "state": "INITIALIZING",
  70.                                 "primary": true,
  71.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  72.                                 "relocating_node": null,
  73.                                 "shard": 4,
  74.                                 "index": "kpi_execution_time",
  75.                                 "recovery_source": {
  76.                                     "type": "EXISTING_STORE",
  77.                                     "bootstrap_new_history_uuid": false
  78.                                 },
  79.                                 "allocation_id": {
  80.                                     "id": "gVZDaKPgS16Dp57xGZVpnQ"
  81.                                 },
  82.                                 "unassigned_info": {
  83.                                     "reason": "MANUAL_ALLOCATION",
  84.                                     "at": "2019-03-13T11:53:43.357Z",
  85.                                     "delayed": false,
  86.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/4/translog/translog-37.tlog: Device or resource busy]; ",
  87.                                     "allocation_status": "deciders_no"
  88.                                 }
  89.                             },
  90.                             {
  91.                                 "state": "UNASSIGNED",
  92.                                 "primary": false,
  93.                                 "node": null,
  94.                                 "relocating_node": null,
  95.                                 "shard": 4,
  96.                                 "index": "kpi_execution_time",
  97.                                 "recovery_source": {
  98.                                     "type": "PEER"
  99.                                 },
  100.                                 "unassigned_info": {
  101.                                     "reason": "CLUSTER_RECOVERED",
  102.                                     "at": "2019-03-13T11:45:44.651Z",
  103.                                     "delayed": false,
  104.                                     "allocation_status": "no_attempt"
  105.                                 }
  106.                             }
  107.                         ],
  108.                         "1": [
  109.                             {
  110.                                 "state": "INITIALIZING",
  111.                                 "primary": true,
  112.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  113.                                 "relocating_node": null,
  114.                                 "shard": 1,
  115.                                 "index": "kpi_execution_time",
  116.                                 "recovery_source": {
  117.                                     "type": "EXISTING_STORE",
  118.                                     "bootstrap_new_history_uuid": false
  119.                                 },
  120.                                 "allocation_id": {
  121.                                     "id": "qdKKXH6LSbqaEigKEWEKug"
  122.                                 },
  123.                                 "unassigned_info": {
  124.                                     "reason": "MANUAL_ALLOCATION",
  125.                                     "at": "2019-03-13T11:53:43.354Z",
  126.                                     "delayed": false,
  127.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/1/translog/translog-57.tlog: Device or resource busy]; ",
  128.                                     "allocation_status": "deciders_no"
  129.                                 }
  130.                             },
  131.                             {
  132.                                 "state": "UNASSIGNED",
  133.                                 "primary": false,
  134.                                 "node": null,
  135.                                 "relocating_node": null,
  136.                                 "shard": 1,
  137.                                 "index": "kpi_execution_time",
  138.                                 "recovery_source": {
  139.                                     "type": "PEER"
  140.                                 },
  141.                                 "unassigned_info": {
  142.                                     "reason": "CLUSTER_RECOVERED",
  143.                                     "at": "2019-03-13T11:45:44.651Z",
  144.                                     "delayed": false,
  145.                                     "allocation_status": "no_attempt"
  146.                                 }
  147.                             }
  148.                         ],
  149.                         "3": [
  150.                             {
  151.                                 "state": "INITIALIZING",
  152.                                 "primary": true,
  153.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  154.                                 "relocating_node": null,
  155.                                 "shard": 3,
  156.                                 "index": "kpi_execution_time",
  157.                                 "recovery_source": {
  158.                                     "type": "EXISTING_STORE",
  159.                                     "bootstrap_new_history_uuid": false
  160.                                 },
  161.                                 "allocation_id": {
  162.                                     "id": "ErbIWkFQSs61kzcunV44EA"
  163.                                 },
  164.                                 "unassigned_info": {
  165.                                     "reason": "MANUAL_ALLOCATION",
  166.                                     "at": "2019-03-13T11:53:43.357Z",
  167.                                     "delayed": false,
  168.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/3/translog/translog-49.tlog: Device or resource busy]; ",
  169.                                     "allocation_status": "deciders_no"
  170.                                 }
  171.                             },
  172.                             {
  173.                                 "state": "UNASSIGNED",
  174.                                 "primary": false,
  175.                                 "node": null,
  176.                                 "relocating_node": null,
  177.                                 "shard": 3,
  178.                                 "index": "kpi_execution_time",
  179.                                 "recovery_source": {
  180.                                     "type": "PEER"
  181.                                 },
  182.                                 "unassigned_info": {
  183.                                     "reason": "CLUSTER_RECOVERED",
  184.                                     "at": "2019-03-13T11:45:44.651Z",
  185.                                     "delayed": false,
  186.                                     "allocation_status": "no_attempt"
  187.                                 }
  188.                             }
  189.                         ],
  190.                         "0": [
  191.                             {
  192.                                 "state": "INITIALIZING",
  193.                                 "primary": true,
  194.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  195.                                 "relocating_node": null,
  196.                                 "shard": 0,
  197.                                 "index": "kpi_execution_time",
  198.                                 "recovery_source": {
  199.                                     "type": "EXISTING_STORE",
  200.                                     "bootstrap_new_history_uuid": false
  201.                                 },
  202.                                 "allocation_id": {
  203.                                     "id": "-25cc9O5R5aEVFlazn321w"
  204.                                 },
  205.                                 "unassigned_info": {
  206.                                     "reason": "MANUAL_ALLOCATION",
  207.                                     "at": "2019-03-13T11:53:43.357Z",
  208.                                     "delayed": false,
  209.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/0/translog/translog-35.tlog: Device or resource busy]; ",
  210.                                     "allocation_status": "deciders_no"
  211.                                 }
  212.                             },
  213.                             {
  214.                                 "state": "UNASSIGNED",
  215.                                 "primary": false,
  216.                                 "node": null,
  217.                                 "relocating_node": null,
  218.                                 "shard": 0,
  219.                                 "index": "kpi_execution_time",
  220.                                 "recovery_source": {
  221.                                     "type": "PEER"
  222.                                 },
  223.                                 "unassigned_info": {
  224.                                     "reason": "CLUSTER_RECOVERED",
  225.                                     "at": "2019-03-13T11:45:44.651Z",
  226.                                     "delayed": false,
  227.                                     "allocation_status": "no_attempt"
  228.                                 }
  229.                             }
  230.                         ]
  231.                     }
  232.                 },
  233.                 ".tasks": {
  234.                     "shards": {
  235.                         "0": [
  236.                             {
  237.                                 "state": "INITIALIZING",
  238.                                 "primary": true,
  239.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  240.                                 "relocating_node": null,
  241.                                 "shard": 0,
  242.                                 "index": ".tasks",
  243.                                 "recovery_source": {
  244.                                     "type": "EXISTING_STORE",
  245.                                     "bootstrap_new_history_uuid": false
  246.                                 },
  247.                                 "allocation_id": {
  248.                                     "id": "_T1bZUPBQEeFm_Ix_Ce2SA"
  249.                                 },
  250.                                 "unassigned_info": {
  251.                                     "reason": "MANUAL_ALLOCATION",
  252.                                     "at": "2019-03-13T11:53:43.401Z",
  253.                                     "delayed": false,
  254.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[.tasks][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/pg7d_PmmTJyZOvqKZSnolw/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/pg7d_PmmTJyZOvqKZSnolw/0/translog/translog-8.tlog: Device or resource busy]; ",
  255.                                     "allocation_status": "deciders_no"
  256.                                 }
  257.                             }
  258.                         ]
  259.                     }
  260.                 },
  261.                 "cpi_modules_shipped": {
  262.                     "shards": {
  263.                         "2": [
  264.                             {
  265.                                 "state": "INITIALIZING",
  266.                                 "primary": true,
  267.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  268.                                 "relocating_node": null,
  269.                                 "shard": 2,
  270.                                 "index": "cpi_modules_shipped",
  271.                                 "recovery_source": {
  272.                                     "type": "EXISTING_STORE",
  273.                                     "bootstrap_new_history_uuid": false
  274.                                 },
  275.                                 "allocation_id": {
  276.                                     "id": "bOxF8nn6Q0-T6cashiX-xg"
  277.                                 },
  278.                                 "unassigned_info": {
  279.                                     "reason": "MANUAL_ALLOCATION",
  280.                                     "at": "2019-03-13T11:53:43.383Z",
  281.                                     "delayed": false,
  282.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/2/translog/translog-7.tlog: Device or resource busy]; ",
  283.                                     "allocation_status": "deciders_no"
  284.                                 }
  285.                             },
  286.                             {
  287.                                 "state": "UNASSIGNED",
  288.                                 "primary": false,
  289.                                 "node": null,
  290.                                 "relocating_node": null,
  291.                                 "shard": 2,
  292.                                 "index": "cpi_modules_shipped",
  293.                                 "recovery_source": {
  294.                                     "type": "PEER"
  295.                                 },
  296.                                 "unassigned_info": {
  297.                                     "reason": "CLUSTER_RECOVERED",
  298.                                     "at": "2019-03-13T11:45:44.651Z",
  299.                                     "delayed": false,
  300.                                     "allocation_status": "no_attempt"
  301.                                 }
  302.                             }
  303.                         ],
  304.                         "4": [
  305.                             {
  306.                                 "state": "INITIALIZING",
  307.                                 "primary": true,
  308.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  309.                                 "relocating_node": null,
  310.                                 "shard": 4,
  311.                                 "index": "cpi_modules_shipped",
  312.                                 "recovery_source": {
  313.                                     "type": "EXISTING_STORE",
  314.                                     "bootstrap_new_history_uuid": false
  315.                                 },
  316.                                 "allocation_id": {
  317.                                     "id": "XphCpaN-RAeJMB6XGEOl7A"
  318.                                 },
  319.                                 "unassigned_info": {
  320.                                     "reason": "MANUAL_ALLOCATION",
  321.                                     "at": "2019-03-13T11:53:43.372Z",
  322.                                     "delayed": false,
  323.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/4/translog/translog-11.tlog: Device or resource busy]; ",
  324.                                     "allocation_status": "deciders_no"
  325.                                 }
  326.                             },
  327.                             {
  328.                                 "state": "UNASSIGNED",
  329.                                 "primary": false,
  330.                                 "node": null,
  331.                                 "relocating_node": null,
  332.                                 "shard": 4,
  333.                                 "index": "cpi_modules_shipped",
  334.                                 "recovery_source": {
  335.                                     "type": "PEER"
  336.                                 },
  337.                                 "unassigned_info": {
  338.                                     "reason": "CLUSTER_RECOVERED",
  339.                                     "at": "2019-03-13T11:45:44.651Z",
  340.                                     "delayed": false,
  341.                                     "allocation_status": "no_attempt"
  342.                                 }
  343.                             }
  344.                         ],
  345.                         "1": [
  346.                             {
  347.                                 "state": "INITIALIZING",
  348.                                 "primary": true,
  349.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  350.                                 "relocating_node": null,
  351.                                 "shard": 1,
  352.                                 "index": "cpi_modules_shipped",
  353.                                 "recovery_source": {
  354.                                     "type": "EXISTING_STORE",
  355.                                     "bootstrap_new_history_uuid": false
  356.                                 },
  357.                                 "allocation_id": {
  358.                                     "id": "fuxOQQGxQo-7Y6maZ4Nj4g"
  359.                                 },
  360.                                 "unassigned_info": {
  361.                                     "reason": "MANUAL_ALLOCATION",
  362.                                     "at": "2019-03-13T11:53:43.372Z",
  363.                                     "delayed": false,
  364.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/1/translog/translog-7.tlog: Device or resource busy]; ",
  365.                                     "allocation_status": "deciders_no"
  366.                                 }
  367.                             },
  368.                             {
  369.                                 "state": "UNASSIGNED",
  370.                                 "primary": false,
  371.                                 "node": null,
  372.                                 "relocating_node": null,
  373.                                 "shard": 1,
  374.                                 "index": "cpi_modules_shipped",
  375.                                 "recovery_source": {
  376.                                     "type": "PEER"
  377.                                 },
  378.                                 "unassigned_info": {
  379.                                     "reason": "CLUSTER_RECOVERED",
  380.                                     "at": "2019-03-13T11:45:44.651Z",
  381.                                     "delayed": false,
  382.                                     "allocation_status": "no_attempt"
  383.                                 }
  384.                             }
  385.                         ],
  386.                         "3": [
  387.                             {
  388.                                 "state": "INITIALIZING",
  389.                                 "primary": true,
  390.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  391.                                 "relocating_node": null,
  392.                                 "shard": 3,
  393.                                 "index": "cpi_modules_shipped",
  394.                                 "recovery_source": {
  395.                                     "type": "EXISTING_STORE",
  396.                                     "bootstrap_new_history_uuid": false
  397.                                 },
  398.                                 "allocation_id": {
  399.                                     "id": "Age8ECtFRqKHOQcjXVxIUQ"
  400.                                 },
  401.                                 "unassigned_info": {
  402.                                     "reason": "MANUAL_ALLOCATION",
  403.                                     "at": "2019-03-13T11:53:43.372Z",
  404.                                     "delayed": false,
  405.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/3/translog/translog-7.tlog: Device or resource busy]; ",
  406.                                     "allocation_status": "deciders_no"
  407.                                 }
  408.                             },
  409.                             {
  410.                                 "state": "UNASSIGNED",
  411.                                 "primary": false,
  412.                                 "node": null,
  413.                                 "relocating_node": null,
  414.                                 "shard": 3,
  415.                                 "index": "cpi_modules_shipped",
  416.                                 "recovery_source": {
  417.                                     "type": "PEER"
  418.                                 },
  419.                                 "unassigned_info": {
  420.                                     "reason": "CLUSTER_RECOVERED",
  421.                                     "at": "2019-03-13T11:45:44.651Z",
  422.                                     "delayed": false,
  423.                                     "allocation_status": "no_attempt"
  424.                                 }
  425.                             }
  426.                         ],
  427.                         "0": [
  428.                             {
  429.                                 "state": "INITIALIZING",
  430.                                 "primary": true,
  431.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  432.                                 "relocating_node": null,
  433.                                 "shard": 0,
  434.                                 "index": "cpi_modules_shipped",
  435.                                 "recovery_source": {
  436.                                     "type": "EXISTING_STORE",
  437.                                     "bootstrap_new_history_uuid": false
  438.                                 },
  439.                                 "allocation_id": {
  440.                                     "id": "mwp6r4YmRWyJyy9AA_kNjQ"
  441.                                 },
  442.                                 "unassigned_info": {
  443.                                     "reason": "MANUAL_ALLOCATION",
  444.                                     "at": "2019-03-13T11:53:43.371Z",
  445.                                     "delayed": false,
  446.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/0/translog/translog-7.tlog: Device or resource busy]; ",
  447.                                     "allocation_status": "deciders_no"
  448.                                 }
  449.                             },
  450.                             {
  451.                                 "state": "UNASSIGNED",
  452.                                 "primary": false,
  453.                                 "node": null,
  454.                                 "relocating_node": null,
  455.                                 "shard": 0,
  456.                                 "index": "cpi_modules_shipped",
  457.                                 "recovery_source": {
  458.                                     "type": "PEER"
  459.                                 },
  460.                                 "unassigned_info": {
  461.                                     "reason": "CLUSTER_RECOVERED",
  462.                                     "at": "2019-03-13T11:45:44.651Z",
  463.                                     "delayed": false,
  464.                                     "allocation_status": "no_attempt"
  465.                                 }
  466.                             }
  467.                         ]
  468.                     }
  469.                 },
  470.                 ".kibana_1": {
  471.                     "shards": {
  472.                         "0": [
  473.                             {
  474.                                 "state": "INITIALIZING",
  475.                                 "primary": true,
  476.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  477.                                 "relocating_node": null,
  478.                                 "shard": 0,
  479.                                 "index": ".kibana_1",
  480.                                 "recovery_source": {
  481.                                     "type": "EXISTING_STORE",
  482.                                     "bootstrap_new_history_uuid": false
  483.                                 },
  484.                                 "allocation_id": {
  485.                                     "id": "Rw4uqAYUSayXlAVRhxJ_Qg"
  486.                                 },
  487.                                 "unassigned_info": {
  488.                                     "reason": "MANUAL_ALLOCATION",
  489.                                     "at": "2019-03-13T11:53:43.371Z",
  490.                                     "delayed": false,
  491.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[.kibana_1][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7DV63v0zS4ynYtzpTaoqGA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7DV63v0zS4ynYtzpTaoqGA/0/translog/translog-8.tlog: Device or resource busy]; ",
  492.                                     "allocation_status": "deciders_no"
  493.                                 }
  494.                             }
  495.                         ]
  496.                     }
  497.                 },
  498.                 "cpi_sensors_shipped": {
  499.                     "shards": {
  500.                         "2": [
  501.                             {
  502.                                 "state": "INITIALIZING",
  503.                                 "primary": true,
  504.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  505.                                 "relocating_node": null,
  506.                                 "shard": 2,
  507.                                 "index": "cpi_sensors_shipped",
  508.                                 "recovery_source": {
  509.                                     "type": "EXISTING_STORE",
  510.                                     "bootstrap_new_history_uuid": false
  511.                                 },
  512.                                 "allocation_id": {
  513.                                     "id": "j4UzI3MDTBWd8dgf6w0MxA"
  514.                                 },
  515.                                 "unassigned_info": {
  516.                                     "reason": "MANUAL_ALLOCATION",
  517.                                     "at": "2019-03-13T11:53:43.369Z",
  518.                                     "delayed": false,
  519.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/2/translog/translog-11.tlog: Device or resource busy]; ",
  520.                                     "allocation_status": "deciders_no"
  521.                                 }
  522.                             },
  523.                             {
  524.                                 "state": "UNASSIGNED",
  525.                                 "primary": false,
  526.                                 "node": null,
  527.                                 "relocating_node": null,
  528.                                 "shard": 2,
  529.                                 "index": "cpi_sensors_shipped",
  530.                                 "recovery_source": {
  531.                                     "type": "PEER"
  532.                                 },
  533.                                 "unassigned_info": {
  534.                                     "reason": "CLUSTER_RECOVERED",
  535.                                     "at": "2019-03-13T11:45:44.652Z",
  536.                                     "delayed": false,
  537.                                     "allocation_status": "no_attempt"
  538.                                 }
  539.                             }
  540.                         ],
  541.                         "4": [
  542.                             {
  543.                                 "state": "INITIALIZING",
  544.                                 "primary": true,
  545.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  546.                                 "relocating_node": null,
  547.                                 "shard": 4,
  548.                                 "index": "cpi_sensors_shipped",
  549.                                 "recovery_source": {
  550.                                     "type": "EXISTING_STORE",
  551.                                     "bootstrap_new_history_uuid": false
  552.                                 },
  553.                                 "allocation_id": {
  554.                                     "id": "DwafdyIWQ4KFcNbOufIXNg"
  555.                                 },
  556.                                 "unassigned_info": {
  557.                                     "reason": "MANUAL_ALLOCATION",
  558.                                     "at": "2019-03-13T11:53:43.369Z",
  559.                                     "delayed": false,
  560.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/4/translog/translog-15.tlog: Device or resource busy]; ",
  561.                                     "allocation_status": "deciders_no"
  562.                                 }
  563.                             },
  564.                             {
  565.                                 "state": "UNASSIGNED",
  566.                                 "primary": false,
  567.                                 "node": null,
  568.                                 "relocating_node": null,
  569.                                 "shard": 4,
  570.                                 "index": "cpi_sensors_shipped",
  571.                                 "recovery_source": {
  572.                                     "type": "PEER"
  573.                                 },
  574.                                 "unassigned_info": {
  575.                                     "reason": "CLUSTER_RECOVERED",
  576.                                     "at": "2019-03-13T11:45:44.652Z",
  577.                                     "delayed": false,
  578.                                     "allocation_status": "no_attempt"
  579.                                 }
  580.                             }
  581.                         ],
  582.                         "1": [
  583.                             {
  584.                                 "state": "INITIALIZING",
  585.                                 "primary": true,
  586.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  587.                                 "relocating_node": null,
  588.                                 "shard": 1,
  589.                                 "index": "cpi_sensors_shipped",
  590.                                 "recovery_source": {
  591.                                     "type": "EXISTING_STORE",
  592.                                     "bootstrap_new_history_uuid": false
  593.                                 },
  594.                                 "allocation_id": {
  595.                                     "id": "gEOuvHLQQBq_bZ5bMFsdIQ"
  596.                                 },
  597.                                 "unassigned_info": {
  598.                                     "reason": "MANUAL_ALLOCATION",
  599.                                     "at": "2019-03-13T11:53:43.369Z",
  600.                                     "delayed": false,
  601.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/1/translog/translog-12.tlog: Device or resource busy]; ",
  602.                                     "allocation_status": "deciders_no"
  603.                                 }
  604.                             },
  605.                             {
  606.                                 "state": "UNASSIGNED",
  607.                                 "primary": false,
  608.                                 "node": null,
  609.                                 "relocating_node": null,
  610.                                 "shard": 1,
  611.                                 "index": "cpi_sensors_shipped",
  612.                                 "recovery_source": {
  613.                                     "type": "PEER"
  614.                                 },
  615.                                 "unassigned_info": {
  616.                                     "reason": "CLUSTER_RECOVERED",
  617.                                     "at": "2019-03-13T11:45:44.652Z",
  618.                                     "delayed": false,
  619.                                     "allocation_status": "no_attempt"
  620.                                 }
  621.                             }
  622.                         ],
  623.                         "3": [
  624.                             {
  625.                                 "state": "INITIALIZING",
  626.                                 "primary": true,
  627.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  628.                                 "relocating_node": null,
  629.                                 "shard": 3,
  630.                                 "index": "cpi_sensors_shipped",
  631.                                 "recovery_source": {
  632.                                     "type": "EXISTING_STORE",
  633.                                     "bootstrap_new_history_uuid": false
  634.                                 },
  635.                                 "allocation_id": {
  636.                                     "id": "T4N0jlcSSpurS_mjJyVuZQ"
  637.                                 },
  638.                                 "unassigned_info": {
  639.                                     "reason": "MANUAL_ALLOCATION",
  640.                                     "at": "2019-03-13T11:53:43.386Z",
  641.                                     "delayed": false,
  642.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/3/translog/translog-11.tlog: Device or resource busy]; ",
  643.                                     "allocation_status": "deciders_no"
  644.                                 }
  645.                             },
  646.                             {
  647.                                 "state": "UNASSIGNED",
  648.                                 "primary": false,
  649.                                 "node": null,
  650.                                 "relocating_node": null,
  651.                                 "shard": 3,
  652.                                 "index": "cpi_sensors_shipped",
  653.                                 "recovery_source": {
  654.                                     "type": "PEER"
  655.                                 },
  656.                                 "unassigned_info": {
  657.                                     "reason": "CLUSTER_RECOVERED",
  658.                                     "at": "2019-03-13T11:45:44.652Z",
  659.                                     "delayed": false,
  660.                                     "allocation_status": "no_attempt"
  661.                                 }
  662.                             }
  663.                         ],
  664.                         "0": [
  665.                             {
  666.                                 "state": "INITIALIZING",
  667.                                 "primary": true,
  668.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  669.                                 "relocating_node": null,
  670.                                 "shard": 0,
  671.                                 "index": "cpi_sensors_shipped",
  672.                                 "recovery_source": {
  673.                                     "type": "EXISTING_STORE",
  674.                                     "bootstrap_new_history_uuid": false
  675.                                 },
  676.                                 "allocation_id": {
  677.                                     "id": "KVWkUM8lRgaCvzh3xuUT_A"
  678.                                 },
  679.                                 "unassigned_info": {
  680.                                     "reason": "MANUAL_ALLOCATION",
  681.                                     "at": "2019-03-13T11:53:43.385Z",
  682.                                     "delayed": false,
  683.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/0/translog/translog-14.tlog: Device or resource busy]; ",
  684.                                     "allocation_status": "deciders_no"
  685.                                 }
  686.                             },
  687.                             {
  688.                                 "state": "UNASSIGNED",
  689.                                 "primary": false,
  690.                                 "node": null,
  691.                                 "relocating_node": null,
  692.                                 "shard": 0,
  693.                                 "index": "cpi_sensors_shipped",
  694.                                 "recovery_source": {
  695.                                     "type": "PEER"
  696.                                 },
  697.                                 "unassigned_info": {
  698.                                     "reason": "CLUSTER_RECOVERED",
  699.                                     "at": "2019-03-13T11:45:44.652Z",
  700.                                     "delayed": false,
  701.                                     "allocation_status": "no_attempt"
  702.                                 }
  703.                             }
  704.                         ]
  705.                     }
  706.                 },
  707.                 ".kibana_2": {
  708.                     "shards": {
  709.                         "0": [
  710.                             {
  711.                                 "state": "INITIALIZING",
  712.                                 "primary": true,
  713.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  714.                                 "relocating_node": null,
  715.                                 "shard": 0,
  716.                                 "index": ".kibana_2",
  717.                                 "recovery_source": {
  718.                                     "type": "EXISTING_STORE",
  719.                                     "bootstrap_new_history_uuid": false
  720.                                 },
  721.                                 "allocation_id": {
  722.                                     "id": "kaxr4uc6T7GfdPfXm5EryA"
  723.                                 },
  724.                                 "unassigned_info": {
  725.                                     "reason": "MANUAL_ALLOCATION",
  726.                                     "at": "2019-03-13T11:53:43.385Z",
  727.                                     "delayed": false,
  728.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[.kibana_2][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/kphbrQ1QRs-5Odgt1Hy8ow/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/kphbrQ1QRs-5Odgt1Hy8ow/0/translog/translog-18.tlog: Device or resource busy]; ",
  729.                                     "allocation_status": "deciders_no"
  730.                                 }
  731.                             }
  732.                         ]
  733.                     }
  734.                 },
  735.                 "test": {
  736.                     "shards": {
  737.                         "3": [
  738.                             {
  739.                                 "state": "STARTED",
  740.                                 "primary": true,
  741.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  742.                                 "relocating_node": null,
  743.                                 "shard": 3,
  744.                                 "index": "test",
  745.                                 "allocation_id": {
  746.                                     "id": "2tn7bQz9S7W-dH95YnueqA"
  747.                                 }
  748.                             },
  749.                             {
  750.                                 "state": "UNASSIGNED",
  751.                                 "primary": false,
  752.                                 "node": null,
  753.                                 "relocating_node": null,
  754.                                 "shard": 3,
  755.                                 "index": "test",
  756.                                 "recovery_source": {
  757.                                     "type": "PEER"
  758.                                 },
  759.                                 "unassigned_info": {
  760.                                     "reason": "CLUSTER_RECOVERED",
  761.                                     "at": "2019-03-13T11:45:44.651Z",
  762.                                     "delayed": false,
  763.                                     "allocation_status": "no_attempt"
  764.                                 }
  765.                             }
  766.                         ],
  767.                         "4": [
  768.                             {
  769.                                 "state": "STARTED",
  770.                                 "primary": true,
  771.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  772.                                 "relocating_node": null,
  773.                                 "shard": 4,
  774.                                 "index": "test",
  775.                                 "allocation_id": {
  776.                                     "id": "umitPJdZTRy-QXGQbbGCfQ"
  777.                                 }
  778.                             },
  779.                             {
  780.                                 "state": "UNASSIGNED",
  781.                                 "primary": false,
  782.                                 "node": null,
  783.                                 "relocating_node": null,
  784.                                 "shard": 4,
  785.                                 "index": "test",
  786.                                 "recovery_source": {
  787.                                     "type": "PEER"
  788.                                 },
  789.                                 "unassigned_info": {
  790.                                     "reason": "CLUSTER_RECOVERED",
  791.                                     "at": "2019-03-13T11:45:44.651Z",
  792.                                     "delayed": false,
  793.                                     "allocation_status": "no_attempt"
  794.                                 }
  795.                             }
  796.                         ],
  797.                         "1": [
  798.                             {
  799.                                 "state": "STARTED",
  800.                                 "primary": true,
  801.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  802.                                 "relocating_node": null,
  803.                                 "shard": 1,
  804.                                 "index": "test",
  805.                                 "allocation_id": {
  806.                                     "id": "Vqp7zfkwT3eQJycJCSs1FA"
  807.                                 }
  808.                             },
  809.                             {
  810.                                 "state": "UNASSIGNED",
  811.                                 "primary": false,
  812.                                 "node": null,
  813.                                 "relocating_node": null,
  814.                                 "shard": 1,
  815.                                 "index": "test",
  816.                                 "recovery_source": {
  817.                                     "type": "PEER"
  818.                                 },
  819.                                 "unassigned_info": {
  820.                                     "reason": "CLUSTER_RECOVERED",
  821.                                     "at": "2019-03-13T11:45:44.651Z",
  822.                                     "delayed": false,
  823.                                     "allocation_status": "no_attempt"
  824.                                 }
  825.                             }
  826.                         ],
  827.                         "2": [
  828.                             {
  829.                                 "state": "STARTED",
  830.                                 "primary": true,
  831.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  832.                                 "relocating_node": null,
  833.                                 "shard": 2,
  834.                                 "index": "test",
  835.                                 "allocation_id": {
  836.                                     "id": "S1E-fAycRx68-KNJ3oFs0Q"
  837.                                 }
  838.                             },
  839.                             {
  840.                                 "state": "UNASSIGNED",
  841.                                 "primary": false,
  842.                                 "node": null,
  843.                                 "relocating_node": null,
  844.                                 "shard": 2,
  845.                                 "index": "test",
  846.                                 "recovery_source": {
  847.                                     "type": "PEER"
  848.                                 },
  849.                                 "unassigned_info": {
  850.                                     "reason": "CLUSTER_RECOVERED",
  851.                                     "at": "2019-03-13T11:45:44.651Z",
  852.                                     "delayed": false,
  853.                                     "allocation_status": "no_attempt"
  854.                                 }
  855.                             }
  856.                         ],
  857.                         "0": [
  858.                             {
  859.                                 "state": "STARTED",
  860.                                 "primary": true,
  861.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  862.                                 "relocating_node": null,
  863.                                 "shard": 0,
  864.                                 "index": "test",
  865.                                 "allocation_id": {
  866.                                     "id": "eB3EPWH_TKqk_XLTkzRvwQ"
  867.                                 }
  868.                             },
  869.                             {
  870.                                 "state": "UNASSIGNED",
  871.                                 "primary": false,
  872.                                 "node": null,
  873.                                 "relocating_node": null,
  874.                                 "shard": 0,
  875.                                 "index": "test",
  876.                                 "recovery_source": {
  877.                                     "type": "PEER"
  878.                                 },
  879.                                 "unassigned_info": {
  880.                                     "reason": "CLUSTER_RECOVERED",
  881.                                     "at": "2019-03-13T11:45:44.651Z",
  882.                                     "delayed": false,
  883.                                     "allocation_status": "no_attempt"
  884.                                 }
  885.                             }
  886.                         ]
  887.                     }
  888.                 },
  889.                 "cpi_design_win": {
  890.                     "shards": {
  891.                         "3": [
  892.                             {
  893.                                 "state": "INITIALIZING",
  894.                                 "primary": true,
  895.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  896.                                 "relocating_node": null,
  897.                                 "shard": 3,
  898.                                 "index": "cpi_design_win",
  899.                                 "recovery_source": {
  900.                                     "type": "EXISTING_STORE",
  901.                                     "bootstrap_new_history_uuid": false
  902.                                 },
  903.                                 "allocation_id": {
  904.                                     "id": "rQOuR9VzQSOdEaaylIm4Dg"
  905.                                 },
  906.                                 "unassigned_info": {
  907.                                     "reason": "MANUAL_ALLOCATION",
  908.                                     "at": "2019-03-13T11:53:43.405Z",
  909.                                     "delayed": false,
  910.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/3/translog/translog-7.tlog: Device or resource busy]; ",
  911.                                     "allocation_status": "deciders_no"
  912.                                 }
  913.                             },
  914.                             {
  915.                                 "state": "UNASSIGNED",
  916.                                 "primary": false,
  917.                                 "node": null,
  918.                                 "relocating_node": null,
  919.                                 "shard": 3,
  920.                                 "index": "cpi_design_win",
  921.                                 "recovery_source": {
  922.                                     "type": "PEER"
  923.                                 },
  924.                                 "unassigned_info": {
  925.                                     "reason": "CLUSTER_RECOVERED",
  926.                                     "at": "2019-03-13T11:45:44.651Z",
  927.                                     "delayed": false,
  928.                                     "allocation_status": "no_attempt"
  929.                                 }
  930.                             }
  931.                         ],
  932.                         "2": [
  933.                             {
  934.                                 "state": "INITIALIZING",
  935.                                 "primary": true,
  936.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  937.                                 "relocating_node": null,
  938.                                 "shard": 2,
  939.                                 "index": "cpi_design_win",
  940.                                 "recovery_source": {
  941.                                     "type": "EXISTING_STORE",
  942.                                     "bootstrap_new_history_uuid": false
  943.                                 },
  944.                                 "allocation_id": {
  945.                                     "id": "Ft8YWMIKRSiyFz7RGdAHMQ"
  946.                                 },
  947.                                 "unassigned_info": {
  948.                                     "reason": "MANUAL_ALLOCATION",
  949.                                     "at": "2019-03-13T11:53:43.396Z",
  950.                                     "delayed": false,
  951.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/2/translog/translog-8.tlog: Device or resource busy]; ",
  952.                                     "allocation_status": "deciders_no"
  953.                                 }
  954.                             },
  955.                             {
  956.                                 "state": "UNASSIGNED",
  957.                                 "primary": false,
  958.                                 "node": null,
  959.                                 "relocating_node": null,
  960.                                 "shard": 2,
  961.                                 "index": "cpi_design_win",
  962.                                 "recovery_source": {
  963.                                     "type": "PEER"
  964.                                 },
  965.                                 "unassigned_info": {
  966.                                     "reason": "CLUSTER_RECOVERED",
  967.                                     "at": "2019-03-13T11:45:44.651Z",
  968.                                     "delayed": false,
  969.                                     "allocation_status": "no_attempt"
  970.                                 }
  971.                             }
  972.                         ],
  973.                         "1": [
  974.                             {
  975.                                 "state": "INITIALIZING",
  976.                                 "primary": true,
  977.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  978.                                 "relocating_node": null,
  979.                                 "shard": 1,
  980.                                 "index": "cpi_design_win",
  981.                                 "recovery_source": {
  982.                                     "type": "EXISTING_STORE",
  983.                                     "bootstrap_new_history_uuid": false
  984.                                 },
  985.                                 "allocation_id": {
  986.                                     "id": "v7tB5lSeQPSjLoY4dJjwRQ"
  987.                                 },
  988.                                 "unassigned_info": {
  989.                                     "reason": "MANUAL_ALLOCATION",
  990.                                     "at": "2019-03-13T11:53:43.396Z",
  991.                                     "delayed": false,
  992.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/1/translog/translog-8.tlog: Device or resource busy]; ",
  993.                                     "allocation_status": "deciders_no"
  994.                                 }
  995.                             },
  996.                             {
  997.                                 "state": "UNASSIGNED",
  998.                                 "primary": false,
  999.                                 "node": null,
  1000.                                 "relocating_node": null,
  1001.                                 "shard": 1,
  1002.                                 "index": "cpi_design_win",
  1003.                                 "recovery_source": {
  1004.                                     "type": "PEER"
  1005.                                 },
  1006.                                 "unassigned_info": {
  1007.                                     "reason": "CLUSTER_RECOVERED",
  1008.                                     "at": "2019-03-13T11:45:44.651Z",
  1009.                                     "delayed": false,
  1010.                                     "allocation_status": "no_attempt"
  1011.                                 }
  1012.                             }
  1013.                         ],
  1014.                         "4": [
  1015.                             {
  1016.                                 "state": "INITIALIZING",
  1017.                                 "primary": true,
  1018.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1019.                                 "relocating_node": null,
  1020.                                 "shard": 4,
  1021.                                 "index": "cpi_design_win",
  1022.                                 "recovery_source": {
  1023.                                     "type": "EXISTING_STORE",
  1024.                                     "bootstrap_new_history_uuid": false
  1025.                                 },
  1026.                                 "allocation_id": {
  1027.                                     "id": "f4GORBFiQcWPNP43MgZ2hg"
  1028.                                 },
  1029.                                 "unassigned_info": {
  1030.                                     "reason": "MANUAL_ALLOCATION",
  1031.                                     "at": "2019-03-13T11:53:43.397Z",
  1032.                                     "delayed": false,
  1033.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/4/translog/translog-7.tlog: Device or resource busy]; ",
  1034.                                     "allocation_status": "deciders_no"
  1035.                                 }
  1036.                             },
  1037.                             {
  1038.                                 "state": "UNASSIGNED",
  1039.                                 "primary": false,
  1040.                                 "node": null,
  1041.                                 "relocating_node": null,
  1042.                                 "shard": 4,
  1043.                                 "index": "cpi_design_win",
  1044.                                 "recovery_source": {
  1045.                                     "type": "PEER"
  1046.                                 },
  1047.                                 "unassigned_info": {
  1048.                                     "reason": "CLUSTER_RECOVERED",
  1049.                                     "at": "2019-03-13T11:45:44.651Z",
  1050.                                     "delayed": false,
  1051.                                     "allocation_status": "no_attempt"
  1052.                                 }
  1053.                             }
  1054.                         ],
  1055.                         "0": [
  1056.                             {
  1057.                                 "state": "INITIALIZING",
  1058.                                 "primary": true,
  1059.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1060.                                 "relocating_node": null,
  1061.                                 "shard": 0,
  1062.                                 "index": "cpi_design_win",
  1063.                                 "recovery_source": {
  1064.                                     "type": "EXISTING_STORE",
  1065.                                     "bootstrap_new_history_uuid": false
  1066.                                 },
  1067.                                 "allocation_id": {
  1068.                                     "id": "0eb97W-bQhioxPKhCC3oHQ"
  1069.                                 },
  1070.                                 "unassigned_info": {
  1071.                                     "reason": "MANUAL_ALLOCATION",
  1072.                                     "at": "2019-03-13T11:53:43.396Z",
  1073.                                     "delayed": false,
  1074.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/0/translog/translog-8.tlog: Device or resource busy]; ",
  1075.                                     "allocation_status": "deciders_no"
  1076.                                 }
  1077.                             },
  1078.                             {
  1079.                                 "state": "UNASSIGNED",
  1080.                                 "primary": false,
  1081.                                 "node": null,
  1082.                                 "relocating_node": null,
  1083.                                 "shard": 0,
  1084.                                 "index": "cpi_design_win",
  1085.                                 "recovery_source": {
  1086.                                     "type": "PEER"
  1087.                                 },
  1088.                                 "unassigned_info": {
  1089.                                     "reason": "CLUSTER_RECOVERED",
  1090.                                     "at": "2019-03-13T11:45:44.651Z",
  1091.                                     "delayed": false,
  1092.                                     "allocation_status": "no_attempt"
  1093.                                 }
  1094.                             }
  1095.                         ]
  1096.                     }
  1097.                 },
  1098.                 "kpi_power_consumption": {
  1099.                     "shards": {
  1100.                         "2": [
  1101.                             {
  1102.                                 "state": "INITIALIZING",
  1103.                                 "primary": true,
  1104.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1105.                                 "relocating_node": null,
  1106.                                 "shard": 2,
  1107.                                 "index": "kpi_power_consumption",
  1108.                                 "recovery_source": {
  1109.                                     "type": "EXISTING_STORE",
  1110.                                     "bootstrap_new_history_uuid": false
  1111.                                 },
  1112.                                 "allocation_id": {
  1113.                                     "id": "Egb0Iq-lRPmurI51m-MMMA"
  1114.                                 },
  1115.                                 "unassigned_info": {
  1116.                                     "reason": "MANUAL_ALLOCATION",
  1117.                                     "at": "2019-03-13T11:53:43.363Z",
  1118.                                     "delayed": false,
  1119.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/2/translog/translog-896.tlog: Device or resource busy]; ",
  1120.                                     "allocation_status": "deciders_no"
  1121.                                 }
  1122.                             },
  1123.                             {
  1124.                                 "state": "UNASSIGNED",
  1125.                                 "primary": false,
  1126.                                 "node": null,
  1127.                                 "relocating_node": null,
  1128.                                 "shard": 2,
  1129.                                 "index": "kpi_power_consumption",
  1130.                                 "recovery_source": {
  1131.                                     "type": "PEER"
  1132.                                 },
  1133.                                 "unassigned_info": {
  1134.                                     "reason": "CLUSTER_RECOVERED",
  1135.                                     "at": "2019-03-13T11:45:44.650Z",
  1136.                                     "delayed": false,
  1137.                                     "allocation_status": "no_attempt"
  1138.                                 }
  1139.                             }
  1140.                         ],
  1141.                         "4": [
  1142.                             {
  1143.                                 "state": "INITIALIZING",
  1144.                                 "primary": true,
  1145.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1146.                                 "relocating_node": null,
  1147.                                 "shard": 4,
  1148.                                 "index": "kpi_power_consumption",
  1149.                                 "recovery_source": {
  1150.                                     "type": "EXISTING_STORE",
  1151.                                     "bootstrap_new_history_uuid": false
  1152.                                 },
  1153.                                 "allocation_id": {
  1154.                                     "id": "R6SX5clqSpmlJYS07FWpKA"
  1155.                                 },
  1156.                                 "unassigned_info": {
  1157.                                     "reason": "MANUAL_ALLOCATION",
  1158.                                     "at": "2019-03-13T11:53:43.364Z",
  1159.                                     "delayed": false,
  1160.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/4/translog/translog-897.tlog: Device or resource busy]; ",
  1161.                                     "allocation_status": "deciders_no"
  1162.                                 }
  1163.                             },
  1164.                             {
  1165.                                 "state": "UNASSIGNED",
  1166.                                 "primary": false,
  1167.                                 "node": null,
  1168.                                 "relocating_node": null,
  1169.                                 "shard": 4,
  1170.                                 "index": "kpi_power_consumption",
  1171.                                 "recovery_source": {
  1172.                                     "type": "PEER"
  1173.                                 },
  1174.                                 "unassigned_info": {
  1175.                                     "reason": "CLUSTER_RECOVERED",
  1176.                                     "at": "2019-03-13T11:45:44.650Z",
  1177.                                     "delayed": false,
  1178.                                     "allocation_status": "no_attempt"
  1179.                                 }
  1180.                             }
  1181.                         ],
  1182.                         "1": [
  1183.                             {
  1184.                                 "state": "INITIALIZING",
  1185.                                 "primary": true,
  1186.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1187.                                 "relocating_node": null,
  1188.                                 "shard": 1,
  1189.                                 "index": "kpi_power_consumption",
  1190.                                 "recovery_source": {
  1191.                                     "type": "EXISTING_STORE",
  1192.                                     "bootstrap_new_history_uuid": false
  1193.                                 },
  1194.                                 "allocation_id": {
  1195.                                     "id": "8sGRqNLDQfqwR6SLsRP62Q"
  1196.                                 },
  1197.                                 "unassigned_info": {
  1198.                                     "reason": "MANUAL_ALLOCATION",
  1199.                                     "at": "2019-03-13T11:53:43.363Z",
  1200.                                     "delayed": false,
  1201.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/1/translog/translog-889.tlog: Device or resource busy]; ",
  1202.                                     "allocation_status": "deciders_no"
  1203.                                 }
  1204.                             },
  1205.                             {
  1206.                                 "state": "UNASSIGNED",
  1207.                                 "primary": false,
  1208.                                 "node": null,
  1209.                                 "relocating_node": null,
  1210.                                 "shard": 1,
  1211.                                 "index": "kpi_power_consumption",
  1212.                                 "recovery_source": {
  1213.                                     "type": "PEER"
  1214.                                 },
  1215.                                 "unassigned_info": {
  1216.                                     "reason": "CLUSTER_RECOVERED",
  1217.                                     "at": "2019-03-13T11:45:44.650Z",
  1218.                                     "delayed": false,
  1219.                                     "allocation_status": "no_attempt"
  1220.                                 }
  1221.                             }
  1222.                         ],
  1223.                         "3": [
  1224.                             {
  1225.                                 "state": "INITIALIZING",
  1226.                                 "primary": true,
  1227.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1228.                                 "relocating_node": null,
  1229.                                 "shard": 3,
  1230.                                 "index": "kpi_power_consumption",
  1231.                                 "recovery_source": {
  1232.                                     "type": "EXISTING_STORE",
  1233.                                     "bootstrap_new_history_uuid": false
  1234.                                 },
  1235.                                 "allocation_id": {
  1236.                                     "id": "yqBSqkveQiObuI6AFKxvWQ"
  1237.                                 },
  1238.                                 "unassigned_info": {
  1239.                                     "reason": "MANUAL_ALLOCATION",
  1240.                                     "at": "2019-03-13T11:53:43.358Z",
  1241.                                     "delayed": false,
  1242.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/3/translog/translog-888.tlog: Device or resource busy]; ",
  1243.                                     "allocation_status": "deciders_no"
  1244.                                 }
  1245.                             },
  1246.                             {
  1247.                                 "state": "UNASSIGNED",
  1248.                                 "primary": false,
  1249.                                 "node": null,
  1250.                                 "relocating_node": null,
  1251.                                 "shard": 3,
  1252.                                 "index": "kpi_power_consumption",
  1253.                                 "recovery_source": {
  1254.                                     "type": "PEER"
  1255.                                 },
  1256.                                 "unassigned_info": {
  1257.                                     "reason": "CLUSTER_RECOVERED",
  1258.                                     "at": "2019-03-13T11:45:44.650Z",
  1259.                                     "delayed": false,
  1260.                                     "allocation_status": "no_attempt"
  1261.                                 }
  1262.                             }
  1263.                         ],
  1264.                         "0": [
  1265.                             {
  1266.                                 "state": "INITIALIZING",
  1267.                                 "primary": true,
  1268.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1269.                                 "relocating_node": null,
  1270.                                 "shard": 0,
  1271.                                 "index": "kpi_power_consumption",
  1272.                                 "recovery_source": {
  1273.                                     "type": "EXISTING_STORE",
  1274.                                     "bootstrap_new_history_uuid": false
  1275.                                 },
  1276.                                 "allocation_id": {
  1277.                                     "id": "7KjuIEyKQQGmutA215p5Fg"
  1278.                                 },
  1279.                                 "unassigned_info": {
  1280.                                     "reason": "MANUAL_ALLOCATION",
  1281.                                     "at": "2019-03-13T11:53:43.362Z",
  1282.                                     "delayed": false,
  1283.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/0/translog/translog-888.tlog: Device or resource busy]; ",
  1284.                                     "allocation_status": "deciders_no"
  1285.                                 }
  1286.                             },
  1287.                             {
  1288.                                 "state": "UNASSIGNED",
  1289.                                 "primary": false,
  1290.                                 "node": null,
  1291.                                 "relocating_node": null,
  1292.                                 "shard": 0,
  1293.                                 "index": "kpi_power_consumption",
  1294.                                 "recovery_source": {
  1295.                                     "type": "PEER"
  1296.                                 },
  1297.                                 "unassigned_info": {
  1298.                                     "reason": "CLUSTER_RECOVERED",
  1299.                                     "at": "2019-03-13T11:45:44.650Z",
  1300.                                     "delayed": false,
  1301.                                     "allocation_status": "no_attempt"
  1302.                                 }
  1303.                             }
  1304.                         ]
  1305.                     }
  1306.                 },
  1307.                 "kpi_range": {
  1308.                     "shards": {
  1309.                         "2": [
  1310.                             {
  1311.                                 "state": "INITIALIZING",
  1312.                                 "primary": true,
  1313.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1314.                                 "relocating_node": null,
  1315.                                 "shard": 2,
  1316.                                 "index": "kpi_range",
  1317.                                 "recovery_source": {
  1318.                                     "type": "EXISTING_STORE",
  1319.                                     "bootstrap_new_history_uuid": false
  1320.                                 },
  1321.                                 "allocation_id": {
  1322.                                     "id": "zWJUkDDZTiWlZB2cYh6wuQ"
  1323.                                 },
  1324.                                 "unassigned_info": {
  1325.                                     "reason": "MANUAL_ALLOCATION",
  1326.                                     "at": "2019-03-13T11:53:43.356Z",
  1327.                                     "delayed": false,
  1328.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/2/translog/translog-99.tlog: Device or resource busy]; ",
  1329.                                     "allocation_status": "deciders_no"
  1330.                                 }
  1331.                             },
  1332.                             {
  1333.                                 "state": "UNASSIGNED",
  1334.                                 "primary": false,
  1335.                                 "node": null,
  1336.                                 "relocating_node": null,
  1337.                                 "shard": 2,
  1338.                                 "index": "kpi_range",
  1339.                                 "recovery_source": {
  1340.                                     "type": "PEER"
  1341.                                 },
  1342.                                 "unassigned_info": {
  1343.                                     "reason": "CLUSTER_RECOVERED",
  1344.                                     "at": "2019-03-13T11:45:44.646Z",
  1345.                                     "delayed": false,
  1346.                                     "allocation_status": "no_attempt"
  1347.                                 }
  1348.                             }
  1349.                         ],
  1350.                         "3": [
  1351.                             {
  1352.                                 "state": "INITIALIZING",
  1353.                                 "primary": true,
  1354.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1355.                                 "relocating_node": null,
  1356.                                 "shard": 3,
  1357.                                 "index": "kpi_range",
  1358.                                 "recovery_source": {
  1359.                                     "type": "EXISTING_STORE",
  1360.                                     "bootstrap_new_history_uuid": false
  1361.                                 },
  1362.                                 "allocation_id": {
  1363.                                     "id": "gVY5ILqzTQ-6UoeEeTfzPA"
  1364.                                 },
  1365.                                 "unassigned_info": {
  1366.                                     "reason": "MANUAL_ALLOCATION",
  1367.                                     "at": "2019-03-13T11:53:43.357Z",
  1368.                                     "delayed": false,
  1369.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/3/translog/translog-102.tlog: Device or resource busy]; ",
  1370.                                     "allocation_status": "deciders_no"
  1371.                                 }
  1372.                             },
  1373.                             {
  1374.                                 "state": "UNASSIGNED",
  1375.                                 "primary": false,
  1376.                                 "node": null,
  1377.                                 "relocating_node": null,
  1378.                                 "shard": 3,
  1379.                                 "index": "kpi_range",
  1380.                                 "recovery_source": {
  1381.                                     "type": "PEER"
  1382.                                 },
  1383.                                 "unassigned_info": {
  1384.                                     "reason": "CLUSTER_RECOVERED",
  1385.                                     "at": "2019-03-13T11:45:44.646Z",
  1386.                                     "delayed": false,
  1387.                                     "allocation_status": "no_attempt"
  1388.                                 }
  1389.                             }
  1390.                         ],
  1391.                         "1": [
  1392.                             {
  1393.                                 "state": "INITIALIZING",
  1394.                                 "primary": true,
  1395.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1396.                                 "relocating_node": null,
  1397.                                 "shard": 1,
  1398.                                 "index": "kpi_range",
  1399.                                 "recovery_source": {
  1400.                                     "type": "EXISTING_STORE",
  1401.                                     "bootstrap_new_history_uuid": false
  1402.                                 },
  1403.                                 "allocation_id": {
  1404.                                     "id": "9527UT5cRDOHND75XliAvQ"
  1405.                                 },
  1406.                                 "unassigned_info": {
  1407.                                     "reason": "MANUAL_ALLOCATION",
  1408.                                     "at": "2019-03-13T11:53:43.354Z",
  1409.                                     "delayed": false,
  1410.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/1/translog/translog-105.tlog: Device or resource busy]; ",
  1411.                                     "allocation_status": "deciders_no"
  1412.                                 }
  1413.                             },
  1414.                             {
  1415.                                 "state": "UNASSIGNED",
  1416.                                 "primary": false,
  1417.                                 "node": null,
  1418.                                 "relocating_node": null,
  1419.                                 "shard": 1,
  1420.                                 "index": "kpi_range",
  1421.                                 "recovery_source": {
  1422.                                     "type": "PEER"
  1423.                                 },
  1424.                                 "unassigned_info": {
  1425.                                     "reason": "CLUSTER_RECOVERED",
  1426.                                     "at": "2019-03-13T11:45:44.646Z",
  1427.                                     "delayed": false,
  1428.                                     "allocation_status": "no_attempt"
  1429.                                 }
  1430.                             }
  1431.                         ],
  1432.                         "4": [
  1433.                             {
  1434.                                 "state": "INITIALIZING",
  1435.                                 "primary": true,
  1436.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1437.                                 "relocating_node": null,
  1438.                                 "shard": 4,
  1439.                                 "index": "kpi_range",
  1440.                                 "recovery_source": {
  1441.                                     "type": "EXISTING_STORE",
  1442.                                     "bootstrap_new_history_uuid": false
  1443.                                 },
  1444.                                 "allocation_id": {
  1445.                                     "id": "OMpauaX6RpOWswM3oHuQ7g"
  1446.                                 },
  1447.                                 "unassigned_info": {
  1448.                                     "reason": "MANUAL_ALLOCATION",
  1449.                                     "at": "2019-03-13T11:53:43.455Z",
  1450.                                     "delayed": false,
  1451.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/4/translog/translog-90.tlog: Device or resource busy]; ",
  1452.                                     "allocation_status": "deciders_no"
  1453.                                 }
  1454.                             },
  1455.                             {
  1456.                                 "state": "UNASSIGNED",
  1457.                                 "primary": false,
  1458.                                 "node": null,
  1459.                                 "relocating_node": null,
  1460.                                 "shard": 4,
  1461.                                 "index": "kpi_range",
  1462.                                 "recovery_source": {
  1463.                                     "type": "PEER"
  1464.                                 },
  1465.                                 "unassigned_info": {
  1466.                                     "reason": "CLUSTER_RECOVERED",
  1467.                                     "at": "2019-03-13T11:45:44.646Z",
  1468.                                     "delayed": false,
  1469.                                     "allocation_status": "no_attempt"
  1470.                                 }
  1471.                             }
  1472.                         ],
  1473.                         "0": [
  1474.                             {
  1475.                                 "state": "INITIALIZING",
  1476.                                 "primary": true,
  1477.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1478.                                 "relocating_node": null,
  1479.                                 "shard": 0,
  1480.                                 "index": "kpi_range",
  1481.                                 "recovery_source": {
  1482.                                     "type": "EXISTING_STORE",
  1483.                                     "bootstrap_new_history_uuid": false
  1484.                                 },
  1485.                                 "allocation_id": {
  1486.                                     "id": "Mvtl6yVDRXyixRz0jESXXw"
  1487.                                 },
  1488.                                 "unassigned_info": {
  1489.                                     "reason": "MANUAL_ALLOCATION",
  1490.                                     "at": "2019-03-13T11:53:43.793Z",
  1491.                                     "delayed": false,
  1492.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/0/translog/translog-104.tlog: Device or resource busy]; ",
  1493.                                     "allocation_status": "deciders_no"
  1494.                                 }
  1495.                             },
  1496.                             {
  1497.                                 "state": "UNASSIGNED",
  1498.                                 "primary": false,
  1499.                                 "node": null,
  1500.                                 "relocating_node": null,
  1501.                                 "shard": 0,
  1502.                                 "index": "kpi_range",
  1503.                                 "recovery_source": {
  1504.                                     "type": "PEER"
  1505.                                 },
  1506.                                 "unassigned_info": {
  1507.                                     "reason": "CLUSTER_RECOVERED",
  1508.                                     "at": "2019-03-13T11:45:44.646Z",
  1509.                                     "delayed": false,
  1510.                                     "allocation_status": "no_attempt"
  1511.                                 }
  1512.                             }
  1513.                         ]
  1514.                     }
  1515.                 },
  1516.                 "cpi_evaluation_platform": {
  1517.                     "shards": {
  1518.                         "4": [
  1519.                             {
  1520.                                 "state": "INITIALIZING",
  1521.                                 "primary": true,
  1522.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1523.                                 "relocating_node": null,
  1524.                                 "shard": 4,
  1525.                                 "index": "cpi_evaluation_platform",
  1526.                                 "recovery_source": {
  1527.                                     "type": "EXISTING_STORE",
  1528.                                     "bootstrap_new_history_uuid": false
  1529.                                 },
  1530.                                 "allocation_id": {
  1531.                                     "id": "fktp0t03T12rpcA5v9InqA"
  1532.                                 },
  1533.                                 "unassigned_info": {
  1534.                                     "reason": "MANUAL_ALLOCATION",
  1535.                                     "at": "2019-03-13T11:53:43.386Z",
  1536.                                     "delayed": false,
  1537.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/4/translog/translog-7.tlog: Device or resource busy]; ",
  1538.                                     "allocation_status": "deciders_no"
  1539.                                 }
  1540.                             },
  1541.                             {
  1542.                                 "state": "UNASSIGNED",
  1543.                                 "primary": false,
  1544.                                 "node": null,
  1545.                                 "relocating_node": null,
  1546.                                 "shard": 4,
  1547.                                 "index": "cpi_evaluation_platform",
  1548.                                 "recovery_source": {
  1549.                                     "type": "PEER"
  1550.                                 },
  1551.                                 "unassigned_info": {
  1552.                                     "reason": "CLUSTER_RECOVERED",
  1553.                                     "at": "2019-03-13T11:45:44.651Z",
  1554.                                     "delayed": false,
  1555.                                     "allocation_status": "no_attempt"
  1556.                                 }
  1557.                             }
  1558.                         ],
  1559.                         "3": [
  1560.                             {
  1561.                                 "state": "INITIALIZING",
  1562.                                 "primary": true,
  1563.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1564.                                 "relocating_node": null,
  1565.                                 "shard": 3,
  1566.                                 "index": "cpi_evaluation_platform",
  1567.                                 "recovery_source": {
  1568.                                     "type": "EXISTING_STORE",
  1569.                                     "bootstrap_new_history_uuid": false
  1570.                                 },
  1571.                                 "allocation_id": {
  1572.                                     "id": "TgFZ8EaMRyG7nNLq-qOkoA"
  1573.                                 },
  1574.                                 "unassigned_info": {
  1575.                                     "reason": "MANUAL_ALLOCATION",
  1576.                                     "at": "2019-03-13T11:53:43.387Z",
  1577.                                     "delayed": false,
  1578.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/3/translog/translog-7.tlog: Device or resource busy]; ",
  1579.                                     "allocation_status": "deciders_no"
  1580.                                 }
  1581.                             },
  1582.                             {
  1583.                                 "state": "UNASSIGNED",
  1584.                                 "primary": false,
  1585.                                 "node": null,
  1586.                                 "relocating_node": null,
  1587.                                 "shard": 3,
  1588.                                 "index": "cpi_evaluation_platform",
  1589.                                 "recovery_source": {
  1590.                                     "type": "PEER"
  1591.                                 },
  1592.                                 "unassigned_info": {
  1593.                                     "reason": "CLUSTER_RECOVERED",
  1594.                                     "at": "2019-03-13T11:45:44.651Z",
  1595.                                     "delayed": false,
  1596.                                     "allocation_status": "no_attempt"
  1597.                                 }
  1598.                             }
  1599.                         ],
  1600.                         "1": [
  1601.                             {
  1602.                                 "state": "INITIALIZING",
  1603.                                 "primary": true,
  1604.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1605.                                 "relocating_node": null,
  1606.                                 "shard": 1,
  1607.                                 "index": "cpi_evaluation_platform",
  1608.                                 "recovery_source": {
  1609.                                     "type": "EXISTING_STORE",
  1610.                                     "bootstrap_new_history_uuid": false
  1611.                                 },
  1612.                                 "allocation_id": {
  1613.                                     "id": "57rd8wXARIuEHyWvFLrRQA"
  1614.                                 },
  1615.                                 "unassigned_info": {
  1616.                                     "reason": "MANUAL_ALLOCATION",
  1617.                                     "at": "2019-03-13T11:53:43.386Z",
  1618.                                     "delayed": false,
  1619.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/1/translog/translog-7.tlog: Device or resource busy]; ",
  1620.                                     "allocation_status": "deciders_no"
  1621.                                 }
  1622.                             },
  1623.                             {
  1624.                                 "state": "UNASSIGNED",
  1625.                                 "primary": false,
  1626.                                 "node": null,
  1627.                                 "relocating_node": null,
  1628.                                 "shard": 1,
  1629.                                 "index": "cpi_evaluation_platform",
  1630.                                 "recovery_source": {
  1631.                                     "type": "PEER"
  1632.                                 },
  1633.                                 "unassigned_info": {
  1634.                                     "reason": "CLUSTER_RECOVERED",
  1635.                                     "at": "2019-03-13T11:45:44.651Z",
  1636.                                     "delayed": false,
  1637.                                     "allocation_status": "no_attempt"
  1638.                                 }
  1639.                             }
  1640.                         ],
  1641.                         "2": [
  1642.                             {
  1643.                                 "state": "INITIALIZING",
  1644.                                 "primary": true,
  1645.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1646.                                 "relocating_node": null,
  1647.                                 "shard": 2,
  1648.                                 "index": "cpi_evaluation_platform",
  1649.                                 "recovery_source": {
  1650.                                     "type": "EXISTING_STORE",
  1651.                                     "bootstrap_new_history_uuid": false
  1652.                                 },
  1653.                                 "allocation_id": {
  1654.                                     "id": "ZsUSDP8QSuGB_saz6K1iEg"
  1655.                                 },
  1656.                                 "unassigned_info": {
  1657.                                     "reason": "MANUAL_ALLOCATION",
  1658.                                     "at": "2019-03-13T11:53:43.387Z",
  1659.                                     "delayed": false,
  1660.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/2/translog/translog-7.tlog: Device or resource busy]; ",
  1661.                                     "allocation_status": "deciders_no"
  1662.                                 }
  1663.                             },
  1664.                             {
  1665.                                 "state": "UNASSIGNED",
  1666.                                 "primary": false,
  1667.                                 "node": null,
  1668.                                 "relocating_node": null,
  1669.                                 "shard": 2,
  1670.                                 "index": "cpi_evaluation_platform",
  1671.                                 "recovery_source": {
  1672.                                     "type": "PEER"
  1673.                                 },
  1674.                                 "unassigned_info": {
  1675.                                     "reason": "CLUSTER_RECOVERED",
  1676.                                     "at": "2019-03-13T11:45:44.651Z",
  1677.                                     "delayed": false,
  1678.                                     "allocation_status": "no_attempt"
  1679.                                 }
  1680.                             }
  1681.                         ],
  1682.                         "0": [
  1683.                             {
  1684.                                 "state": "INITIALIZING",
  1685.                                 "primary": true,
  1686.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1687.                                 "relocating_node": null,
  1688.                                 "shard": 0,
  1689.                                 "index": "cpi_evaluation_platform",
  1690.                                 "recovery_source": {
  1691.                                     "type": "EXISTING_STORE",
  1692.                                     "bootstrap_new_history_uuid": false
  1693.                                 },
  1694.                                 "allocation_id": {
  1695.                                     "id": "S0HIjE2XR2C8V4xl4w1_SQ"
  1696.                                 },
  1697.                                 "unassigned_info": {
  1698.                                     "reason": "MANUAL_ALLOCATION",
  1699.                                     "at": "2019-03-13T11:53:43.386Z",
  1700.                                     "delayed": false,
  1701.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/0/translog/translog-8.tlog: Device or resource busy]; ",
  1702.                                     "allocation_status": "deciders_no"
  1703.                                 }
  1704.                             },
  1705.                             {
  1706.                                 "state": "UNASSIGNED",
  1707.                                 "primary": false,
  1708.                                 "node": null,
  1709.                                 "relocating_node": null,
  1710.                                 "shard": 0,
  1711.                                 "index": "cpi_evaluation_platform",
  1712.                                 "recovery_source": {
  1713.                                     "type": "PEER"
  1714.                                 },
  1715.                                 "unassigned_info": {
  1716.                                     "reason": "CLUSTER_RECOVERED",
  1717.                                     "at": "2019-03-13T11:45:44.651Z",
  1718.                                     "delayed": false,
  1719.                                     "allocation_status": "no_attempt"
  1720.                                 }
  1721.                             }
  1722.                         ]
  1723.                     }
  1724.                 },
  1725.                 ".monitoring-es-6-2019.03.13": {
  1726.                     "shards": {
  1727.                         "0": [
  1728.                             {
  1729.                                 "state": "STARTED",
  1730.                                 "primary": true,
  1731.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1732.                                 "relocating_node": null,
  1733.                                 "shard": 0,
  1734.                                 "index": ".monitoring-es-6-2019.03.13",
  1735.                                 "allocation_id": {
  1736.                                     "id": "AhF1RO9cTMCmSKRYAyBeTg"
  1737.                                 }
  1738.                             }
  1739.                         ]
  1740.                     }
  1741.                 },
  1742.                 ".monitoring-es-6-2019.03.12": {
  1743.                     "shards": {
  1744.                         "0": [
  1745.                             {
  1746.                                 "state": "STARTED",
  1747.                                 "primary": true,
  1748.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1749.                                 "relocating_node": null,
  1750.                                 "shard": 0,
  1751.                                 "index": ".monitoring-es-6-2019.03.12",
  1752.                                 "allocation_id": {
  1753.                                     "id": "eTHg2blsRM6iOF5y2rcTzw"
  1754.                                 }
  1755.                             }
  1756.                         ]
  1757.                     }
  1758.                 },
  1759.                 "cpi_customer_launches": {
  1760.                     "shards": {
  1761.                         "3": [
  1762.                             {
  1763.                                 "state": "INITIALIZING",
  1764.                                 "primary": true,
  1765.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1766.                                 "relocating_node": null,
  1767.                                 "shard": 3,
  1768.                                 "index": "cpi_customer_launches",
  1769.                                 "recovery_source": {
  1770.                                     "type": "EXISTING_STORE",
  1771.                                     "bootstrap_new_history_uuid": false
  1772.                                 },
  1773.                                 "allocation_id": {
  1774.                                     "id": "U6RWGHiuTMaEYbTCUgKbsw"
  1775.                                 },
  1776.                                 "unassigned_info": {
  1777.                                     "reason": "MANUAL_ALLOCATION",
  1778.                                     "at": "2019-03-13T11:53:43.401Z",
  1779.                                     "delayed": false,
  1780.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/3/translog/translog-7.tlog: Device or resource busy]; ",
  1781.                                     "allocation_status": "deciders_no"
  1782.                                 }
  1783.                             },
  1784.                             {
  1785.                                 "state": "UNASSIGNED",
  1786.                                 "primary": false,
  1787.                                 "node": null,
  1788.                                 "relocating_node": null,
  1789.                                 "shard": 3,
  1790.                                 "index": "cpi_customer_launches",
  1791.                                 "recovery_source": {
  1792.                                     "type": "PEER"
  1793.                                 },
  1794.                                 "unassigned_info": {
  1795.                                     "reason": "CLUSTER_RECOVERED",
  1796.                                     "at": "2019-03-13T11:45:44.650Z",
  1797.                                     "delayed": false,
  1798.                                     "allocation_status": "no_attempt"
  1799.                                 }
  1800.                             }
  1801.                         ],
  1802.                         "2": [
  1803.                             {
  1804.                                 "state": "INITIALIZING",
  1805.                                 "primary": true,
  1806.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1807.                                 "relocating_node": null,
  1808.                                 "shard": 2,
  1809.                                 "index": "cpi_customer_launches",
  1810.                                 "recovery_source": {
  1811.                                     "type": "EXISTING_STORE",
  1812.                                     "bootstrap_new_history_uuid": false
  1813.                                 },
  1814.                                 "allocation_id": {
  1815.                                     "id": "BlqmvS3nTTyx3lUGf_GUMA"
  1816.                                 },
  1817.                                 "unassigned_info": {
  1818.                                     "reason": "MANUAL_ALLOCATION",
  1819.                                     "at": "2019-03-13T11:53:43.392Z",
  1820.                                     "delayed": false,
  1821.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/2/translog/translog-7.tlog: Device or resource busy]; ",
  1822.                                     "allocation_status": "deciders_no"
  1823.                                 }
  1824.                             },
  1825.                             {
  1826.                                 "state": "UNASSIGNED",
  1827.                                 "primary": false,
  1828.                                 "node": null,
  1829.                                 "relocating_node": null,
  1830.                                 "shard": 2,
  1831.                                 "index": "cpi_customer_launches",
  1832.                                 "recovery_source": {
  1833.                                     "type": "PEER"
  1834.                                 },
  1835.                                 "unassigned_info": {
  1836.                                     "reason": "CLUSTER_RECOVERED",
  1837.                                     "at": "2019-03-13T11:45:44.650Z",
  1838.                                     "delayed": false,
  1839.                                     "allocation_status": "no_attempt"
  1840.                                 }
  1841.                             }
  1842.                         ],
  1843.                         "1": [
  1844.                             {
  1845.                                 "state": "INITIALIZING",
  1846.                                 "primary": true,
  1847.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1848.                                 "relocating_node": null,
  1849.                                 "shard": 1,
  1850.                                 "index": "cpi_customer_launches",
  1851.                                 "recovery_source": {
  1852.                                     "type": "EXISTING_STORE",
  1853.                                     "bootstrap_new_history_uuid": false
  1854.                                 },
  1855.                                 "allocation_id": {
  1856.                                     "id": "beLiWqnwT7ax9_k9-xUwyw"
  1857.                                 },
  1858.                                 "unassigned_info": {
  1859.                                     "reason": "MANUAL_ALLOCATION",
  1860.                                     "at": "2019-03-13T11:53:43.391Z",
  1861.                                     "delayed": false,
  1862.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/1/translog/translog-7.tlog: Device or resource busy]; ",
  1863.                                     "allocation_status": "deciders_no"
  1864.                                 }
  1865.                             },
  1866.                             {
  1867.                                 "state": "UNASSIGNED",
  1868.                                 "primary": false,
  1869.                                 "node": null,
  1870.                                 "relocating_node": null,
  1871.                                 "shard": 1,
  1872.                                 "index": "cpi_customer_launches",
  1873.                                 "recovery_source": {
  1874.                                     "type": "PEER"
  1875.                                 },
  1876.                                 "unassigned_info": {
  1877.                                     "reason": "CLUSTER_RECOVERED",
  1878.                                     "at": "2019-03-13T11:45:44.650Z",
  1879.                                     "delayed": false,
  1880.                                     "allocation_status": "no_attempt"
  1881.                                 }
  1882.                             }
  1883.                         ],
  1884.                         "4": [
  1885.                             {
  1886.                                 "state": "INITIALIZING",
  1887.                                 "primary": true,
  1888.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1889.                                 "relocating_node": null,
  1890.                                 "shard": 4,
  1891.                                 "index": "cpi_customer_launches",
  1892.                                 "recovery_source": {
  1893.                                     "type": "EXISTING_STORE",
  1894.                                     "bootstrap_new_history_uuid": false
  1895.                                 },
  1896.                                 "allocation_id": {
  1897.                                     "id": "Ck5FzjJ-SrKe14OePngUOw"
  1898.                                 },
  1899.                                 "unassigned_info": {
  1900.                                     "reason": "MANUAL_ALLOCATION",
  1901.                                     "at": "2019-03-13T11:53:43.387Z",
  1902.                                     "delayed": false,
  1903.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/4/translog/translog-7.tlog: Device or resource busy]; ",
  1904.                                     "allocation_status": "deciders_no"
  1905.                                 }
  1906.                             },
  1907.                             {
  1908.                                 "state": "UNASSIGNED",
  1909.                                 "primary": false,
  1910.                                 "node": null,
  1911.                                 "relocating_node": null,
  1912.                                 "shard": 4,
  1913.                                 "index": "cpi_customer_launches",
  1914.                                 "recovery_source": {
  1915.                                     "type": "PEER"
  1916.                                 },
  1917.                                 "unassigned_info": {
  1918.                                     "reason": "CLUSTER_RECOVERED",
  1919.                                     "at": "2019-03-13T11:45:44.650Z",
  1920.                                     "delayed": false,
  1921.                                     "allocation_status": "no_attempt"
  1922.                                 }
  1923.                             }
  1924.                         ],
  1925.                         "0": [
  1926.                             {
  1927.                                 "state": "INITIALIZING",
  1928.                                 "primary": true,
  1929.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1930.                                 "relocating_node": null,
  1931.                                 "shard": 0,
  1932.                                 "index": "cpi_customer_launches",
  1933.                                 "recovery_source": {
  1934.                                     "type": "EXISTING_STORE",
  1935.                                     "bootstrap_new_history_uuid": false
  1936.                                 },
  1937.                                 "allocation_id": {
  1938.                                     "id": "a-dm5eNqTQKRSScGhi9LTQ"
  1939.                                 },
  1940.                                 "unassigned_info": {
  1941.                                     "reason": "MANUAL_ALLOCATION",
  1942.                                     "at": "2019-03-13T11:53:43.391Z",
  1943.                                     "delayed": false,
  1944.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/0/translog/translog-8.tlog: Device or resource busy]; ",
  1945.                                     "allocation_status": "deciders_no"
  1946.                                 }
  1947.                             },
  1948.                             {
  1949.                                 "state": "UNASSIGNED",
  1950.                                 "primary": false,
  1951.                                 "node": null,
  1952.                                 "relocating_node": null,
  1953.                                 "shard": 0,
  1954.                                 "index": "cpi_customer_launches",
  1955.                                 "recovery_source": {
  1956.                                     "type": "PEER"
  1957.                                 },
  1958.                                 "unassigned_info": {
  1959.                                     "reason": "CLUSTER_RECOVERED",
  1960.                                     "at": "2019-03-13T11:45:44.650Z",
  1961.                                     "delayed": false,
  1962.                                     "allocation_status": "no_attempt"
  1963.                                 }
  1964.                             }
  1965.                         ]
  1966.                     }
  1967.                 },
  1968.                 "resource_allocation": {
  1969.                     "shards": {
  1970.                         "2": [
  1971.                             {
  1972.                                 "state": "INITIALIZING",
  1973.                                 "primary": true,
  1974.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  1975.                                 "relocating_node": null,
  1976.                                 "shard": 2,
  1977.                                 "index": "resource_allocation",
  1978.                                 "recovery_source": {
  1979.                                     "type": "EXISTING_STORE",
  1980.                                     "bootstrap_new_history_uuid": false
  1981.                                 },
  1982.                                 "allocation_id": {
  1983.                                     "id": "9y71pTcpRiamacM69gvEdg"
  1984.                                 },
  1985.                                 "unassigned_info": {
  1986.                                     "reason": "MANUAL_ALLOCATION",
  1987.                                     "at": "2019-03-13T11:53:43.370Z",
  1988.                                     "delayed": false,
  1989.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/2/translog/translog-11.tlog: Device or resource busy]; ",
  1990.                                     "allocation_status": "deciders_no"
  1991.                                 }
  1992.                             },
  1993.                             {
  1994.                                 "state": "UNASSIGNED",
  1995.                                 "primary": false,
  1996.                                 "node": null,
  1997.                                 "relocating_node": null,
  1998.                                 "shard": 2,
  1999.                                 "index": "resource_allocation",
  2000.                                 "recovery_source": {
  2001.                                     "type": "PEER"
  2002.                                 },
  2003.                                 "unassigned_info": {
  2004.                                     "reason": "CLUSTER_RECOVERED",
  2005.                                     "at": "2019-03-13T11:45:44.650Z",
  2006.                                     "delayed": false,
  2007.                                     "allocation_status": "no_attempt"
  2008.                                 }
  2009.                             }
  2010.                         ],
  2011.                         "4": [
  2012.                             {
  2013.                                 "state": "INITIALIZING",
  2014.                                 "primary": true,
  2015.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2016.                                 "relocating_node": null,
  2017.                                 "shard": 4,
  2018.                                 "index": "resource_allocation",
  2019.                                 "recovery_source": {
  2020.                                     "type": "EXISTING_STORE",
  2021.                                     "bootstrap_new_history_uuid": false
  2022.                                 },
  2023.                                 "allocation_id": {
  2024.                                     "id": "r_PFSwNfSLKtSX61NEY4Iw"
  2025.                                 },
  2026.                                 "unassigned_info": {
  2027.                                     "reason": "MANUAL_ALLOCATION",
  2028.                                     "at": "2019-03-13T11:53:43.371Z",
  2029.                                     "delayed": false,
  2030.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/4/translog/translog-12.tlog: Device or resource busy]; ",
  2031.                                     "allocation_status": "deciders_no"
  2032.                                 }
  2033.                             },
  2034.                             {
  2035.                                 "state": "UNASSIGNED",
  2036.                                 "primary": false,
  2037.                                 "node": null,
  2038.                                 "relocating_node": null,
  2039.                                 "shard": 4,
  2040.                                 "index": "resource_allocation",
  2041.                                 "recovery_source": {
  2042.                                     "type": "PEER"
  2043.                                 },
  2044.                                 "unassigned_info": {
  2045.                                     "reason": "CLUSTER_RECOVERED",
  2046.                                     "at": "2019-03-13T11:45:44.650Z",
  2047.                                     "delayed": false,
  2048.                                     "allocation_status": "no_attempt"
  2049.                                 }
  2050.                             }
  2051.                         ],
  2052.                         "1": [
  2053.                             {
  2054.                                 "state": "INITIALIZING",
  2055.                                 "primary": true,
  2056.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2057.                                 "relocating_node": null,
  2058.                                 "shard": 1,
  2059.                                 "index": "resource_allocation",
  2060.                                 "recovery_source": {
  2061.                                     "type": "EXISTING_STORE",
  2062.                                     "bootstrap_new_history_uuid": false
  2063.                                 },
  2064.                                 "allocation_id": {
  2065.                                     "id": "BDO374BBSECNuPuowWeIyQ"
  2066.                                 },
  2067.                                 "unassigned_info": {
  2068.                                     "reason": "MANUAL_ALLOCATION",
  2069.                                     "at": "2019-03-13T11:53:43.370Z",
  2070.                                     "delayed": false,
  2071.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/1/translog/translog-12.tlog: Device or resource busy]; ",
  2072.                                     "allocation_status": "deciders_no"
  2073.                                 }
  2074.                             },
  2075.                             {
  2076.                                 "state": "UNASSIGNED",
  2077.                                 "primary": false,
  2078.                                 "node": null,
  2079.                                 "relocating_node": null,
  2080.                                 "shard": 1,
  2081.                                 "index": "resource_allocation",
  2082.                                 "recovery_source": {
  2083.                                     "type": "PEER"
  2084.                                 },
  2085.                                 "unassigned_info": {
  2086.                                     "reason": "CLUSTER_RECOVERED",
  2087.                                     "at": "2019-03-13T11:45:44.650Z",
  2088.                                     "delayed": false,
  2089.                                     "allocation_status": "no_attempt"
  2090.                                 }
  2091.                             }
  2092.                         ],
  2093.                         "3": [
  2094.                             {
  2095.                                 "state": "INITIALIZING",
  2096.                                 "primary": true,
  2097.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2098.                                 "relocating_node": null,
  2099.                                 "shard": 3,
  2100.                                 "index": "resource_allocation",
  2101.                                 "recovery_source": {
  2102.                                     "type": "EXISTING_STORE",
  2103.                                     "bootstrap_new_history_uuid": false
  2104.                                 },
  2105.                                 "allocation_id": {
  2106.                                     "id": "8Q2M5H5iQY6inQqtxHLWjQ"
  2107.                                 },
  2108.                                 "unassigned_info": {
  2109.                                     "reason": "MANUAL_ALLOCATION",
  2110.                                     "at": "2019-03-13T11:53:43.371Z",
  2111.                                     "delayed": false,
  2112.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/3/translog/translog-13.tlog: Device or resource busy]; ",
  2113.                                     "allocation_status": "deciders_no"
  2114.                                 }
  2115.                             },
  2116.                             {
  2117.                                 "state": "UNASSIGNED",
  2118.                                 "primary": false,
  2119.                                 "node": null,
  2120.                                 "relocating_node": null,
  2121.                                 "shard": 3,
  2122.                                 "index": "resource_allocation",
  2123.                                 "recovery_source": {
  2124.                                     "type": "PEER"
  2125.                                 },
  2126.                                 "unassigned_info": {
  2127.                                     "reason": "CLUSTER_RECOVERED",
  2128.                                     "at": "2019-03-13T11:45:44.650Z",
  2129.                                     "delayed": false,
  2130.                                     "allocation_status": "no_attempt"
  2131.                                 }
  2132.                             }
  2133.                         ],
  2134.                         "0": [
  2135.                             {
  2136.                                 "state": "INITIALIZING",
  2137.                                 "primary": true,
  2138.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2139.                                 "relocating_node": null,
  2140.                                 "shard": 0,
  2141.                                 "index": "resource_allocation",
  2142.                                 "recovery_source": {
  2143.                                     "type": "EXISTING_STORE",
  2144.                                     "bootstrap_new_history_uuid": false
  2145.                                 },
  2146.                                 "allocation_id": {
  2147.                                     "id": "e_B4Q0osRqinTWGcJKNvKA"
  2148.                                 },
  2149.                                 "unassigned_info": {
  2150.                                     "reason": "MANUAL_ALLOCATION",
  2151.                                     "at": "2019-03-13T11:53:43.370Z",
  2152.                                     "delayed": false,
  2153.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/0/translog/translog-11.tlog: Device or resource busy]; ",
  2154.                                     "allocation_status": "deciders_no"
  2155.                                 }
  2156.                             },
  2157.                             {
  2158.                                 "state": "UNASSIGNED",
  2159.                                 "primary": false,
  2160.                                 "node": null,
  2161.                                 "relocating_node": null,
  2162.                                 "shard": 0,
  2163.                                 "index": "resource_allocation",
  2164.                                 "recovery_source": {
  2165.                                     "type": "PEER"
  2166.                                 },
  2167.                                 "unassigned_info": {
  2168.                                     "reason": "CLUSTER_RECOVERED",
  2169.                                     "at": "2019-03-13T11:45:44.650Z",
  2170.                                     "delayed": false,
  2171.                                     "allocation_status": "no_attempt"
  2172.                                 }
  2173.                             }
  2174.                         ]
  2175.                     }
  2176.                 },
  2177.                 "test_idx": {
  2178.                     "shards": {
  2179.                         "3": [
  2180.                             {
  2181.                                 "state": "STARTED",
  2182.                                 "primary": true,
  2183.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2184.                                 "relocating_node": null,
  2185.                                 "shard": 3,
  2186.                                 "index": "test_idx",
  2187.                                 "allocation_id": {
  2188.                                     "id": "jQ0soiOJRyGkLFQkSaA19g"
  2189.                                 }
  2190.                             },
  2191.                             {
  2192.                                 "state": "UNASSIGNED",
  2193.                                 "primary": false,
  2194.                                 "node": null,
  2195.                                 "relocating_node": null,
  2196.                                 "shard": 3,
  2197.                                 "index": "test_idx",
  2198.                                 "recovery_source": {
  2199.                                     "type": "PEER"
  2200.                                 },
  2201.                                 "unassigned_info": {
  2202.                                     "reason": "CLUSTER_RECOVERED",
  2203.                                     "at": "2019-03-13T11:45:44.651Z",
  2204.                                     "delayed": false,
  2205.                                     "allocation_status": "no_attempt"
  2206.                                 }
  2207.                             }
  2208.                         ],
  2209.                         "4": [
  2210.                             {
  2211.                                 "state": "STARTED",
  2212.                                 "primary": true,
  2213.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2214.                                 "relocating_node": null,
  2215.                                 "shard": 4,
  2216.                                 "index": "test_idx",
  2217.                                 "allocation_id": {
  2218.                                     "id": "cRParzLmRN26w9V_GEcsVw"
  2219.                                 }
  2220.                             },
  2221.                             {
  2222.                                 "state": "UNASSIGNED",
  2223.                                 "primary": false,
  2224.                                 "node": null,
  2225.                                 "relocating_node": null,
  2226.                                 "shard": 4,
  2227.                                 "index": "test_idx",
  2228.                                 "recovery_source": {
  2229.                                     "type": "PEER"
  2230.                                 },
  2231.                                 "unassigned_info": {
  2232.                                     "reason": "CLUSTER_RECOVERED",
  2233.                                     "at": "2019-03-13T11:45:44.651Z",
  2234.                                     "delayed": false,
  2235.                                     "allocation_status": "no_attempt"
  2236.                                 }
  2237.                             }
  2238.                         ],
  2239.                         "1": [
  2240.                             {
  2241.                                 "state": "STARTED",
  2242.                                 "primary": true,
  2243.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2244.                                 "relocating_node": null,
  2245.                                 "shard": 1,
  2246.                                 "index": "test_idx",
  2247.                                 "allocation_id": {
  2248.                                     "id": "4nGQrlN8RD6N39cn5sVACg"
  2249.                                 }
  2250.                             },
  2251.                             {
  2252.                                 "state": "UNASSIGNED",
  2253.                                 "primary": false,
  2254.                                 "node": null,
  2255.                                 "relocating_node": null,
  2256.                                 "shard": 1,
  2257.                                 "index": "test_idx",
  2258.                                 "recovery_source": {
  2259.                                     "type": "PEER"
  2260.                                 },
  2261.                                 "unassigned_info": {
  2262.                                     "reason": "CLUSTER_RECOVERED",
  2263.                                     "at": "2019-03-13T11:45:44.651Z",
  2264.                                     "delayed": false,
  2265.                                     "allocation_status": "no_attempt"
  2266.                                 }
  2267.                             }
  2268.                         ],
  2269.                         "2": [
  2270.                             {
  2271.                                 "state": "STARTED",
  2272.                                 "primary": true,
  2273.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2274.                                 "relocating_node": null,
  2275.                                 "shard": 2,
  2276.                                 "index": "test_idx",
  2277.                                 "allocation_id": {
  2278.                                     "id": "baUgjWI8Q5WkUz_K-mn1vA"
  2279.                                 }
  2280.                             },
  2281.                             {
  2282.                                 "state": "UNASSIGNED",
  2283.                                 "primary": false,
  2284.                                 "node": null,
  2285.                                 "relocating_node": null,
  2286.                                 "shard": 2,
  2287.                                 "index": "test_idx",
  2288.                                 "recovery_source": {
  2289.                                     "type": "PEER"
  2290.                                 },
  2291.                                 "unassigned_info": {
  2292.                                     "reason": "CLUSTER_RECOVERED",
  2293.                                     "at": "2019-03-13T11:45:44.651Z",
  2294.                                     "delayed": false,
  2295.                                     "allocation_status": "no_attempt"
  2296.                                 }
  2297.                             }
  2298.                         ],
  2299.                         "0": [
  2300.                             {
  2301.                                 "state": "STARTED",
  2302.                                 "primary": true,
  2303.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2304.                                 "relocating_node": null,
  2305.                                 "shard": 0,
  2306.                                 "index": "test_idx",
  2307.                                 "allocation_id": {
  2308.                                     "id": "QjDPuKYJRYCNIu-2XKDP8A"
  2309.                                 }
  2310.                             },
  2311.                             {
  2312.                                 "state": "UNASSIGNED",
  2313.                                 "primary": false,
  2314.                                 "node": null,
  2315.                                 "relocating_node": null,
  2316.                                 "shard": 0,
  2317.                                 "index": "test_idx",
  2318.                                 "recovery_source": {
  2319.                                     "type": "PEER"
  2320.                                 },
  2321.                                 "unassigned_info": {
  2322.                                     "reason": "CLUSTER_RECOVERED",
  2323.                                     "at": "2019-03-13T11:45:44.651Z",
  2324.                                     "delayed": false,
  2325.                                     "allocation_status": "no_attempt"
  2326.                                 }
  2327.                             }
  2328.                         ]
  2329.                     }
  2330.                 },
  2331.                 "kpi_direct_leak": {
  2332.                     "shards": {
  2333.                         "3": [
  2334.                             {
  2335.                                 "state": "INITIALIZING",
  2336.                                 "primary": true,
  2337.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2338.                                 "relocating_node": null,
  2339.                                 "shard": 3,
  2340.                                 "index": "kpi_direct_leak",
  2341.                                 "recovery_source": {
  2342.                                     "type": "EXISTING_STORE",
  2343.                                     "bootstrap_new_history_uuid": false
  2344.                                 },
  2345.                                 "allocation_id": {
  2346.                                     "id": "S1HHj7g6Qk-QmrOefAVAmA"
  2347.                                 },
  2348.                                 "unassigned_info": {
  2349.                                     "reason": "MANUAL_ALLOCATION",
  2350.                                     "at": "2019-03-13T11:53:43.364Z",
  2351.                                     "delayed": false,
  2352.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/3/translog/translog-15.tlog: Device or resource busy]; ",
  2353.                                     "allocation_status": "deciders_no"
  2354.                                 }
  2355.                             },
  2356.                             {
  2357.                                 "state": "UNASSIGNED",
  2358.                                 "primary": false,
  2359.                                 "node": null,
  2360.                                 "relocating_node": null,
  2361.                                 "shard": 3,
  2362.                                 "index": "kpi_direct_leak",
  2363.                                 "recovery_source": {
  2364.                                     "type": "PEER"
  2365.                                 },
  2366.                                 "unassigned_info": {
  2367.                                     "reason": "CLUSTER_RECOVERED",
  2368.                                     "at": "2019-03-13T11:45:44.651Z",
  2369.                                     "delayed": false,
  2370.                                     "allocation_status": "no_attempt"
  2371.                                 }
  2372.                             }
  2373.                         ],
  2374.                         "2": [
  2375.                             {
  2376.                                 "state": "INITIALIZING",
  2377.                                 "primary": true,
  2378.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2379.                                 "relocating_node": null,
  2380.                                 "shard": 2,
  2381.                                 "index": "kpi_direct_leak",
  2382.                                 "recovery_source": {
  2383.                                     "type": "EXISTING_STORE",
  2384.                                     "bootstrap_new_history_uuid": false
  2385.                                 },
  2386.                                 "allocation_id": {
  2387.                                     "id": "MnFXt53nS-WjDtpPhmZUbg"
  2388.                                 },
  2389.                                 "unassigned_info": {
  2390.                                     "reason": "MANUAL_ALLOCATION",
  2391.                                     "at": "2019-03-13T11:53:43.368Z",
  2392.                                     "delayed": false,
  2393.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/2/translog/translog-15.tlog: Device or resource busy]; ",
  2394.                                     "allocation_status": "deciders_no"
  2395.                                 }
  2396.                             },
  2397.                             {
  2398.                                 "state": "UNASSIGNED",
  2399.                                 "primary": false,
  2400.                                 "node": null,
  2401.                                 "relocating_node": null,
  2402.                                 "shard": 2,
  2403.                                 "index": "kpi_direct_leak",
  2404.                                 "recovery_source": {
  2405.                                     "type": "PEER"
  2406.                                 },
  2407.                                 "unassigned_info": {
  2408.                                     "reason": "CLUSTER_RECOVERED",
  2409.                                     "at": "2019-03-13T11:45:44.651Z",
  2410.                                     "delayed": false,
  2411.                                     "allocation_status": "no_attempt"
  2412.                                 }
  2413.                             }
  2414.                         ],
  2415.                         "1": [
  2416.                             {
  2417.                                 "state": "INITIALIZING",
  2418.                                 "primary": true,
  2419.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2420.                                 "relocating_node": null,
  2421.                                 "shard": 1,
  2422.                                 "index": "kpi_direct_leak",
  2423.                                 "recovery_source": {
  2424.                                     "type": "EXISTING_STORE",
  2425.                                     "bootstrap_new_history_uuid": false
  2426.                                 },
  2427.                                 "allocation_id": {
  2428.                                     "id": "Ql2FVpztTrqUPyOJ-KHBQA"
  2429.                                 },
  2430.                                 "unassigned_info": {
  2431.                                     "reason": "MANUAL_ALLOCATION",
  2432.                                     "at": "2019-03-13T11:53:43.364Z",
  2433.                                     "delayed": false,
  2434.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/1/translog/translog-15.tlog: Device or resource busy]; ",
  2435.                                     "allocation_status": "deciders_no"
  2436.                                 }
  2437.                             },
  2438.                             {
  2439.                                 "state": "UNASSIGNED",
  2440.                                 "primary": false,
  2441.                                 "node": null,
  2442.                                 "relocating_node": null,
  2443.                                 "shard": 1,
  2444.                                 "index": "kpi_direct_leak",
  2445.                                 "recovery_source": {
  2446.                                     "type": "PEER"
  2447.                                 },
  2448.                                 "unassigned_info": {
  2449.                                     "reason": "CLUSTER_RECOVERED",
  2450.                                     "at": "2019-03-13T11:45:44.651Z",
  2451.                                     "delayed": false,
  2452.                                     "allocation_status": "no_attempt"
  2453.                                 }
  2454.                             }
  2455.                         ],
  2456.                         "4": [
  2457.                             {
  2458.                                 "state": "INITIALIZING",
  2459.                                 "primary": true,
  2460.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2461.                                 "relocating_node": null,
  2462.                                 "shard": 4,
  2463.                                 "index": "kpi_direct_leak",
  2464.                                 "recovery_source": {
  2465.                                     "type": "EXISTING_STORE",
  2466.                                     "bootstrap_new_history_uuid": false
  2467.                                 },
  2468.                                 "allocation_id": {
  2469.                                     "id": "AC8_AbIuSOGNxD7yfEK76Q"
  2470.                                 },
  2471.                                 "unassigned_info": {
  2472.                                     "reason": "MANUAL_ALLOCATION",
  2473.                                     "at": "2019-03-13T11:53:43.369Z",
  2474.                                     "delayed": false,
  2475.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/4/translog/translog-15.tlog: Device or resource busy]; ",
  2476.                                     "allocation_status": "deciders_no"
  2477.                                 }
  2478.                             },
  2479.                             {
  2480.                                 "state": "UNASSIGNED",
  2481.                                 "primary": false,
  2482.                                 "node": null,
  2483.                                 "relocating_node": null,
  2484.                                 "shard": 4,
  2485.                                 "index": "kpi_direct_leak",
  2486.                                 "recovery_source": {
  2487.                                     "type": "PEER"
  2488.                                 },
  2489.                                 "unassigned_info": {
  2490.                                     "reason": "CLUSTER_RECOVERED",
  2491.                                     "at": "2019-03-13T11:45:44.651Z",
  2492.                                     "delayed": false,
  2493.                                     "allocation_status": "no_attempt"
  2494.                                 }
  2495.                             }
  2496.                         ],
  2497.                         "0": [
  2498.                             {
  2499.                                 "state": "INITIALIZING",
  2500.                                 "primary": true,
  2501.                                 "node": "d7RZ_TVwQpipnNIAXuqiGg",
  2502.                                 "relocating_node": null,
  2503.                                 "shard": 0,
  2504.                                 "index": "kpi_direct_leak",
  2505.                                 "recovery_source": {
  2506.                                     "type": "EXISTING_STORE",
  2507.                                     "bootstrap_new_history_uuid": false
  2508.                                 },
  2509.                                 "allocation_id": {
  2510.                                     "id": "znPLcAD1RLavtUFVXDnRcw"
  2511.                                 },
  2512.                                 "unassigned_info": {
  2513.                                     "reason": "MANUAL_ALLOCATION",
  2514.                                     "at": "2019-03-13T11:53:43.364Z",
  2515.                                     "delayed": false,
  2516.                                     "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/0/translog/translog-15.tlog: Device or resource busy]; ",
  2517.                                     "allocation_status": "deciders_no"
  2518.                                 }
  2519.                             },
  2520.                             {
  2521.                                 "state": "UNASSIGNED",
  2522.                                 "primary": false,
  2523.                                 "node": null,
  2524.                                 "relocating_node": null,
  2525.                                 "shard": 0,
  2526.                                 "index": "kpi_direct_leak",
  2527.                                 "recovery_source": {
  2528.                                     "type": "PEER"
  2529.                                 },
  2530.                                 "unassigned_info": {
  2531.                                     "reason": "CLUSTER_RECOVERED",
  2532.                                     "at": "2019-03-13T11:45:44.651Z",
  2533.                                     "delayed": false,
  2534.                                     "allocation_status": "no_attempt"
  2535.                                 }
  2536.                             }
  2537.                         ]
  2538.                     }
  2539.                 }
  2540.             }
  2541.         },
  2542.         "routing_nodes": {
  2543.             "unassigned": [
  2544.                 {
  2545.                     "state": "UNASSIGNED",
  2546.                     "primary": false,
  2547.                     "node": null,
  2548.                     "relocating_node": null,
  2549.                     "shard": 2,
  2550.                     "index": "kpi_execution_time",
  2551.                     "recovery_source": {
  2552.                         "type": "PEER"
  2553.                     },
  2554.                     "unassigned_info": {
  2555.                         "reason": "CLUSTER_RECOVERED",
  2556.                         "at": "2019-03-13T11:45:44.651Z",
  2557.                         "delayed": false,
  2558.                         "allocation_status": "no_attempt"
  2559.                     }
  2560.                 },
  2561.                 {
  2562.                     "state": "UNASSIGNED",
  2563.                     "primary": false,
  2564.                     "node": null,
  2565.                     "relocating_node": null,
  2566.                     "shard": 4,
  2567.                     "index": "kpi_execution_time",
  2568.                     "recovery_source": {
  2569.                         "type": "PEER"
  2570.                     },
  2571.                     "unassigned_info": {
  2572.                         "reason": "CLUSTER_RECOVERED",
  2573.                         "at": "2019-03-13T11:45:44.651Z",
  2574.                         "delayed": false,
  2575.                         "allocation_status": "no_attempt"
  2576.                     }
  2577.                 },
  2578.                 {
  2579.                     "state": "UNASSIGNED",
  2580.                     "primary": false,
  2581.                     "node": null,
  2582.                     "relocating_node": null,
  2583.                     "shard": 1,
  2584.                     "index": "kpi_execution_time",
  2585.                     "recovery_source": {
  2586.                         "type": "PEER"
  2587.                     },
  2588.                     "unassigned_info": {
  2589.                         "reason": "CLUSTER_RECOVERED",
  2590.                         "at": "2019-03-13T11:45:44.651Z",
  2591.                         "delayed": false,
  2592.                         "allocation_status": "no_attempt"
  2593.                     }
  2594.                 },
  2595.                 {
  2596.                     "state": "UNASSIGNED",
  2597.                     "primary": false,
  2598.                     "node": null,
  2599.                     "relocating_node": null,
  2600.                     "shard": 3,
  2601.                     "index": "kpi_execution_time",
  2602.                     "recovery_source": {
  2603.                         "type": "PEER"
  2604.                     },
  2605.                     "unassigned_info": {
  2606.                         "reason": "CLUSTER_RECOVERED",
  2607.                         "at": "2019-03-13T11:45:44.651Z",
  2608.                         "delayed": false,
  2609.                         "allocation_status": "no_attempt"
  2610.                     }
  2611.                 },
  2612.                 {
  2613.                     "state": "UNASSIGNED",
  2614.                     "primary": false,
  2615.                     "node": null,
  2616.                     "relocating_node": null,
  2617.                     "shard": 0,
  2618.                     "index": "kpi_execution_time",
  2619.                     "recovery_source": {
  2620.                         "type": "PEER"
  2621.                     },
  2622.                     "unassigned_info": {
  2623.                         "reason": "CLUSTER_RECOVERED",
  2624.                         "at": "2019-03-13T11:45:44.651Z",
  2625.                         "delayed": false,
  2626.                         "allocation_status": "no_attempt"
  2627.                     }
  2628.                 },
  2629.                 {
  2630.                     "state": "UNASSIGNED",
  2631.                     "primary": false,
  2632.                     "node": null,
  2633.                     "relocating_node": null,
  2634.                     "shard": 2,
  2635.                     "index": "cpi_modules_shipped",
  2636.                     "recovery_source": {
  2637.                         "type": "PEER"
  2638.                     },
  2639.                     "unassigned_info": {
  2640.                         "reason": "CLUSTER_RECOVERED",
  2641.                         "at": "2019-03-13T11:45:44.651Z",
  2642.                         "delayed": false,
  2643.                         "allocation_status": "no_attempt"
  2644.                     }
  2645.                 },
  2646.                 {
  2647.                     "state": "UNASSIGNED",
  2648.                     "primary": false,
  2649.                     "node": null,
  2650.                     "relocating_node": null,
  2651.                     "shard": 4,
  2652.                     "index": "cpi_modules_shipped",
  2653.                     "recovery_source": {
  2654.                         "type": "PEER"
  2655.                     },
  2656.                     "unassigned_info": {
  2657.                         "reason": "CLUSTER_RECOVERED",
  2658.                         "at": "2019-03-13T11:45:44.651Z",
  2659.                         "delayed": false,
  2660.                         "allocation_status": "no_attempt"
  2661.                     }
  2662.                 },
  2663.                 {
  2664.                     "state": "UNASSIGNED",
  2665.                     "primary": false,
  2666.                     "node": null,
  2667.                     "relocating_node": null,
  2668.                     "shard": 1,
  2669.                     "index": "cpi_modules_shipped",
  2670.                     "recovery_source": {
  2671.                         "type": "PEER"
  2672.                     },
  2673.                     "unassigned_info": {
  2674.                         "reason": "CLUSTER_RECOVERED",
  2675.                         "at": "2019-03-13T11:45:44.651Z",
  2676.                         "delayed": false,
  2677.                         "allocation_status": "no_attempt"
  2678.                     }
  2679.                 },
  2680.                 {
  2681.                     "state": "UNASSIGNED",
  2682.                     "primary": false,
  2683.                     "node": null,
  2684.                     "relocating_node": null,
  2685.                     "shard": 3,
  2686.                     "index": "cpi_modules_shipped",
  2687.                     "recovery_source": {
  2688.                         "type": "PEER"
  2689.                     },
  2690.                     "unassigned_info": {
  2691.                         "reason": "CLUSTER_RECOVERED",
  2692.                         "at": "2019-03-13T11:45:44.651Z",
  2693.                         "delayed": false,
  2694.                         "allocation_status": "no_attempt"
  2695.                     }
  2696.                 },
  2697.                 {
  2698.                     "state": "UNASSIGNED",
  2699.                     "primary": false,
  2700.                     "node": null,
  2701.                     "relocating_node": null,
  2702.                     "shard": 0,
  2703.                     "index": "cpi_modules_shipped",
  2704.                     "recovery_source": {
  2705.                         "type": "PEER"
  2706.                     },
  2707.                     "unassigned_info": {
  2708.                         "reason": "CLUSTER_RECOVERED",
  2709.                         "at": "2019-03-13T11:45:44.651Z",
  2710.                         "delayed": false,
  2711.                         "allocation_status": "no_attempt"
  2712.                     }
  2713.                 },
  2714.                 {
  2715.                     "state": "UNASSIGNED",
  2716.                     "primary": false,
  2717.                     "node": null,
  2718.                     "relocating_node": null,
  2719.                     "shard": 2,
  2720.                     "index": "cpi_sensors_shipped",
  2721.                     "recovery_source": {
  2722.                         "type": "PEER"
  2723.                     },
  2724.                     "unassigned_info": {
  2725.                         "reason": "CLUSTER_RECOVERED",
  2726.                         "at": "2019-03-13T11:45:44.652Z",
  2727.                         "delayed": false,
  2728.                         "allocation_status": "no_attempt"
  2729.                     }
  2730.                 },
  2731.                 {
  2732.                     "state": "UNASSIGNED",
  2733.                     "primary": false,
  2734.                     "node": null,
  2735.                     "relocating_node": null,
  2736.                     "shard": 4,
  2737.                     "index": "cpi_sensors_shipped",
  2738.                     "recovery_source": {
  2739.                         "type": "PEER"
  2740.                     },
  2741.                     "unassigned_info": {
  2742.                         "reason": "CLUSTER_RECOVERED",
  2743.                         "at": "2019-03-13T11:45:44.652Z",
  2744.                         "delayed": false,
  2745.                         "allocation_status": "no_attempt"
  2746.                     }
  2747.                 },
  2748.                 {
  2749.                     "state": "UNASSIGNED",
  2750.                     "primary": false,
  2751.                     "node": null,
  2752.                     "relocating_node": null,
  2753.                     "shard": 1,
  2754.                     "index": "cpi_sensors_shipped",
  2755.                     "recovery_source": {
  2756.                         "type": "PEER"
  2757.                     },
  2758.                     "unassigned_info": {
  2759.                         "reason": "CLUSTER_RECOVERED",
  2760.                         "at": "2019-03-13T11:45:44.652Z",
  2761.                         "delayed": false,
  2762.                         "allocation_status": "no_attempt"
  2763.                     }
  2764.                 },
  2765.                 {
  2766.                     "state": "UNASSIGNED",
  2767.                     "primary": false,
  2768.                     "node": null,
  2769.                     "relocating_node": null,
  2770.                     "shard": 3,
  2771.                     "index": "cpi_sensors_shipped",
  2772.                     "recovery_source": {
  2773.                         "type": "PEER"
  2774.                     },
  2775.                     "unassigned_info": {
  2776.                         "reason": "CLUSTER_RECOVERED",
  2777.                         "at": "2019-03-13T11:45:44.652Z",
  2778.                         "delayed": false,
  2779.                         "allocation_status": "no_attempt"
  2780.                     }
  2781.                 },
  2782.                 {
  2783.                     "state": "UNASSIGNED",
  2784.                     "primary": false,
  2785.                     "node": null,
  2786.                     "relocating_node": null,
  2787.                     "shard": 0,
  2788.                     "index": "cpi_sensors_shipped",
  2789.                     "recovery_source": {
  2790.                         "type": "PEER"
  2791.                     },
  2792.                     "unassigned_info": {
  2793.                         "reason": "CLUSTER_RECOVERED",
  2794.                         "at": "2019-03-13T11:45:44.652Z",
  2795.                         "delayed": false,
  2796.                         "allocation_status": "no_attempt"
  2797.                     }
  2798.                 },
  2799.                 {
  2800.                     "state": "UNASSIGNED",
  2801.                     "primary": false,
  2802.                     "node": null,
  2803.                     "relocating_node": null,
  2804.                     "shard": 3,
  2805.                     "index": "test",
  2806.                     "recovery_source": {
  2807.                         "type": "PEER"
  2808.                     },
  2809.                     "unassigned_info": {
  2810.                         "reason": "CLUSTER_RECOVERED",
  2811.                         "at": "2019-03-13T11:45:44.651Z",
  2812.                         "delayed": false,
  2813.                         "allocation_status": "no_attempt"
  2814.                     }
  2815.                 },
  2816.                 {
  2817.                     "state": "UNASSIGNED",
  2818.                     "primary": false,
  2819.                     "node": null,
  2820.                     "relocating_node": null,
  2821.                     "shard": 4,
  2822.                     "index": "test",
  2823.                     "recovery_source": {
  2824.                         "type": "PEER"
  2825.                     },
  2826.                     "unassigned_info": {
  2827.                         "reason": "CLUSTER_RECOVERED",
  2828.                         "at": "2019-03-13T11:45:44.651Z",
  2829.                         "delayed": false,
  2830.                         "allocation_status": "no_attempt"
  2831.                     }
  2832.                 },
  2833.                 {
  2834.                     "state": "UNASSIGNED",
  2835.                     "primary": false,
  2836.                     "node": null,
  2837.                     "relocating_node": null,
  2838.                     "shard": 1,
  2839.                     "index": "test",
  2840.                     "recovery_source": {
  2841.                         "type": "PEER"
  2842.                     },
  2843.                     "unassigned_info": {
  2844.                         "reason": "CLUSTER_RECOVERED",
  2845.                         "at": "2019-03-13T11:45:44.651Z",
  2846.                         "delayed": false,
  2847.                         "allocation_status": "no_attempt"
  2848.                     }
  2849.                 },
  2850.                 {
  2851.                     "state": "UNASSIGNED",
  2852.                     "primary": false,
  2853.                     "node": null,
  2854.                     "relocating_node": null,
  2855.                     "shard": 2,
  2856.                     "index": "test",
  2857.                     "recovery_source": {
  2858.                         "type": "PEER"
  2859.                     },
  2860.                     "unassigned_info": {
  2861.                         "reason": "CLUSTER_RECOVERED",
  2862.                         "at": "2019-03-13T11:45:44.651Z",
  2863.                         "delayed": false,
  2864.                         "allocation_status": "no_attempt"
  2865.                     }
  2866.                 },
  2867.                 {
  2868.                     "state": "UNASSIGNED",
  2869.                     "primary": false,
  2870.                     "node": null,
  2871.                     "relocating_node": null,
  2872.                     "shard": 0,
  2873.                     "index": "test",
  2874.                     "recovery_source": {
  2875.                         "type": "PEER"
  2876.                     },
  2877.                     "unassigned_info": {
  2878.                         "reason": "CLUSTER_RECOVERED",
  2879.                         "at": "2019-03-13T11:45:44.651Z",
  2880.                         "delayed": false,
  2881.                         "allocation_status": "no_attempt"
  2882.                     }
  2883.                 },
  2884.                 {
  2885.                     "state": "UNASSIGNED",
  2886.                     "primary": false,
  2887.                     "node": null,
  2888.                     "relocating_node": null,
  2889.                     "shard": 3,
  2890.                     "index": "cpi_design_win",
  2891.                     "recovery_source": {
  2892.                         "type": "PEER"
  2893.                     },
  2894.                     "unassigned_info": {
  2895.                         "reason": "CLUSTER_RECOVERED",
  2896.                         "at": "2019-03-13T11:45:44.651Z",
  2897.                         "delayed": false,
  2898.                         "allocation_status": "no_attempt"
  2899.                     }
  2900.                 },
  2901.                 {
  2902.                     "state": "UNASSIGNED",
  2903.                     "primary": false,
  2904.                     "node": null,
  2905.                     "relocating_node": null,
  2906.                     "shard": 2,
  2907.                     "index": "cpi_design_win",
  2908.                     "recovery_source": {
  2909.                         "type": "PEER"
  2910.                     },
  2911.                     "unassigned_info": {
  2912.                         "reason": "CLUSTER_RECOVERED",
  2913.                         "at": "2019-03-13T11:45:44.651Z",
  2914.                         "delayed": false,
  2915.                         "allocation_status": "no_attempt"
  2916.                     }
  2917.                 },
  2918.                 {
  2919.                     "state": "UNASSIGNED",
  2920.                     "primary": false,
  2921.                     "node": null,
  2922.                     "relocating_node": null,
  2923.                     "shard": 1,
  2924.                     "index": "cpi_design_win",
  2925.                     "recovery_source": {
  2926.                         "type": "PEER"
  2927.                     },
  2928.                     "unassigned_info": {
  2929.                         "reason": "CLUSTER_RECOVERED",
  2930.                         "at": "2019-03-13T11:45:44.651Z",
  2931.                         "delayed": false,
  2932.                         "allocation_status": "no_attempt"
  2933.                     }
  2934.                 },
  2935.                 {
  2936.                     "state": "UNASSIGNED",
  2937.                     "primary": false,
  2938.                     "node": null,
  2939.                     "relocating_node": null,
  2940.                     "shard": 4,
  2941.                     "index": "cpi_design_win",
  2942.                     "recovery_source": {
  2943.                         "type": "PEER"
  2944.                     },
  2945.                     "unassigned_info": {
  2946.                         "reason": "CLUSTER_RECOVERED",
  2947.                         "at": "2019-03-13T11:45:44.651Z",
  2948.                         "delayed": false,
  2949.                         "allocation_status": "no_attempt"
  2950.                     }
  2951.                 },
  2952.                 {
  2953.                     "state": "UNASSIGNED",
  2954.                     "primary": false,
  2955.                     "node": null,
  2956.                     "relocating_node": null,
  2957.                     "shard": 0,
  2958.                     "index": "cpi_design_win",
  2959.                     "recovery_source": {
  2960.                         "type": "PEER"
  2961.                     },
  2962.                     "unassigned_info": {
  2963.                         "reason": "CLUSTER_RECOVERED",
  2964.                         "at": "2019-03-13T11:45:44.651Z",
  2965.                         "delayed": false,
  2966.                         "allocation_status": "no_attempt"
  2967.                     }
  2968.                 },
  2969.                 {
  2970.                     "state": "UNASSIGNED",
  2971.                     "primary": false,
  2972.                     "node": null,
  2973.                     "relocating_node": null,
  2974.                     "shard": 2,
  2975.                     "index": "kpi_power_consumption",
  2976.                     "recovery_source": {
  2977.                         "type": "PEER"
  2978.                     },
  2979.                     "unassigned_info": {
  2980.                         "reason": "CLUSTER_RECOVERED",
  2981.                         "at": "2019-03-13T11:45:44.650Z",
  2982.                         "delayed": false,
  2983.                         "allocation_status": "no_attempt"
  2984.                     }
  2985.                 },
  2986.                 {
  2987.                     "state": "UNASSIGNED",
  2988.                     "primary": false,
  2989.                     "node": null,
  2990.                     "relocating_node": null,
  2991.                     "shard": 4,
  2992.                     "index": "kpi_power_consumption",
  2993.                     "recovery_source": {
  2994.                         "type": "PEER"
  2995.                     },
  2996.                     "unassigned_info": {
  2997.                         "reason": "CLUSTER_RECOVERED",
  2998.                         "at": "2019-03-13T11:45:44.650Z",
  2999.                         "delayed": false,
  3000.                         "allocation_status": "no_attempt"
  3001.                     }
  3002.                 },
  3003.                 {
  3004.                     "state": "UNASSIGNED",
  3005.                     "primary": false,
  3006.                     "node": null,
  3007.                     "relocating_node": null,
  3008.                     "shard": 1,
  3009.                     "index": "kpi_power_consumption",
  3010.                     "recovery_source": {
  3011.                         "type": "PEER"
  3012.                     },
  3013.                     "unassigned_info": {
  3014.                         "reason": "CLUSTER_RECOVERED",
  3015.                         "at": "2019-03-13T11:45:44.650Z",
  3016.                         "delayed": false,
  3017.                         "allocation_status": "no_attempt"
  3018.                     }
  3019.                 },
  3020.                 {
  3021.                     "state": "UNASSIGNED",
  3022.                     "primary": false,
  3023.                     "node": null,
  3024.                     "relocating_node": null,
  3025.                     "shard": 3,
  3026.                     "index": "kpi_power_consumption",
  3027.                     "recovery_source": {
  3028.                         "type": "PEER"
  3029.                     },
  3030.                     "unassigned_info": {
  3031.                         "reason": "CLUSTER_RECOVERED",
  3032.                         "at": "2019-03-13T11:45:44.650Z",
  3033.                         "delayed": false,
  3034.                         "allocation_status": "no_attempt"
  3035.                     }
  3036.                 },
  3037.                 {
  3038.                     "state": "UNASSIGNED",
  3039.                     "primary": false,
  3040.                     "node": null,
  3041.                     "relocating_node": null,
  3042.                     "shard": 0,
  3043.                     "index": "kpi_power_consumption",
  3044.                     "recovery_source": {
  3045.                         "type": "PEER"
  3046.                     },
  3047.                     "unassigned_info": {
  3048.                         "reason": "CLUSTER_RECOVERED",
  3049.                         "at": "2019-03-13T11:45:44.650Z",
  3050.                         "delayed": false,
  3051.                         "allocation_status": "no_attempt"
  3052.                     }
  3053.                 },
  3054.                 {
  3055.                     "state": "UNASSIGNED",
  3056.                     "primary": false,
  3057.                     "node": null,
  3058.                     "relocating_node": null,
  3059.                     "shard": 2,
  3060.                     "index": "kpi_range",
  3061.                     "recovery_source": {
  3062.                         "type": "PEER"
  3063.                     },
  3064.                     "unassigned_info": {
  3065.                         "reason": "CLUSTER_RECOVERED",
  3066.                         "at": "2019-03-13T11:45:44.646Z",
  3067.                         "delayed": false,
  3068.                         "allocation_status": "no_attempt"
  3069.                     }
  3070.                 },
  3071.                 {
  3072.                     "state": "UNASSIGNED",
  3073.                     "primary": false,
  3074.                     "node": null,
  3075.                     "relocating_node": null,
  3076.                     "shard": 3,
  3077.                     "index": "kpi_range",
  3078.                     "recovery_source": {
  3079.                         "type": "PEER"
  3080.                     },
  3081.                     "unassigned_info": {
  3082.                         "reason": "CLUSTER_RECOVERED",
  3083.                         "at": "2019-03-13T11:45:44.646Z",
  3084.                         "delayed": false,
  3085.                         "allocation_status": "no_attempt"
  3086.                     }
  3087.                 },
  3088.                 {
  3089.                     "state": "UNASSIGNED",
  3090.                     "primary": false,
  3091.                     "node": null,
  3092.                     "relocating_node": null,
  3093.                     "shard": 1,
  3094.                     "index": "kpi_range",
  3095.                     "recovery_source": {
  3096.                         "type": "PEER"
  3097.                     },
  3098.                     "unassigned_info": {
  3099.                         "reason": "CLUSTER_RECOVERED",
  3100.                         "at": "2019-03-13T11:45:44.646Z",
  3101.                         "delayed": false,
  3102.                         "allocation_status": "no_attempt"
  3103.                     }
  3104.                 },
  3105.                 {
  3106.                     "state": "UNASSIGNED",
  3107.                     "primary": false,
  3108.                     "node": null,
  3109.                     "relocating_node": null,
  3110.                     "shard": 4,
  3111.                     "index": "kpi_range",
  3112.                     "recovery_source": {
  3113.                         "type": "PEER"
  3114.                     },
  3115.                     "unassigned_info": {
  3116.                         "reason": "CLUSTER_RECOVERED",
  3117.                         "at": "2019-03-13T11:45:44.646Z",
  3118.                         "delayed": false,
  3119.                         "allocation_status": "no_attempt"
  3120.                     }
  3121.                 },
  3122.                 {
  3123.                     "state": "UNASSIGNED",
  3124.                     "primary": false,
  3125.                     "node": null,
  3126.                     "relocating_node": null,
  3127.                     "shard": 0,
  3128.                     "index": "kpi_range",
  3129.                     "recovery_source": {
  3130.                         "type": "PEER"
  3131.                     },
  3132.                     "unassigned_info": {
  3133.                         "reason": "CLUSTER_RECOVERED",
  3134.                         "at": "2019-03-13T11:45:44.646Z",
  3135.                         "delayed": false,
  3136.                         "allocation_status": "no_attempt"
  3137.                     }
  3138.                 },
  3139.                 {
  3140.                     "state": "UNASSIGNED",
  3141.                     "primary": false,
  3142.                     "node": null,
  3143.                     "relocating_node": null,
  3144.                     "shard": 4,
  3145.                     "index": "cpi_evaluation_platform",
  3146.                     "recovery_source": {
  3147.                         "type": "PEER"
  3148.                     },
  3149.                     "unassigned_info": {
  3150.                         "reason": "CLUSTER_RECOVERED",
  3151.                         "at": "2019-03-13T11:45:44.651Z",
  3152.                         "delayed": false,
  3153.                         "allocation_status": "no_attempt"
  3154.                     }
  3155.                 },
  3156.                 {
  3157.                     "state": "UNASSIGNED",
  3158.                     "primary": false,
  3159.                     "node": null,
  3160.                     "relocating_node": null,
  3161.                     "shard": 3,
  3162.                     "index": "cpi_evaluation_platform",
  3163.                     "recovery_source": {
  3164.                         "type": "PEER"
  3165.                     },
  3166.                     "unassigned_info": {
  3167.                         "reason": "CLUSTER_RECOVERED",
  3168.                         "at": "2019-03-13T11:45:44.651Z",
  3169.                         "delayed": false,
  3170.                         "allocation_status": "no_attempt"
  3171.                     }
  3172.                 },
  3173.                 {
  3174.                     "state": "UNASSIGNED",
  3175.                     "primary": false,
  3176.                     "node": null,
  3177.                     "relocating_node": null,
  3178.                     "shard": 1,
  3179.                     "index": "cpi_evaluation_platform",
  3180.                     "recovery_source": {
  3181.                         "type": "PEER"
  3182.                     },
  3183.                     "unassigned_info": {
  3184.                         "reason": "CLUSTER_RECOVERED",
  3185.                         "at": "2019-03-13T11:45:44.651Z",
  3186.                         "delayed": false,
  3187.                         "allocation_status": "no_attempt"
  3188.                     }
  3189.                 },
  3190.                 {
  3191.                     "state": "UNASSIGNED",
  3192.                     "primary": false,
  3193.                     "node": null,
  3194.                     "relocating_node": null,
  3195.                     "shard": 2,
  3196.                     "index": "cpi_evaluation_platform",
  3197.                     "recovery_source": {
  3198.                         "type": "PEER"
  3199.                     },
  3200.                     "unassigned_info": {
  3201.                         "reason": "CLUSTER_RECOVERED",
  3202.                         "at": "2019-03-13T11:45:44.651Z",
  3203.                         "delayed": false,
  3204.                         "allocation_status": "no_attempt"
  3205.                     }
  3206.                 },
  3207.                 {
  3208.                     "state": "UNASSIGNED",
  3209.                     "primary": false,
  3210.                     "node": null,
  3211.                     "relocating_node": null,
  3212.                     "shard": 0,
  3213.                     "index": "cpi_evaluation_platform",
  3214.                     "recovery_source": {
  3215.                         "type": "PEER"
  3216.                     },
  3217.                     "unassigned_info": {
  3218.                         "reason": "CLUSTER_RECOVERED",
  3219.                         "at": "2019-03-13T11:45:44.651Z",
  3220.                         "delayed": false,
  3221.                         "allocation_status": "no_attempt"
  3222.                     }
  3223.                 },
  3224.                 {
  3225.                     "state": "UNASSIGNED",
  3226.                     "primary": false,
  3227.                     "node": null,
  3228.                     "relocating_node": null,
  3229.                     "shard": 3,
  3230.                     "index": "cpi_customer_launches",
  3231.                     "recovery_source": {
  3232.                         "type": "PEER"
  3233.                     },
  3234.                     "unassigned_info": {
  3235.                         "reason": "CLUSTER_RECOVERED",
  3236.                         "at": "2019-03-13T11:45:44.650Z",
  3237.                         "delayed": false,
  3238.                         "allocation_status": "no_attempt"
  3239.                     }
  3240.                 },
  3241.                 {
  3242.                     "state": "UNASSIGNED",
  3243.                     "primary": false,
  3244.                     "node": null,
  3245.                     "relocating_node": null,
  3246.                     "shard": 2,
  3247.                     "index": "cpi_customer_launches",
  3248.                     "recovery_source": {
  3249.                         "type": "PEER"
  3250.                     },
  3251.                     "unassigned_info": {
  3252.                         "reason": "CLUSTER_RECOVERED",
  3253.                         "at": "2019-03-13T11:45:44.650Z",
  3254.                         "delayed": false,
  3255.                         "allocation_status": "no_attempt"
  3256.                     }
  3257.                 },
  3258.                 {
  3259.                     "state": "UNASSIGNED",
  3260.                     "primary": false,
  3261.                     "node": null,
  3262.                     "relocating_node": null,
  3263.                     "shard": 1,
  3264.                     "index": "cpi_customer_launches",
  3265.                     "recovery_source": {
  3266.                         "type": "PEER"
  3267.                     },
  3268.                     "unassigned_info": {
  3269.                         "reason": "CLUSTER_RECOVERED",
  3270.                         "at": "2019-03-13T11:45:44.650Z",
  3271.                         "delayed": false,
  3272.                         "allocation_status": "no_attempt"
  3273.                     }
  3274.                 },
  3275.                 {
  3276.                     "state": "UNASSIGNED",
  3277.                     "primary": false,
  3278.                     "node": null,
  3279.                     "relocating_node": null,
  3280.                     "shard": 4,
  3281.                     "index": "cpi_customer_launches",
  3282.                     "recovery_source": {
  3283.                         "type": "PEER"
  3284.                     },
  3285.                     "unassigned_info": {
  3286.                         "reason": "CLUSTER_RECOVERED",
  3287.                         "at": "2019-03-13T11:45:44.650Z",
  3288.                         "delayed": false,
  3289.                         "allocation_status": "no_attempt"
  3290.                     }
  3291.                 },
  3292.                 {
  3293.                     "state": "UNASSIGNED",
  3294.                     "primary": false,
  3295.                     "node": null,
  3296.                     "relocating_node": null,
  3297.                     "shard": 0,
  3298.                     "index": "cpi_customer_launches",
  3299.                     "recovery_source": {
  3300.                         "type": "PEER"
  3301.                     },
  3302.                     "unassigned_info": {
  3303.                         "reason": "CLUSTER_RECOVERED",
  3304.                         "at": "2019-03-13T11:45:44.650Z",
  3305.                         "delayed": false,
  3306.                         "allocation_status": "no_attempt"
  3307.                     }
  3308.                 },
  3309.                 {
  3310.                     "state": "UNASSIGNED",
  3311.                     "primary": false,
  3312.                     "node": null,
  3313.                     "relocating_node": null,
  3314.                     "shard": 2,
  3315.                     "index": "resource_allocation",
  3316.                     "recovery_source": {
  3317.                         "type": "PEER"
  3318.                     },
  3319.                     "unassigned_info": {
  3320.                         "reason": "CLUSTER_RECOVERED",
  3321.                         "at": "2019-03-13T11:45:44.650Z",
  3322.                         "delayed": false,
  3323.                         "allocation_status": "no_attempt"
  3324.                     }
  3325.                 },
  3326.                 {
  3327.                     "state": "UNASSIGNED",
  3328.                     "primary": false,
  3329.                     "node": null,
  3330.                     "relocating_node": null,
  3331.                     "shard": 4,
  3332.                     "index": "resource_allocation",
  3333.                     "recovery_source": {
  3334.                         "type": "PEER"
  3335.                     },
  3336.                     "unassigned_info": {
  3337.                         "reason": "CLUSTER_RECOVERED",
  3338.                         "at": "2019-03-13T11:45:44.650Z",
  3339.                         "delayed": false,
  3340.                         "allocation_status": "no_attempt"
  3341.                     }
  3342.                 },
  3343.                 {
  3344.                     "state": "UNASSIGNED",
  3345.                     "primary": false,
  3346.                     "node": null,
  3347.                     "relocating_node": null,
  3348.                     "shard": 1,
  3349.                     "index": "resource_allocation",
  3350.                     "recovery_source": {
  3351.                         "type": "PEER"
  3352.                     },
  3353.                     "unassigned_info": {
  3354.                         "reason": "CLUSTER_RECOVERED",
  3355.                         "at": "2019-03-13T11:45:44.650Z",
  3356.                         "delayed": false,
  3357.                         "allocation_status": "no_attempt"
  3358.                     }
  3359.                 },
  3360.                 {
  3361.                     "state": "UNASSIGNED",
  3362.                     "primary": false,
  3363.                     "node": null,
  3364.                     "relocating_node": null,
  3365.                     "shard": 3,
  3366.                     "index": "resource_allocation",
  3367.                     "recovery_source": {
  3368.                         "type": "PEER"
  3369.                     },
  3370.                     "unassigned_info": {
  3371.                         "reason": "CLUSTER_RECOVERED",
  3372.                         "at": "2019-03-13T11:45:44.650Z",
  3373.                         "delayed": false,
  3374.                         "allocation_status": "no_attempt"
  3375.                     }
  3376.                 },
  3377.                 {
  3378.                     "state": "UNASSIGNED",
  3379.                     "primary": false,
  3380.                     "node": null,
  3381.                     "relocating_node": null,
  3382.                     "shard": 0,
  3383.                     "index": "resource_allocation",
  3384.                     "recovery_source": {
  3385.                         "type": "PEER"
  3386.                     },
  3387.                     "unassigned_info": {
  3388.                         "reason": "CLUSTER_RECOVERED",
  3389.                         "at": "2019-03-13T11:45:44.650Z",
  3390.                         "delayed": false,
  3391.                         "allocation_status": "no_attempt"
  3392.                     }
  3393.                 },
  3394.                 {
  3395.                     "state": "UNASSIGNED",
  3396.                     "primary": false,
  3397.                     "node": null,
  3398.                     "relocating_node": null,
  3399.                     "shard": 3,
  3400.                     "index": "test_idx",
  3401.                     "recovery_source": {
  3402.                         "type": "PEER"
  3403.                     },
  3404.                     "unassigned_info": {
  3405.                         "reason": "CLUSTER_RECOVERED",
  3406.                         "at": "2019-03-13T11:45:44.651Z",
  3407.                         "delayed": false,
  3408.                         "allocation_status": "no_attempt"
  3409.                     }
  3410.                 },
  3411.                 {
  3412.                     "state": "UNASSIGNED",
  3413.                     "primary": false,
  3414.                     "node": null,
  3415.                     "relocating_node": null,
  3416.                     "shard": 4,
  3417.                     "index": "test_idx",
  3418.                     "recovery_source": {
  3419.                         "type": "PEER"
  3420.                     },
  3421.                     "unassigned_info": {
  3422.                         "reason": "CLUSTER_RECOVERED",
  3423.                         "at": "2019-03-13T11:45:44.651Z",
  3424.                         "delayed": false,
  3425.                         "allocation_status": "no_attempt"
  3426.                     }
  3427.                 },
  3428.                 {
  3429.                     "state": "UNASSIGNED",
  3430.                     "primary": false,
  3431.                     "node": null,
  3432.                     "relocating_node": null,
  3433.                     "shard": 1,
  3434.                     "index": "test_idx",
  3435.                     "recovery_source": {
  3436.                         "type": "PEER"
  3437.                     },
  3438.                     "unassigned_info": {
  3439.                         "reason": "CLUSTER_RECOVERED",
  3440.                         "at": "2019-03-13T11:45:44.651Z",
  3441.                         "delayed": false,
  3442.                         "allocation_status": "no_attempt"
  3443.                     }
  3444.                 },
  3445.                 {
  3446.                     "state": "UNASSIGNED",
  3447.                     "primary": false,
  3448.                     "node": null,
  3449.                     "relocating_node": null,
  3450.                     "shard": 2,
  3451.                     "index": "test_idx",
  3452.                     "recovery_source": {
  3453.                         "type": "PEER"
  3454.                     },
  3455.                     "unassigned_info": {
  3456.                         "reason": "CLUSTER_RECOVERED",
  3457.                         "at": "2019-03-13T11:45:44.651Z",
  3458.                         "delayed": false,
  3459.                         "allocation_status": "no_attempt"
  3460.                     }
  3461.                 },
  3462.                 {
  3463.                     "state": "UNASSIGNED",
  3464.                     "primary": false,
  3465.                     "node": null,
  3466.                     "relocating_node": null,
  3467.                     "shard": 0,
  3468.                     "index": "test_idx",
  3469.                     "recovery_source": {
  3470.                         "type": "PEER"
  3471.                     },
  3472.                     "unassigned_info": {
  3473.                         "reason": "CLUSTER_RECOVERED",
  3474.                         "at": "2019-03-13T11:45:44.651Z",
  3475.                         "delayed": false,
  3476.                         "allocation_status": "no_attempt"
  3477.                     }
  3478.                 },
  3479.                 {
  3480.                     "state": "UNASSIGNED",
  3481.                     "primary": false,
  3482.                     "node": null,
  3483.                     "relocating_node": null,
  3484.                     "shard": 3,
  3485.                     "index": "kpi_direct_leak",
  3486.                     "recovery_source": {
  3487.                         "type": "PEER"
  3488.                     },
  3489.                     "unassigned_info": {
  3490.                         "reason": "CLUSTER_RECOVERED",
  3491.                         "at": "2019-03-13T11:45:44.651Z",
  3492.                         "delayed": false,
  3493.                         "allocation_status": "no_attempt"
  3494.                     }
  3495.                 },
  3496.                 {
  3497.                     "state": "UNASSIGNED",
  3498.                     "primary": false,
  3499.                     "node": null,
  3500.                     "relocating_node": null,
  3501.                     "shard": 2,
  3502.                     "index": "kpi_direct_leak",
  3503.                     "recovery_source": {
  3504.                         "type": "PEER"
  3505.                     },
  3506.                     "unassigned_info": {
  3507.                         "reason": "CLUSTER_RECOVERED",
  3508.                         "at": "2019-03-13T11:45:44.651Z",
  3509.                         "delayed": false,
  3510.                         "allocation_status": "no_attempt"
  3511.                     }
  3512.                 },
  3513.                 {
  3514.                     "state": "UNASSIGNED",
  3515.                     "primary": false,
  3516.                     "node": null,
  3517.                     "relocating_node": null,
  3518.                     "shard": 1,
  3519.                     "index": "kpi_direct_leak",
  3520.                     "recovery_source": {
  3521.                         "type": "PEER"
  3522.                     },
  3523.                     "unassigned_info": {
  3524.                         "reason": "CLUSTER_RECOVERED",
  3525.                         "at": "2019-03-13T11:45:44.651Z",
  3526.                         "delayed": false,
  3527.                         "allocation_status": "no_attempt"
  3528.                     }
  3529.                 },
  3530.                 {
  3531.                     "state": "UNASSIGNED",
  3532.                     "primary": false,
  3533.                     "node": null,
  3534.                     "relocating_node": null,
  3535.                     "shard": 4,
  3536.                     "index": "kpi_direct_leak",
  3537.                     "recovery_source": {
  3538.                         "type": "PEER"
  3539.                     },
  3540.                     "unassigned_info": {
  3541.                         "reason": "CLUSTER_RECOVERED",
  3542.                         "at": "2019-03-13T11:45:44.651Z",
  3543.                         "delayed": false,
  3544.                         "allocation_status": "no_attempt"
  3545.                     }
  3546.                 },
  3547.                 {
  3548.                     "state": "UNASSIGNED",
  3549.                     "primary": false,
  3550.                     "node": null,
  3551.                     "relocating_node": null,
  3552.                     "shard": 0,
  3553.                     "index": "kpi_direct_leak",
  3554.                     "recovery_source": {
  3555.                         "type": "PEER"
  3556.                     },
  3557.                     "unassigned_info": {
  3558.                         "reason": "CLUSTER_RECOVERED",
  3559.                         "at": "2019-03-13T11:45:44.651Z",
  3560.                         "delayed": false,
  3561.                         "allocation_status": "no_attempt"
  3562.                     }
  3563.                 }
  3564.             ],
  3565.             "nodes": {
  3566.                 "d7RZ_TVwQpipnNIAXuqiGg": [
  3567.                     {
  3568.                         "state": "INITIALIZING",
  3569.                         "primary": true,
  3570.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3571.                         "relocating_node": null,
  3572.                         "shard": 2,
  3573.                         "index": "kpi_execution_time",
  3574.                         "recovery_source": {
  3575.                             "type": "EXISTING_STORE",
  3576.                             "bootstrap_new_history_uuid": false
  3577.                         },
  3578.                         "allocation_id": {
  3579.                             "id": "ccJEcAEWQf25ikMoG6561A"
  3580.                         },
  3581.                         "unassigned_info": {
  3582.                             "reason": "MANUAL_ALLOCATION",
  3583.                             "at": "2019-03-13T11:53:43.363Z",
  3584.                             "delayed": false,
  3585.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/2/translog/translog-50.tlog: Device or resource busy]; ",
  3586.                             "allocation_status": "deciders_no"
  3587.                         }
  3588.                     },
  3589.                     {
  3590.                         "state": "INITIALIZING",
  3591.                         "primary": true,
  3592.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3593.                         "relocating_node": null,
  3594.                         "shard": 4,
  3595.                         "index": "kpi_execution_time",
  3596.                         "recovery_source": {
  3597.                             "type": "EXISTING_STORE",
  3598.                             "bootstrap_new_history_uuid": false
  3599.                         },
  3600.                         "allocation_id": {
  3601.                             "id": "gVZDaKPgS16Dp57xGZVpnQ"
  3602.                         },
  3603.                         "unassigned_info": {
  3604.                             "reason": "MANUAL_ALLOCATION",
  3605.                             "at": "2019-03-13T11:53:43.357Z",
  3606.                             "delayed": false,
  3607.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/4/translog/translog-37.tlog: Device or resource busy]; ",
  3608.                             "allocation_status": "deciders_no"
  3609.                         }
  3610.                     },
  3611.                     {
  3612.                         "state": "INITIALIZING",
  3613.                         "primary": true,
  3614.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3615.                         "relocating_node": null,
  3616.                         "shard": 1,
  3617.                         "index": "kpi_execution_time",
  3618.                         "recovery_source": {
  3619.                             "type": "EXISTING_STORE",
  3620.                             "bootstrap_new_history_uuid": false
  3621.                         },
  3622.                         "allocation_id": {
  3623.                             "id": "qdKKXH6LSbqaEigKEWEKug"
  3624.                         },
  3625.                         "unassigned_info": {
  3626.                             "reason": "MANUAL_ALLOCATION",
  3627.                             "at": "2019-03-13T11:53:43.354Z",
  3628.                             "delayed": false,
  3629.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/1/translog/translog-57.tlog: Device or resource busy]; ",
  3630.                             "allocation_status": "deciders_no"
  3631.                         }
  3632.                     },
  3633.                     {
  3634.                         "state": "INITIALIZING",
  3635.                         "primary": true,
  3636.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3637.                         "relocating_node": null,
  3638.                         "shard": 3,
  3639.                         "index": "kpi_execution_time",
  3640.                         "recovery_source": {
  3641.                             "type": "EXISTING_STORE",
  3642.                             "bootstrap_new_history_uuid": false
  3643.                         },
  3644.                         "allocation_id": {
  3645.                             "id": "ErbIWkFQSs61kzcunV44EA"
  3646.                         },
  3647.                         "unassigned_info": {
  3648.                             "reason": "MANUAL_ALLOCATION",
  3649.                             "at": "2019-03-13T11:53:43.357Z",
  3650.                             "delayed": false,
  3651.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/3/translog/translog-49.tlog: Device or resource busy]; ",
  3652.                             "allocation_status": "deciders_no"
  3653.                         }
  3654.                     },
  3655.                     {
  3656.                         "state": "INITIALIZING",
  3657.                         "primary": true,
  3658.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3659.                         "relocating_node": null,
  3660.                         "shard": 0,
  3661.                         "index": "kpi_execution_time",
  3662.                         "recovery_source": {
  3663.                             "type": "EXISTING_STORE",
  3664.                             "bootstrap_new_history_uuid": false
  3665.                         },
  3666.                         "allocation_id": {
  3667.                             "id": "-25cc9O5R5aEVFlazn321w"
  3668.                         },
  3669.                         "unassigned_info": {
  3670.                             "reason": "MANUAL_ALLOCATION",
  3671.                             "at": "2019-03-13T11:53:43.357Z",
  3672.                             "delayed": false,
  3673.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_execution_time][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ax_tQQGMRhaK61Tzz24SOg/0/translog/translog-35.tlog: Device or resource busy]; ",
  3674.                             "allocation_status": "deciders_no"
  3675.                         }
  3676.                     },
  3677.                     {
  3678.                         "state": "INITIALIZING",
  3679.                         "primary": true,
  3680.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3681.                         "relocating_node": null,
  3682.                         "shard": 0,
  3683.                         "index": ".tasks",
  3684.                         "recovery_source": {
  3685.                             "type": "EXISTING_STORE",
  3686.                             "bootstrap_new_history_uuid": false
  3687.                         },
  3688.                         "allocation_id": {
  3689.                             "id": "_T1bZUPBQEeFm_Ix_Ce2SA"
  3690.                         },
  3691.                         "unassigned_info": {
  3692.                             "reason": "MANUAL_ALLOCATION",
  3693.                             "at": "2019-03-13T11:53:43.401Z",
  3694.                             "delayed": false,
  3695.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[.tasks][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/pg7d_PmmTJyZOvqKZSnolw/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/pg7d_PmmTJyZOvqKZSnolw/0/translog/translog-8.tlog: Device or resource busy]; ",
  3696.                             "allocation_status": "deciders_no"
  3697.                         }
  3698.                     },
  3699.                     {
  3700.                         "state": "INITIALIZING",
  3701.                         "primary": true,
  3702.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3703.                         "relocating_node": null,
  3704.                         "shard": 2,
  3705.                         "index": "cpi_modules_shipped",
  3706.                         "recovery_source": {
  3707.                             "type": "EXISTING_STORE",
  3708.                             "bootstrap_new_history_uuid": false
  3709.                         },
  3710.                         "allocation_id": {
  3711.                             "id": "bOxF8nn6Q0-T6cashiX-xg"
  3712.                         },
  3713.                         "unassigned_info": {
  3714.                             "reason": "MANUAL_ALLOCATION",
  3715.                             "at": "2019-03-13T11:53:43.383Z",
  3716.                             "delayed": false,
  3717.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/2/translog/translog-7.tlog: Device or resource busy]; ",
  3718.                             "allocation_status": "deciders_no"
  3719.                         }
  3720.                     },
  3721.                     {
  3722.                         "state": "INITIALIZING",
  3723.                         "primary": true,
  3724.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3725.                         "relocating_node": null,
  3726.                         "shard": 4,
  3727.                         "index": "cpi_modules_shipped",
  3728.                         "recovery_source": {
  3729.                             "type": "EXISTING_STORE",
  3730.                             "bootstrap_new_history_uuid": false
  3731.                         },
  3732.                         "allocation_id": {
  3733.                             "id": "XphCpaN-RAeJMB6XGEOl7A"
  3734.                         },
  3735.                         "unassigned_info": {
  3736.                             "reason": "MANUAL_ALLOCATION",
  3737.                             "at": "2019-03-13T11:53:43.372Z",
  3738.                             "delayed": false,
  3739.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/4/translog/translog-11.tlog: Device or resource busy]; ",
  3740.                             "allocation_status": "deciders_no"
  3741.                         }
  3742.                     },
  3743.                     {
  3744.                         "state": "INITIALIZING",
  3745.                         "primary": true,
  3746.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3747.                         "relocating_node": null,
  3748.                         "shard": 1,
  3749.                         "index": "cpi_modules_shipped",
  3750.                         "recovery_source": {
  3751.                             "type": "EXISTING_STORE",
  3752.                             "bootstrap_new_history_uuid": false
  3753.                         },
  3754.                         "allocation_id": {
  3755.                             "id": "fuxOQQGxQo-7Y6maZ4Nj4g"
  3756.                         },
  3757.                         "unassigned_info": {
  3758.                             "reason": "MANUAL_ALLOCATION",
  3759.                             "at": "2019-03-13T11:53:43.372Z",
  3760.                             "delayed": false,
  3761.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/1/translog/translog-7.tlog: Device or resource busy]; ",
  3762.                             "allocation_status": "deciders_no"
  3763.                         }
  3764.                     },
  3765.                     {
  3766.                         "state": "INITIALIZING",
  3767.                         "primary": true,
  3768.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3769.                         "relocating_node": null,
  3770.                         "shard": 3,
  3771.                         "index": "cpi_modules_shipped",
  3772.                         "recovery_source": {
  3773.                             "type": "EXISTING_STORE",
  3774.                             "bootstrap_new_history_uuid": false
  3775.                         },
  3776.                         "allocation_id": {
  3777.                             "id": "Age8ECtFRqKHOQcjXVxIUQ"
  3778.                         },
  3779.                         "unassigned_info": {
  3780.                             "reason": "MANUAL_ALLOCATION",
  3781.                             "at": "2019-03-13T11:53:43.372Z",
  3782.                             "delayed": false,
  3783.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/3/translog/translog-7.tlog: Device or resource busy]; ",
  3784.                             "allocation_status": "deciders_no"
  3785.                         }
  3786.                     },
  3787.                     {
  3788.                         "state": "INITIALIZING",
  3789.                         "primary": true,
  3790.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3791.                         "relocating_node": null,
  3792.                         "shard": 0,
  3793.                         "index": "cpi_modules_shipped",
  3794.                         "recovery_source": {
  3795.                             "type": "EXISTING_STORE",
  3796.                             "bootstrap_new_history_uuid": false
  3797.                         },
  3798.                         "allocation_id": {
  3799.                             "id": "mwp6r4YmRWyJyy9AA_kNjQ"
  3800.                         },
  3801.                         "unassigned_info": {
  3802.                             "reason": "MANUAL_ALLOCATION",
  3803.                             "at": "2019-03-13T11:53:43.371Z",
  3804.                             "delayed": false,
  3805.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_modules_shipped][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/m7MDTgEeRMWO2oxbW5v0PQ/0/translog/translog-7.tlog: Device or resource busy]; ",
  3806.                             "allocation_status": "deciders_no"
  3807.                         }
  3808.                     },
  3809.                     {
  3810.                         "state": "INITIALIZING",
  3811.                         "primary": true,
  3812.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3813.                         "relocating_node": null,
  3814.                         "shard": 0,
  3815.                         "index": ".kibana_1",
  3816.                         "recovery_source": {
  3817.                             "type": "EXISTING_STORE",
  3818.                             "bootstrap_new_history_uuid": false
  3819.                         },
  3820.                         "allocation_id": {
  3821.                             "id": "Rw4uqAYUSayXlAVRhxJ_Qg"
  3822.                         },
  3823.                         "unassigned_info": {
  3824.                             "reason": "MANUAL_ALLOCATION",
  3825.                             "at": "2019-03-13T11:53:43.371Z",
  3826.                             "delayed": false,
  3827.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[.kibana_1][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7DV63v0zS4ynYtzpTaoqGA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7DV63v0zS4ynYtzpTaoqGA/0/translog/translog-8.tlog: Device or resource busy]; ",
  3828.                             "allocation_status": "deciders_no"
  3829.                         }
  3830.                     },
  3831.                     {
  3832.                         "state": "INITIALIZING",
  3833.                         "primary": true,
  3834.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3835.                         "relocating_node": null,
  3836.                         "shard": 2,
  3837.                         "index": "cpi_sensors_shipped",
  3838.                         "recovery_source": {
  3839.                             "type": "EXISTING_STORE",
  3840.                             "bootstrap_new_history_uuid": false
  3841.                         },
  3842.                         "allocation_id": {
  3843.                             "id": "j4UzI3MDTBWd8dgf6w0MxA"
  3844.                         },
  3845.                         "unassigned_info": {
  3846.                             "reason": "MANUAL_ALLOCATION",
  3847.                             "at": "2019-03-13T11:53:43.369Z",
  3848.                             "delayed": false,
  3849.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/2/translog/translog-11.tlog: Device or resource busy]; ",
  3850.                             "allocation_status": "deciders_no"
  3851.                         }
  3852.                     },
  3853.                     {
  3854.                         "state": "INITIALIZING",
  3855.                         "primary": true,
  3856.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3857.                         "relocating_node": null,
  3858.                         "shard": 4,
  3859.                         "index": "cpi_sensors_shipped",
  3860.                         "recovery_source": {
  3861.                             "type": "EXISTING_STORE",
  3862.                             "bootstrap_new_history_uuid": false
  3863.                         },
  3864.                         "allocation_id": {
  3865.                             "id": "DwafdyIWQ4KFcNbOufIXNg"
  3866.                         },
  3867.                         "unassigned_info": {
  3868.                             "reason": "MANUAL_ALLOCATION",
  3869.                             "at": "2019-03-13T11:53:43.369Z",
  3870.                             "delayed": false,
  3871.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/4/translog/translog-15.tlog: Device or resource busy]; ",
  3872.                             "allocation_status": "deciders_no"
  3873.                         }
  3874.                     },
  3875.                     {
  3876.                         "state": "INITIALIZING",
  3877.                         "primary": true,
  3878.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3879.                         "relocating_node": null,
  3880.                         "shard": 1,
  3881.                         "index": "cpi_sensors_shipped",
  3882.                         "recovery_source": {
  3883.                             "type": "EXISTING_STORE",
  3884.                             "bootstrap_new_history_uuid": false
  3885.                         },
  3886.                         "allocation_id": {
  3887.                             "id": "gEOuvHLQQBq_bZ5bMFsdIQ"
  3888.                         },
  3889.                         "unassigned_info": {
  3890.                             "reason": "MANUAL_ALLOCATION",
  3891.                             "at": "2019-03-13T11:53:43.369Z",
  3892.                             "delayed": false,
  3893.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/1/translog/translog-12.tlog: Device or resource busy]; ",
  3894.                             "allocation_status": "deciders_no"
  3895.                         }
  3896.                     },
  3897.                     {
  3898.                         "state": "INITIALIZING",
  3899.                         "primary": true,
  3900.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3901.                         "relocating_node": null,
  3902.                         "shard": 3,
  3903.                         "index": "cpi_sensors_shipped",
  3904.                         "recovery_source": {
  3905.                             "type": "EXISTING_STORE",
  3906.                             "bootstrap_new_history_uuid": false
  3907.                         },
  3908.                         "allocation_id": {
  3909.                             "id": "T4N0jlcSSpurS_mjJyVuZQ"
  3910.                         },
  3911.                         "unassigned_info": {
  3912.                             "reason": "MANUAL_ALLOCATION",
  3913.                             "at": "2019-03-13T11:53:43.386Z",
  3914.                             "delayed": false,
  3915.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/3/translog/translog-11.tlog: Device or resource busy]; ",
  3916.                             "allocation_status": "deciders_no"
  3917.                         }
  3918.                     },
  3919.                     {
  3920.                         "state": "INITIALIZING",
  3921.                         "primary": true,
  3922.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3923.                         "relocating_node": null,
  3924.                         "shard": 0,
  3925.                         "index": "cpi_sensors_shipped",
  3926.                         "recovery_source": {
  3927.                             "type": "EXISTING_STORE",
  3928.                             "bootstrap_new_history_uuid": false
  3929.                         },
  3930.                         "allocation_id": {
  3931.                             "id": "KVWkUM8lRgaCvzh3xuUT_A"
  3932.                         },
  3933.                         "unassigned_info": {
  3934.                             "reason": "MANUAL_ALLOCATION",
  3935.                             "at": "2019-03-13T11:53:43.385Z",
  3936.                             "delayed": false,
  3937.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_sensors_shipped][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/TlrkkNKrRPGDdIiqaZvkBg/0/translog/translog-14.tlog: Device or resource busy]; ",
  3938.                             "allocation_status": "deciders_no"
  3939.                         }
  3940.                     },
  3941.                     {
  3942.                         "state": "INITIALIZING",
  3943.                         "primary": true,
  3944.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3945.                         "relocating_node": null,
  3946.                         "shard": 0,
  3947.                         "index": ".kibana_2",
  3948.                         "recovery_source": {
  3949.                             "type": "EXISTING_STORE",
  3950.                             "bootstrap_new_history_uuid": false
  3951.                         },
  3952.                         "allocation_id": {
  3953.                             "id": "kaxr4uc6T7GfdPfXm5EryA"
  3954.                         },
  3955.                         "unassigned_info": {
  3956.                             "reason": "MANUAL_ALLOCATION",
  3957.                             "at": "2019-03-13T11:53:43.385Z",
  3958.                             "delayed": false,
  3959.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[.kibana_2][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/kphbrQ1QRs-5Odgt1Hy8ow/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/kphbrQ1QRs-5Odgt1Hy8ow/0/translog/translog-18.tlog: Device or resource busy]; ",
  3960.                             "allocation_status": "deciders_no"
  3961.                         }
  3962.                     },
  3963.                     {
  3964.                         "state": "STARTED",
  3965.                         "primary": true,
  3966.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3967.                         "relocating_node": null,
  3968.                         "shard": 3,
  3969.                         "index": "test",
  3970.                         "allocation_id": {
  3971.                             "id": "2tn7bQz9S7W-dH95YnueqA"
  3972.                         }
  3973.                     },
  3974.                     {
  3975.                         "state": "STARTED",
  3976.                         "primary": true,
  3977.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3978.                         "relocating_node": null,
  3979.                         "shard": 4,
  3980.                         "index": "test",
  3981.                         "allocation_id": {
  3982.                             "id": "umitPJdZTRy-QXGQbbGCfQ"
  3983.                         }
  3984.                     },
  3985.                     {
  3986.                         "state": "STARTED",
  3987.                         "primary": true,
  3988.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  3989.                         "relocating_node": null,
  3990.                         "shard": 1,
  3991.                         "index": "test",
  3992.                         "allocation_id": {
  3993.                             "id": "Vqp7zfkwT3eQJycJCSs1FA"
  3994.                         }
  3995.                     },
  3996.                     {
  3997.                         "state": "STARTED",
  3998.                         "primary": true,
  3999.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4000.                         "relocating_node": null,
  4001.                         "shard": 2,
  4002.                         "index": "test",
  4003.                         "allocation_id": {
  4004.                             "id": "S1E-fAycRx68-KNJ3oFs0Q"
  4005.                         }
  4006.                     },
  4007.                     {
  4008.                         "state": "STARTED",
  4009.                         "primary": true,
  4010.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4011.                         "relocating_node": null,
  4012.                         "shard": 0,
  4013.                         "index": "test",
  4014.                         "allocation_id": {
  4015.                             "id": "eB3EPWH_TKqk_XLTkzRvwQ"
  4016.                         }
  4017.                     },
  4018.                     {
  4019.                         "state": "INITIALIZING",
  4020.                         "primary": true,
  4021.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4022.                         "relocating_node": null,
  4023.                         "shard": 3,
  4024.                         "index": "cpi_design_win",
  4025.                         "recovery_source": {
  4026.                             "type": "EXISTING_STORE",
  4027.                             "bootstrap_new_history_uuid": false
  4028.                         },
  4029.                         "allocation_id": {
  4030.                             "id": "rQOuR9VzQSOdEaaylIm4Dg"
  4031.                         },
  4032.                         "unassigned_info": {
  4033.                             "reason": "MANUAL_ALLOCATION",
  4034.                             "at": "2019-03-13T11:53:43.405Z",
  4035.                             "delayed": false,
  4036.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/3/translog/translog-7.tlog: Device or resource busy]; ",
  4037.                             "allocation_status": "deciders_no"
  4038.                         }
  4039.                     },
  4040.                     {
  4041.                         "state": "INITIALIZING",
  4042.                         "primary": true,
  4043.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4044.                         "relocating_node": null,
  4045.                         "shard": 2,
  4046.                         "index": "cpi_design_win",
  4047.                         "recovery_source": {
  4048.                             "type": "EXISTING_STORE",
  4049.                             "bootstrap_new_history_uuid": false
  4050.                         },
  4051.                         "allocation_id": {
  4052.                             "id": "Ft8YWMIKRSiyFz7RGdAHMQ"
  4053.                         },
  4054.                         "unassigned_info": {
  4055.                             "reason": "MANUAL_ALLOCATION",
  4056.                             "at": "2019-03-13T11:53:43.396Z",
  4057.                             "delayed": false,
  4058.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/2/translog/translog-8.tlog: Device or resource busy]; ",
  4059.                             "allocation_status": "deciders_no"
  4060.                         }
  4061.                     },
  4062.                     {
  4063.                         "state": "INITIALIZING",
  4064.                         "primary": true,
  4065.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4066.                         "relocating_node": null,
  4067.                         "shard": 1,
  4068.                         "index": "cpi_design_win",
  4069.                         "recovery_source": {
  4070.                             "type": "EXISTING_STORE",
  4071.                             "bootstrap_new_history_uuid": false
  4072.                         },
  4073.                         "allocation_id": {
  4074.                             "id": "v7tB5lSeQPSjLoY4dJjwRQ"
  4075.                         },
  4076.                         "unassigned_info": {
  4077.                             "reason": "MANUAL_ALLOCATION",
  4078.                             "at": "2019-03-13T11:53:43.396Z",
  4079.                             "delayed": false,
  4080.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/1/translog/translog-8.tlog: Device or resource busy]; ",
  4081.                             "allocation_status": "deciders_no"
  4082.                         }
  4083.                     },
  4084.                     {
  4085.                         "state": "INITIALIZING",
  4086.                         "primary": true,
  4087.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4088.                         "relocating_node": null,
  4089.                         "shard": 4,
  4090.                         "index": "cpi_design_win",
  4091.                         "recovery_source": {
  4092.                             "type": "EXISTING_STORE",
  4093.                             "bootstrap_new_history_uuid": false
  4094.                         },
  4095.                         "allocation_id": {
  4096.                             "id": "f4GORBFiQcWPNP43MgZ2hg"
  4097.                         },
  4098.                         "unassigned_info": {
  4099.                             "reason": "MANUAL_ALLOCATION",
  4100.                             "at": "2019-03-13T11:53:43.397Z",
  4101.                             "delayed": false,
  4102.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/4/translog/translog-7.tlog: Device or resource busy]; ",
  4103.                             "allocation_status": "deciders_no"
  4104.                         }
  4105.                     },
  4106.                     {
  4107.                         "state": "INITIALIZING",
  4108.                         "primary": true,
  4109.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4110.                         "relocating_node": null,
  4111.                         "shard": 0,
  4112.                         "index": "cpi_design_win",
  4113.                         "recovery_source": {
  4114.                             "type": "EXISTING_STORE",
  4115.                             "bootstrap_new_history_uuid": false
  4116.                         },
  4117.                         "allocation_id": {
  4118.                             "id": "0eb97W-bQhioxPKhCC3oHQ"
  4119.                         },
  4120.                         "unassigned_info": {
  4121.                             "reason": "MANUAL_ALLOCATION",
  4122.                             "at": "2019-03-13T11:53:43.396Z",
  4123.                             "delayed": false,
  4124.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_design_win][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/3pIaypUjR7CPvFuqNgd4Mg/0/translog/translog-8.tlog: Device or resource busy]; ",
  4125.                             "allocation_status": "deciders_no"
  4126.                         }
  4127.                     },
  4128.                     {
  4129.                         "state": "INITIALIZING",
  4130.                         "primary": true,
  4131.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4132.                         "relocating_node": null,
  4133.                         "shard": 2,
  4134.                         "index": "kpi_power_consumption",
  4135.                         "recovery_source": {
  4136.                             "type": "EXISTING_STORE",
  4137.                             "bootstrap_new_history_uuid": false
  4138.                         },
  4139.                         "allocation_id": {
  4140.                             "id": "Egb0Iq-lRPmurI51m-MMMA"
  4141.                         },
  4142.                         "unassigned_info": {
  4143.                             "reason": "MANUAL_ALLOCATION",
  4144.                             "at": "2019-03-13T11:53:43.363Z",
  4145.                             "delayed": false,
  4146.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/2/translog/translog-896.tlog: Device or resource busy]; ",
  4147.                             "allocation_status": "deciders_no"
  4148.                         }
  4149.                     },
  4150.                     {
  4151.                         "state": "INITIALIZING",
  4152.                         "primary": true,
  4153.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4154.                         "relocating_node": null,
  4155.                         "shard": 4,
  4156.                         "index": "kpi_power_consumption",
  4157.                         "recovery_source": {
  4158.                             "type": "EXISTING_STORE",
  4159.                             "bootstrap_new_history_uuid": false
  4160.                         },
  4161.                         "allocation_id": {
  4162.                             "id": "R6SX5clqSpmlJYS07FWpKA"
  4163.                         },
  4164.                         "unassigned_info": {
  4165.                             "reason": "MANUAL_ALLOCATION",
  4166.                             "at": "2019-03-13T11:53:43.364Z",
  4167.                             "delayed": false,
  4168.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/4/translog/translog-897.tlog: Device or resource busy]; ",
  4169.                             "allocation_status": "deciders_no"
  4170.                         }
  4171.                     },
  4172.                     {
  4173.                         "state": "INITIALIZING",
  4174.                         "primary": true,
  4175.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4176.                         "relocating_node": null,
  4177.                         "shard": 1,
  4178.                         "index": "kpi_power_consumption",
  4179.                         "recovery_source": {
  4180.                             "type": "EXISTING_STORE",
  4181.                             "bootstrap_new_history_uuid": false
  4182.                         },
  4183.                         "allocation_id": {
  4184.                             "id": "8sGRqNLDQfqwR6SLsRP62Q"
  4185.                         },
  4186.                         "unassigned_info": {
  4187.                             "reason": "MANUAL_ALLOCATION",
  4188.                             "at": "2019-03-13T11:53:43.363Z",
  4189.                             "delayed": false,
  4190.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/1/translog/translog-889.tlog: Device or resource busy]; ",
  4191.                             "allocation_status": "deciders_no"
  4192.                         }
  4193.                     },
  4194.                     {
  4195.                         "state": "INITIALIZING",
  4196.                         "primary": true,
  4197.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4198.                         "relocating_node": null,
  4199.                         "shard": 3,
  4200.                         "index": "kpi_power_consumption",
  4201.                         "recovery_source": {
  4202.                             "type": "EXISTING_STORE",
  4203.                             "bootstrap_new_history_uuid": false
  4204.                         },
  4205.                         "allocation_id": {
  4206.                             "id": "yqBSqkveQiObuI6AFKxvWQ"
  4207.                         },
  4208.                         "unassigned_info": {
  4209.                             "reason": "MANUAL_ALLOCATION",
  4210.                             "at": "2019-03-13T11:53:43.358Z",
  4211.                             "delayed": false,
  4212.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/3/translog/translog-888.tlog: Device or resource busy]; ",
  4213.                             "allocation_status": "deciders_no"
  4214.                         }
  4215.                     },
  4216.                     {
  4217.                         "state": "INITIALIZING",
  4218.                         "primary": true,
  4219.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4220.                         "relocating_node": null,
  4221.                         "shard": 0,
  4222.                         "index": "kpi_power_consumption",
  4223.                         "recovery_source": {
  4224.                             "type": "EXISTING_STORE",
  4225.                             "bootstrap_new_history_uuid": false
  4226.                         },
  4227.                         "allocation_id": {
  4228.                             "id": "7KjuIEyKQQGmutA215p5Fg"
  4229.                         },
  4230.                         "unassigned_info": {
  4231.                             "reason": "MANUAL_ALLOCATION",
  4232.                             "at": "2019-03-13T11:53:43.362Z",
  4233.                             "delayed": false,
  4234.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_power_consumption][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed to recover from gateway]; nested: EngineCreationFailureException[failed to create engine]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/y-T6Zh84TIOOnZAoB2awRA/0/translog/translog-888.tlog: Device or resource busy]; ",
  4235.                             "allocation_status": "deciders_no"
  4236.                         }
  4237.                     },
  4238.                     {
  4239.                         "state": "INITIALIZING",
  4240.                         "primary": true,
  4241.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4242.                         "relocating_node": null,
  4243.                         "shard": 2,
  4244.                         "index": "kpi_range",
  4245.                         "recovery_source": {
  4246.                             "type": "EXISTING_STORE",
  4247.                             "bootstrap_new_history_uuid": false
  4248.                         },
  4249.                         "allocation_id": {
  4250.                             "id": "zWJUkDDZTiWlZB2cYh6wuQ"
  4251.                         },
  4252.                         "unassigned_info": {
  4253.                             "reason": "MANUAL_ALLOCATION",
  4254.                             "at": "2019-03-13T11:53:43.356Z",
  4255.                             "delayed": false,
  4256.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/2/translog/translog-99.tlog: Device or resource busy]; ",
  4257.                             "allocation_status": "deciders_no"
  4258.                         }
  4259.                     },
  4260.                     {
  4261.                         "state": "INITIALIZING",
  4262.                         "primary": true,
  4263.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4264.                         "relocating_node": null,
  4265.                         "shard": 3,
  4266.                         "index": "kpi_range",
  4267.                         "recovery_source": {
  4268.                             "type": "EXISTING_STORE",
  4269.                             "bootstrap_new_history_uuid": false
  4270.                         },
  4271.                         "allocation_id": {
  4272.                             "id": "gVY5ILqzTQ-6UoeEeTfzPA"
  4273.                         },
  4274.                         "unassigned_info": {
  4275.                             "reason": "MANUAL_ALLOCATION",
  4276.                             "at": "2019-03-13T11:53:43.357Z",
  4277.                             "delayed": false,
  4278.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/3/translog/translog-102.tlog: Device or resource busy]; ",
  4279.                             "allocation_status": "deciders_no"
  4280.                         }
  4281.                     },
  4282.                     {
  4283.                         "state": "INITIALIZING",
  4284.                         "primary": true,
  4285.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4286.                         "relocating_node": null,
  4287.                         "shard": 1,
  4288.                         "index": "kpi_range",
  4289.                         "recovery_source": {
  4290.                             "type": "EXISTING_STORE",
  4291.                             "bootstrap_new_history_uuid": false
  4292.                         },
  4293.                         "allocation_id": {
  4294.                             "id": "9527UT5cRDOHND75XliAvQ"
  4295.                         },
  4296.                         "unassigned_info": {
  4297.                             "reason": "MANUAL_ALLOCATION",
  4298.                             "at": "2019-03-13T11:53:43.354Z",
  4299.                             "delayed": false,
  4300.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/1/translog/translog-105.tlog: Device or resource busy]; ",
  4301.                             "allocation_status": "deciders_no"
  4302.                         }
  4303.                     },
  4304.                     {
  4305.                         "state": "INITIALIZING",
  4306.                         "primary": true,
  4307.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4308.                         "relocating_node": null,
  4309.                         "shard": 4,
  4310.                         "index": "kpi_range",
  4311.                         "recovery_source": {
  4312.                             "type": "EXISTING_STORE",
  4313.                             "bootstrap_new_history_uuid": false
  4314.                         },
  4315.                         "allocation_id": {
  4316.                             "id": "OMpauaX6RpOWswM3oHuQ7g"
  4317.                         },
  4318.                         "unassigned_info": {
  4319.                             "reason": "MANUAL_ALLOCATION",
  4320.                             "at": "2019-03-13T11:53:43.455Z",
  4321.                             "delayed": false,
  4322.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/4/translog/translog-90.tlog: Device or resource busy]; ",
  4323.                             "allocation_status": "deciders_no"
  4324.                         }
  4325.                     },
  4326.                     {
  4327.                         "state": "INITIALIZING",
  4328.                         "primary": true,
  4329.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4330.                         "relocating_node": null,
  4331.                         "shard": 0,
  4332.                         "index": "kpi_range",
  4333.                         "recovery_source": {
  4334.                             "type": "EXISTING_STORE",
  4335.                             "bootstrap_new_history_uuid": false
  4336.                         },
  4337.                         "allocation_id": {
  4338.                             "id": "Mvtl6yVDRXyixRz0jESXXw"
  4339.                         },
  4340.                         "unassigned_info": {
  4341.                             "reason": "MANUAL_ALLOCATION",
  4342.                             "at": "2019-03-13T11:53:43.793Z",
  4343.                             "delayed": false,
  4344.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_range][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/hcNFjqwXQRO7U6YctiK8Ng/0/translog/translog-104.tlog: Device or resource busy]; ",
  4345.                             "allocation_status": "deciders_no"
  4346.                         }
  4347.                     },
  4348.                     {
  4349.                         "state": "INITIALIZING",
  4350.                         "primary": true,
  4351.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4352.                         "relocating_node": null,
  4353.                         "shard": 4,
  4354.                         "index": "cpi_evaluation_platform",
  4355.                         "recovery_source": {
  4356.                             "type": "EXISTING_STORE",
  4357.                             "bootstrap_new_history_uuid": false
  4358.                         },
  4359.                         "allocation_id": {
  4360.                             "id": "fktp0t03T12rpcA5v9InqA"
  4361.                         },
  4362.                         "unassigned_info": {
  4363.                             "reason": "MANUAL_ALLOCATION",
  4364.                             "at": "2019-03-13T11:53:43.386Z",
  4365.                             "delayed": false,
  4366.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/4/translog/translog-7.tlog: Device or resource busy]; ",
  4367.                             "allocation_status": "deciders_no"
  4368.                         }
  4369.                     },
  4370.                     {
  4371.                         "state": "INITIALIZING",
  4372.                         "primary": true,
  4373.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4374.                         "relocating_node": null,
  4375.                         "shard": 3,
  4376.                         "index": "cpi_evaluation_platform",
  4377.                         "recovery_source": {
  4378.                             "type": "EXISTING_STORE",
  4379.                             "bootstrap_new_history_uuid": false
  4380.                         },
  4381.                         "allocation_id": {
  4382.                             "id": "TgFZ8EaMRyG7nNLq-qOkoA"
  4383.                         },
  4384.                         "unassigned_info": {
  4385.                             "reason": "MANUAL_ALLOCATION",
  4386.                             "at": "2019-03-13T11:53:43.387Z",
  4387.                             "delayed": false,
  4388.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/3/translog/translog-7.tlog: Device or resource busy]; ",
  4389.                             "allocation_status": "deciders_no"
  4390.                         }
  4391.                     },
  4392.                     {
  4393.                         "state": "INITIALIZING",
  4394.                         "primary": true,
  4395.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4396.                         "relocating_node": null,
  4397.                         "shard": 1,
  4398.                         "index": "cpi_evaluation_platform",
  4399.                         "recovery_source": {
  4400.                             "type": "EXISTING_STORE",
  4401.                             "bootstrap_new_history_uuid": false
  4402.                         },
  4403.                         "allocation_id": {
  4404.                             "id": "57rd8wXARIuEHyWvFLrRQA"
  4405.                         },
  4406.                         "unassigned_info": {
  4407.                             "reason": "MANUAL_ALLOCATION",
  4408.                             "at": "2019-03-13T11:53:43.386Z",
  4409.                             "delayed": false,
  4410.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/1/translog/translog-7.tlog: Device or resource busy]; ",
  4411.                             "allocation_status": "deciders_no"
  4412.                         }
  4413.                     },
  4414.                     {
  4415.                         "state": "INITIALIZING",
  4416.                         "primary": true,
  4417.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4418.                         "relocating_node": null,
  4419.                         "shard": 2,
  4420.                         "index": "cpi_evaluation_platform",
  4421.                         "recovery_source": {
  4422.                             "type": "EXISTING_STORE",
  4423.                             "bootstrap_new_history_uuid": false
  4424.                         },
  4425.                         "allocation_id": {
  4426.                             "id": "ZsUSDP8QSuGB_saz6K1iEg"
  4427.                         },
  4428.                         "unassigned_info": {
  4429.                             "reason": "MANUAL_ALLOCATION",
  4430.                             "at": "2019-03-13T11:53:43.387Z",
  4431.                             "delayed": false,
  4432.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/2/translog/translog-7.tlog: Device or resource busy]; ",
  4433.                             "allocation_status": "deciders_no"
  4434.                         }
  4435.                     },
  4436.                     {
  4437.                         "state": "INITIALIZING",
  4438.                         "primary": true,
  4439.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4440.                         "relocating_node": null,
  4441.                         "shard": 0,
  4442.                         "index": "cpi_evaluation_platform",
  4443.                         "recovery_source": {
  4444.                             "type": "EXISTING_STORE",
  4445.                             "bootstrap_new_history_uuid": false
  4446.                         },
  4447.                         "allocation_id": {
  4448.                             "id": "S0HIjE2XR2C8V4xl4w1_SQ"
  4449.                         },
  4450.                         "unassigned_info": {
  4451.                             "reason": "MANUAL_ALLOCATION",
  4452.                             "at": "2019-03-13T11:53:43.386Z",
  4453.                             "delayed": false,
  4454.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_evaluation_platform][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/7HGDb_gKRTSm9JN5odrHkw/0/translog/translog-8.tlog: Device or resource busy]; ",
  4455.                             "allocation_status": "deciders_no"
  4456.                         }
  4457.                     },
  4458.                     {
  4459.                         "state": "STARTED",
  4460.                         "primary": true,
  4461.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4462.                         "relocating_node": null,
  4463.                         "shard": 0,
  4464.                         "index": ".monitoring-es-6-2019.03.13",
  4465.                         "allocation_id": {
  4466.                             "id": "AhF1RO9cTMCmSKRYAyBeTg"
  4467.                         }
  4468.                     },
  4469.                     {
  4470.                         "state": "STARTED",
  4471.                         "primary": true,
  4472.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4473.                         "relocating_node": null,
  4474.                         "shard": 0,
  4475.                         "index": ".monitoring-es-6-2019.03.12",
  4476.                         "allocation_id": {
  4477.                             "id": "eTHg2blsRM6iOF5y2rcTzw"
  4478.                         }
  4479.                     },
  4480.                     {
  4481.                         "state": "INITIALIZING",
  4482.                         "primary": true,
  4483.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4484.                         "relocating_node": null,
  4485.                         "shard": 3,
  4486.                         "index": "cpi_customer_launches",
  4487.                         "recovery_source": {
  4488.                             "type": "EXISTING_STORE",
  4489.                             "bootstrap_new_history_uuid": false
  4490.                         },
  4491.                         "allocation_id": {
  4492.                             "id": "U6RWGHiuTMaEYbTCUgKbsw"
  4493.                         },
  4494.                         "unassigned_info": {
  4495.                             "reason": "MANUAL_ALLOCATION",
  4496.                             "at": "2019-03-13T11:53:43.401Z",
  4497.                             "delayed": false,
  4498.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/3/translog/translog-7.tlog: Device or resource busy]; ",
  4499.                             "allocation_status": "deciders_no"
  4500.                         }
  4501.                     },
  4502.                     {
  4503.                         "state": "INITIALIZING",
  4504.                         "primary": true,
  4505.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4506.                         "relocating_node": null,
  4507.                         "shard": 2,
  4508.                         "index": "cpi_customer_launches",
  4509.                         "recovery_source": {
  4510.                             "type": "EXISTING_STORE",
  4511.                             "bootstrap_new_history_uuid": false
  4512.                         },
  4513.                         "allocation_id": {
  4514.                             "id": "BlqmvS3nTTyx3lUGf_GUMA"
  4515.                         },
  4516.                         "unassigned_info": {
  4517.                             "reason": "MANUAL_ALLOCATION",
  4518.                             "at": "2019-03-13T11:53:43.392Z",
  4519.                             "delayed": false,
  4520.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/2/translog/translog-7.tlog: Device or resource busy]; ",
  4521.                             "allocation_status": "deciders_no"
  4522.                         }
  4523.                     },
  4524.                     {
  4525.                         "state": "INITIALIZING",
  4526.                         "primary": true,
  4527.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4528.                         "relocating_node": null,
  4529.                         "shard": 1,
  4530.                         "index": "cpi_customer_launches",
  4531.                         "recovery_source": {
  4532.                             "type": "EXISTING_STORE",
  4533.                             "bootstrap_new_history_uuid": false
  4534.                         },
  4535.                         "allocation_id": {
  4536.                             "id": "beLiWqnwT7ax9_k9-xUwyw"
  4537.                         },
  4538.                         "unassigned_info": {
  4539.                             "reason": "MANUAL_ALLOCATION",
  4540.                             "at": "2019-03-13T11:53:43.391Z",
  4541.                             "delayed": false,
  4542.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/1/translog/translog-7.tlog: Device or resource busy]; ",
  4543.                             "allocation_status": "deciders_no"
  4544.                         }
  4545.                     },
  4546.                     {
  4547.                         "state": "INITIALIZING",
  4548.                         "primary": true,
  4549.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4550.                         "relocating_node": null,
  4551.                         "shard": 4,
  4552.                         "index": "cpi_customer_launches",
  4553.                         "recovery_source": {
  4554.                             "type": "EXISTING_STORE",
  4555.                             "bootstrap_new_history_uuid": false
  4556.                         },
  4557.                         "allocation_id": {
  4558.                             "id": "Ck5FzjJ-SrKe14OePngUOw"
  4559.                         },
  4560.                         "unassigned_info": {
  4561.                             "reason": "MANUAL_ALLOCATION",
  4562.                             "at": "2019-03-13T11:53:43.387Z",
  4563.                             "delayed": false,
  4564.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/4/translog/translog-7.tlog: Device or resource busy]; ",
  4565.                             "allocation_status": "deciders_no"
  4566.                         }
  4567.                     },
  4568.                     {
  4569.                         "state": "INITIALIZING",
  4570.                         "primary": true,
  4571.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4572.                         "relocating_node": null,
  4573.                         "shard": 0,
  4574.                         "index": "cpi_customer_launches",
  4575.                         "recovery_source": {
  4576.                             "type": "EXISTING_STORE",
  4577.                             "bootstrap_new_history_uuid": false
  4578.                         },
  4579.                         "allocation_id": {
  4580.                             "id": "a-dm5eNqTQKRSScGhi9LTQ"
  4581.                         },
  4582.                         "unassigned_info": {
  4583.                             "reason": "MANUAL_ALLOCATION",
  4584.                             "at": "2019-03-13T11:53:43.391Z",
  4585.                             "delayed": false,
  4586.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[cpi_customer_launches][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/ne1CxVTJSB-5OcbzOmZsCA/0/translog/translog-8.tlog: Device or resource busy]; ",
  4587.                             "allocation_status": "deciders_no"
  4588.                         }
  4589.                     },
  4590.                     {
  4591.                         "state": "INITIALIZING",
  4592.                         "primary": true,
  4593.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4594.                         "relocating_node": null,
  4595.                         "shard": 2,
  4596.                         "index": "resource_allocation",
  4597.                         "recovery_source": {
  4598.                             "type": "EXISTING_STORE",
  4599.                             "bootstrap_new_history_uuid": false
  4600.                         },
  4601.                         "allocation_id": {
  4602.                             "id": "9y71pTcpRiamacM69gvEdg"
  4603.                         },
  4604.                         "unassigned_info": {
  4605.                             "reason": "MANUAL_ALLOCATION",
  4606.                             "at": "2019-03-13T11:53:43.370Z",
  4607.                             "delayed": false,
  4608.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/2/translog/translog-11.tlog: Device or resource busy]; ",
  4609.                             "allocation_status": "deciders_no"
  4610.                         }
  4611.                     },
  4612.                     {
  4613.                         "state": "INITIALIZING",
  4614.                         "primary": true,
  4615.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4616.                         "relocating_node": null,
  4617.                         "shard": 4,
  4618.                         "index": "resource_allocation",
  4619.                         "recovery_source": {
  4620.                             "type": "EXISTING_STORE",
  4621.                             "bootstrap_new_history_uuid": false
  4622.                         },
  4623.                         "allocation_id": {
  4624.                             "id": "r_PFSwNfSLKtSX61NEY4Iw"
  4625.                         },
  4626.                         "unassigned_info": {
  4627.                             "reason": "MANUAL_ALLOCATION",
  4628.                             "at": "2019-03-13T11:53:43.371Z",
  4629.                             "delayed": false,
  4630.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/4/translog/translog-12.tlog: Device or resource busy]; ",
  4631.                             "allocation_status": "deciders_no"
  4632.                         }
  4633.                     },
  4634.                     {
  4635.                         "state": "INITIALIZING",
  4636.                         "primary": true,
  4637.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4638.                         "relocating_node": null,
  4639.                         "shard": 1,
  4640.                         "index": "resource_allocation",
  4641.                         "recovery_source": {
  4642.                             "type": "EXISTING_STORE",
  4643.                             "bootstrap_new_history_uuid": false
  4644.                         },
  4645.                         "allocation_id": {
  4646.                             "id": "BDO374BBSECNuPuowWeIyQ"
  4647.                         },
  4648.                         "unassigned_info": {
  4649.                             "reason": "MANUAL_ALLOCATION",
  4650.                             "at": "2019-03-13T11:53:43.370Z",
  4651.                             "delayed": false,
  4652.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/1/translog/translog-12.tlog: Device or resource busy]; ",
  4653.                             "allocation_status": "deciders_no"
  4654.                         }
  4655.                     },
  4656.                     {
  4657.                         "state": "INITIALIZING",
  4658.                         "primary": true,
  4659.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4660.                         "relocating_node": null,
  4661.                         "shard": 3,
  4662.                         "index": "resource_allocation",
  4663.                         "recovery_source": {
  4664.                             "type": "EXISTING_STORE",
  4665.                             "bootstrap_new_history_uuid": false
  4666.                         },
  4667.                         "allocation_id": {
  4668.                             "id": "8Q2M5H5iQY6inQqtxHLWjQ"
  4669.                         },
  4670.                         "unassigned_info": {
  4671.                             "reason": "MANUAL_ALLOCATION",
  4672.                             "at": "2019-03-13T11:53:43.371Z",
  4673.                             "delayed": false,
  4674.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/3/translog/translog-13.tlog: Device or resource busy]; ",
  4675.                             "allocation_status": "deciders_no"
  4676.                         }
  4677.                     },
  4678.                     {
  4679.                         "state": "INITIALIZING",
  4680.                         "primary": true,
  4681.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4682.                         "relocating_node": null,
  4683.                         "shard": 0,
  4684.                         "index": "resource_allocation",
  4685.                         "recovery_source": {
  4686.                             "type": "EXISTING_STORE",
  4687.                             "bootstrap_new_history_uuid": false
  4688.                         },
  4689.                         "allocation_id": {
  4690.                             "id": "e_B4Q0osRqinTWGcJKNvKA"
  4691.                         },
  4692.                         "unassigned_info": {
  4693.                             "reason": "MANUAL_ALLOCATION",
  4694.                             "at": "2019-03-13T11:53:43.370Z",
  4695.                             "delayed": false,
  4696.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[resource_allocation][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/cXHKNaVFSu6ju11wFhQ_LA/0/translog/translog-11.tlog: Device or resource busy]; ",
  4697.                             "allocation_status": "deciders_no"
  4698.                         }
  4699.                     },
  4700.                     {
  4701.                         "state": "STARTED",
  4702.                         "primary": true,
  4703.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4704.                         "relocating_node": null,
  4705.                         "shard": 3,
  4706.                         "index": "test_idx",
  4707.                         "allocation_id": {
  4708.                             "id": "jQ0soiOJRyGkLFQkSaA19g"
  4709.                         }
  4710.                     },
  4711.                     {
  4712.                         "state": "STARTED",
  4713.                         "primary": true,
  4714.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4715.                         "relocating_node": null,
  4716.                         "shard": 4,
  4717.                         "index": "test_idx",
  4718.                         "allocation_id": {
  4719.                             "id": "cRParzLmRN26w9V_GEcsVw"
  4720.                         }
  4721.                     },
  4722.                     {
  4723.                         "state": "STARTED",
  4724.                         "primary": true,
  4725.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4726.                         "relocating_node": null,
  4727.                         "shard": 1,
  4728.                         "index": "test_idx",
  4729.                         "allocation_id": {
  4730.                             "id": "4nGQrlN8RD6N39cn5sVACg"
  4731.                         }
  4732.                     },
  4733.                     {
  4734.                         "state": "STARTED",
  4735.                         "primary": true,
  4736.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4737.                         "relocating_node": null,
  4738.                         "shard": 2,
  4739.                         "index": "test_idx",
  4740.                         "allocation_id": {
  4741.                             "id": "baUgjWI8Q5WkUz_K-mn1vA"
  4742.                         }
  4743.                     },
  4744.                     {
  4745.                         "state": "STARTED",
  4746.                         "primary": true,
  4747.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4748.                         "relocating_node": null,
  4749.                         "shard": 0,
  4750.                         "index": "test_idx",
  4751.                         "allocation_id": {
  4752.                             "id": "QjDPuKYJRYCNIu-2XKDP8A"
  4753.                         }
  4754.                     },
  4755.                     {
  4756.                         "state": "INITIALIZING",
  4757.                         "primary": true,
  4758.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4759.                         "relocating_node": null,
  4760.                         "shard": 3,
  4761.                         "index": "kpi_direct_leak",
  4762.                         "recovery_source": {
  4763.                             "type": "EXISTING_STORE",
  4764.                             "bootstrap_new_history_uuid": false
  4765.                         },
  4766.                         "allocation_id": {
  4767.                             "id": "S1HHj7g6Qk-QmrOefAVAmA"
  4768.                         },
  4769.                         "unassigned_info": {
  4770.                             "reason": "MANUAL_ALLOCATION",
  4771.                             "at": "2019-03-13T11:53:43.364Z",
  4772.                             "delayed": false,
  4773.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][3]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/3/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/3/translog/translog-15.tlog: Device or resource busy]; ",
  4774.                             "allocation_status": "deciders_no"
  4775.                         }
  4776.                     },
  4777.                     {
  4778.                         "state": "INITIALIZING",
  4779.                         "primary": true,
  4780.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4781.                         "relocating_node": null,
  4782.                         "shard": 2,
  4783.                         "index": "kpi_direct_leak",
  4784.                         "recovery_source": {
  4785.                             "type": "EXISTING_STORE",
  4786.                             "bootstrap_new_history_uuid": false
  4787.                         },
  4788.                         "allocation_id": {
  4789.                             "id": "MnFXt53nS-WjDtpPhmZUbg"
  4790.                         },
  4791.                         "unassigned_info": {
  4792.                             "reason": "MANUAL_ALLOCATION",
  4793.                             "at": "2019-03-13T11:53:43.368Z",
  4794.                             "delayed": false,
  4795.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][2]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/2/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/2/translog/translog-15.tlog: Device or resource busy]; ",
  4796.                             "allocation_status": "deciders_no"
  4797.                         }
  4798.                     },
  4799.                     {
  4800.                         "state": "INITIALIZING",
  4801.                         "primary": true,
  4802.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4803.                         "relocating_node": null,
  4804.                         "shard": 1,
  4805.                         "index": "kpi_direct_leak",
  4806.                         "recovery_source": {
  4807.                             "type": "EXISTING_STORE",
  4808.                             "bootstrap_new_history_uuid": false
  4809.                         },
  4810.                         "allocation_id": {
  4811.                             "id": "Ql2FVpztTrqUPyOJ-KHBQA"
  4812.                         },
  4813.                         "unassigned_info": {
  4814.                             "reason": "MANUAL_ALLOCATION",
  4815.                             "at": "2019-03-13T11:53:43.364Z",
  4816.                             "delayed": false,
  4817.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][1]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/1/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/1/translog/translog-15.tlog: Device or resource busy]; ",
  4818.                             "allocation_status": "deciders_no"
  4819.                         }
  4820.                     },
  4821.                     {
  4822.                         "state": "INITIALIZING",
  4823.                         "primary": true,
  4824.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4825.                         "relocating_node": null,
  4826.                         "shard": 4,
  4827.                         "index": "kpi_direct_leak",
  4828.                         "recovery_source": {
  4829.                             "type": "EXISTING_STORE",
  4830.                             "bootstrap_new_history_uuid": false
  4831.                         },
  4832.                         "allocation_id": {
  4833.                             "id": "AC8_AbIuSOGNxD7yfEK76Q"
  4834.                         },
  4835.                         "unassigned_info": {
  4836.                             "reason": "MANUAL_ALLOCATION",
  4837.                             "at": "2019-03-13T11:53:43.369Z",
  4838.                             "delayed": false,
  4839.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][4]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/4/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/4/translog/translog-15.tlog: Device or resource busy]; ",
  4840.                             "allocation_status": "deciders_no"
  4841.                         }
  4842.                     },
  4843.                     {
  4844.                         "state": "INITIALIZING",
  4845.                         "primary": true,
  4846.                         "node": "d7RZ_TVwQpipnNIAXuqiGg",
  4847.                         "relocating_node": null,
  4848.                         "shard": 0,
  4849.                         "index": "kpi_direct_leak",
  4850.                         "recovery_source": {
  4851.                             "type": "EXISTING_STORE",
  4852.                             "bootstrap_new_history_uuid": false
  4853.                         },
  4854.                         "allocation_id": {
  4855.                             "id": "znPLcAD1RLavtUFVXDnRcw"
  4856.                         },
  4857.                         "unassigned_info": {
  4858.                             "reason": "MANUAL_ALLOCATION",
  4859.                             "at": "2019-03-13T11:53:43.364Z",
  4860.                             "delayed": false,
  4861.                             "details": "failed shard on node [d7RZ_TVwQpipnNIAXuqiGg]: failed recovery, failure RecoveryFailedException[[kpi_direct_leak][0]: Recovery failed on {threadripper-1}{d7RZ_TVwQpipnNIAXuqiGg}{TW3qKckzRm-BTsg3C1JepQ}{10.0.2.15}{10.0.2.15:9300}{ml.machine_memory=8376053760, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}]; nested: IndexShardRecoveryException[failed recovery]; nested: TranslogCorruptedException[translog from source [/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/0/translog] is corrupted]; nested: FileSystemException[/nas/elastic/elasticsearch/data/nodes/0/indices/OsBZsa9qSzejyNqKsohbHA/0/translog/translog-15.tlog: Device or resource busy]; ",
  4862.                             "allocation_status": "deciders_no"
  4863.                         }
  4864.                     }
  4865.                 ]
  4866.             }
  4867.         },
  4868.         "restore": {
  4869.             "snapshots": []
  4870.         },
  4871.         "snapshots": {
  4872.             "snapshots": []
  4873.         },
  4874.         "security_tokens": {},
  4875.         "snapshot_deletions": {
  4876.             "snapshot_deletions": []
  4877.         }
  4878.     }
  4879. }
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement
Public Pastes
Advertisement
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy.  OK, I Understand
Not a member of Pastebin yet?
Sign Up, it unlocks many cool features!