API tools faq
paste
Advertisement
cs-mshah

debug-internal.log

cs-mshah
May 19th, 2023
800
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Bash 355.40 KB | None | 0 0
raw download clone embed print report
  1. 2023-05-12 10:17:03,600 INFO    StreamThr :3212312 [internal.py:wandb_internal():86] W&B internal server running at pid: 3212312, started at: 2023-05-12 10:17:03.600608
  2. 2023-05-12 10:17:03,602 DEBUG   HandlerThread:3212312 [handler.py:handle_request():144] handle_request: status
  3. 2023-05-12 10:17:03,609 INFO    WriterThread:3212312 [datastore.py:open_for_write():85] open: /home/dgxadmin/Manan/CrossDomainGCD/OpenLDN/wandb/offline-run-20230512_101703-wzzbma81/run-wzzbma81.wandb
  4. 2023-05-12 10:17:03,705 DEBUG   HandlerThread:3212312 [handler.py:handle_request():144] handle_request: run_start
  5. 2023-05-12 10:17:03,716 DEBUG   HandlerThread:3212312 [system_info.py:__init__():31] System info init
  6. 2023-05-12 10:17:03,716 DEBUG   HandlerThread:3212312 [system_info.py:__init__():46] System info init done
  7. 2023-05-12 10:17:03,716 INFO    HandlerThread:3212312 [system_monitor.py:start():181] Starting system monitor
  8. 2023-05-12 10:17:03,716 INFO    SystemMonitor:3212312 [system_monitor.py:_start():145] Starting system asset monitoring threads
  9. 2023-05-12 10:17:03,716 INFO    HandlerThread:3212312 [system_monitor.py:probe():201] Collecting system info
  10. 2023-05-12 10:17:03,717 INFO    SystemMonitor:3212312 [interfaces.py:start():190] Started cpu monitoring
  11. 2023-05-12 10:17:03,718 INFO    SystemMonitor:3212312 [interfaces.py:start():190] Started disk monitoring
  12. 2023-05-12 10:17:03,719 INFO    SystemMonitor:3212312 [interfaces.py:start():190] Started gpu monitoring
  13. 2023-05-12 10:17:03,720 INFO    SystemMonitor:3212312 [interfaces.py:start():190] Started memory monitoring
  14. 2023-05-12 10:17:03,721 INFO    SystemMonitor:3212312 [interfaces.py:start():190] Started network monitoring
  15. 2023-05-12 10:17:03,825 DEBUG   HandlerThread:3212312 [system_info.py:probe():195] Probing system
  16. 2023-05-12 10:17:03,830 DEBUG   HandlerThread:3212312 [system_info.py:_probe_git():180] Probing git
  17. 2023-05-12 10:17:03,840 DEBUG   HandlerThread:3212312 [system_info.py:_probe_git():188] Probing git done
  18. 2023-05-12 10:17:03,840 DEBUG   HandlerThread:3212312 [system_info.py:probe():240] Probing system done
  19. 2023-05-12 10:17:03,840 DEBUG   HandlerThread:3212312 [system_monitor.py:probe():210] {'os': 'Linux-5.4.0-113-generic-x86_64-with-glibc2.31', 'python': '3.9.16', 'heartbeatAt': '2023-05-12T04:47:03.825426', 'startedAt': '2023-05-12T04:47:03.591073', 'docker': None, 'cuda': None, 'args': (), 'state': 'running', 'program': '/home/dgxadmin/Manan/CrossDomainGCD/OpenLDN/train.py', 'codePath': 'train.py', 'git': {'remote': None, 'commit': 'fa41a69d66fc778fa4d404d86f55826b114a36c0'}, 'email': 'mt-shah@hotmail.com', 'root': '/home/dgxadmin/Manan/CrossDomainGCD/OpenLDN', 'host': 'iitb-dgx1.iitb.ac.in', 'username': 'dgxadmin', 'executable': '/home/dgxadmin/miniconda3/envs/openldn/bin/python', 'cpu_count': 128, 'cpu_count_logical': 256, 'cpu_freq': {'current': 3275.8994296875003, 'min': 1500.0, 'max': 2250.0}, 'cpu_freq_per_core': [{'current': 3340.132, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.594, 'min': 1500.0, 'max': 2250.0}, {'current': 3354.125, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.604, 'min': 1500.0, 'max': 2250.0}, {'current': 3345.006, 'min': 1500.0, 'max': 2250.0}, {'current': 3346.233, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.793, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.783, 'min': 1500.0, 'max': 2250.0}, {'current': 3351.218, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.663, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.773, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.813, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.92, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.686, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.794, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.85, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.893, 'min': 1500.0, 'max': 2250.0}, {'current': 3396.957, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.965, 'min': 1500.0, 'max': 2250.0}, {'current': 3385.055, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.94, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.764, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.186, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.923, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.648, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.703, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.72, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.824, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.783, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.797, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.581, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.716, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.816, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.955, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.756, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.656, 'min': 1500.0, 'max': 2250.0}, {'current': 3382.265, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.963, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.941, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.944, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.04, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.145, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.03, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.988, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.813, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.937, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.822, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.031, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.817, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.806, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.711, 'min': 1500.0, 'max': 2250.0}, {'current': 3382.333, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.751, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.558, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.736, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.646, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.698, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.765, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.851, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.98, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.93, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.84, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.874, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.818, 'min': 1500.0, 'max': 2250.0}, {'current': 2467.421, 'min': 1500.0, 'max': 2250.0}, {'current': 3386.166, 'min': 1500.0, 'max': 2250.0}, {'current': 3246.804, 'min': 1500.0, 'max': 2250.0}, {'current': 2514.549, 'min': 1500.0, 'max': 2250.0}, {'current': 3402.629, 'min': 1500.0, 'max': 2250.0}, {'current': 3191.71, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.362, 'min': 1500.0, 'max': 2250.0}, {'current': 3397.217, 'min': 1500.0, 'max': 2250.0}, {'current': 3251.863, 'min': 1500.0, 'max': 2250.0}, {'current': 3221.92, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.902, 'min': 1500.0, 'max': 2250.0}, {'current': 3382.147, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.065, 'min': 1500.0, 'max': 2250.0}, {'current': 3235.427, 'min': 1500.0, 'max': 2250.0}, {'current': 2511.354, 'min': 1500.0, 'max': 2250.0}, {'current': 3235.716, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.245, 'min': 1500.0, 'max': 2250.0}, {'current': 2690.366, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.762, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.683, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.181, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.53, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.076, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.03, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.73, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.54, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.655, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.668, 'min': 1500.0, 'max': 2250.0}, {'current': 2544.777, 'min': 1500.0, 'max': 2250.0}, {'current': 3382.186, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.649, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.044, 'min': 1500.0, 'max': 2250.0}, {'current': 2576.845, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.467, 'min': 1500.0, 'max': 2250.0}, {'current': 2545.414, 'min': 1500.0, 'max': 2250.0}, {'current': 2550.633, 'min': 1500.0, 'max': 2250.0}, {'current': 3241.543, 'min': 1500.0, 'max': 2250.0}, {'current': 3331.893, 'min': 1500.0, 'max': 2250.0}, {'current': 3224.853, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.302, 'min': 1500.0, 'max': 2250.0}, {'current': 3218.565, 'min': 1500.0, 'max': 2250.0}, {'current': 2542.237, 'min': 1500.0, 'max': 2250.0}, {'current': 2544.797, 'min': 1500.0, 'max': 2250.0}, {'current': 3394.279, 'min': 1500.0, 'max': 2250.0}, {'current': 2536.981, 'min': 1500.0, 'max': 2250.0}, {'current': 2530.028, 'min': 1500.0, 'max': 2250.0}, {'current': 3220.719, 'min': 1500.0, 'max': 2250.0}, {'current': 3365.915, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.584, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.586, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.476, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.588, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.628, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.437, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.572, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.434, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.799, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.623, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.78, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.692, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.797, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.637, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.471, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.716, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.398, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.352, 'min': 1500.0, 'max': 2250.0}, {'current': 3353.403, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.606, 'min': 1500.0, 'max': 2250.0}, {'current': 3345.036, 'min': 1500.0, 'max': 2250.0}, {'current': 3345.353, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.432, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.796, 'min': 1500.0, 'max': 2250.0}, {'current': 3352.268, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.669, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.775, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.817, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.945, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.742, 'min': 1500.0, 'max': 2250.0}, {'current': 3398.372, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.879, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.505, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.995, 'min': 1500.0, 'max': 2250.0}, {'current': 3396.295, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.487, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.726, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.045, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.009, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.97, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.854, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.389, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.783, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.501, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.826, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.669, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.239, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.756, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.524, 'min': 1500.0, 'max': 2250.0}, {'current': 3386.793, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.443, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.366, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.052, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.009, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.015, 'min': 1500.0, 'max': 2250.0}, {'current': 2396.984, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.132, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.203, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.096, 'min': 1500.0, 'max': 2250.0}, {'current': 3387.946, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.512, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.932, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.783, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.087, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.852, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.849, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.235, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.917, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.758, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.579, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.732, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.646, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.747, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.804, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.886, 'min': 1500.0, 'max': 2250.0}, {'current': 3395.517, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.013, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.922, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.932, 'min': 1500.0, 'max': 2250.0}, {'current': 3378.566, 'min': 1500.0, 'max': 2250.0}, {'current': 3385.142, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.266, 'min': 1500.0, 'max': 2250.0}, {'current': 3382.398, 'min': 1500.0, 'max': 2250.0}, {'current': 3374.999, 'min': 1500.0, 'max': 2250.0}, {'current': 3376.275, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.057, 'min': 1500.0, 'max': 2250.0}, {'current': 3406.255, 'min': 1500.0, 'max': 2250.0}, {'current': 3401.237, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.842, 'min': 1500.0, 'max': 2250.0}, {'current': 3383.218, 'min': 1500.0, 'max': 2250.0}, {'current': 3397.911, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.942, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.559, 'min': 1500.0, 'max': 2250.0}, {'current': 3402.693, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.199, 'min': 1500.0, 'max': 2250.0}, {'current': 3384.868, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.775, 'min': 1500.0, 'max': 2250.0}, {'current': 2830.247, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.399, 'min': 1500.0, 'max': 2250.0}, {'current': 3247.708, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.936, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.066, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.951, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.427, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.742, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.532, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.573, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.515, 'min': 1500.0, 'max': 2250.0}, {'current': 3341.813, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.296, 'min': 1500.0, 'max': 2250.0}, {'current': 3392.444, 'min': 1500.0, 'max': 2250.0}, {'current': 3390.804, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.825, 'min': 1500.0, 'max': 2250.0}, {'current': 3293.044, 'min': 1500.0, 'max': 2250.0}, {'current': 3385.543, 'min': 1500.0, 'max': 2250.0}, {'current': 3382.855, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.09, 'min': 1500.0, 'max': 2250.0}, {'current': 3306.339, 'min': 1500.0, 'max': 2250.0}, {'current': 3388.943, 'min': 1500.0, 'max': 2250.0}, {'current': 3264.149, 'min': 1500.0, 'max': 2250.0}, {'current': 3133.909, 'min': 1500.0, 'max': 2250.0}, {'current': 2987.453, 'min': 1500.0, 'max': 2250.0}, {'current': 2956.033, 'min': 1500.0, 'max': 2250.0}, {'current': 2869.618, 'min': 1500.0, 'max': 2250.0}, {'current': 2839.385, 'min': 1500.0, 'max': 2250.0}, {'current': 3137.08, 'min': 1500.0, 'max': 2250.0}, {'current': 3087.852, 'min': 1500.0, 'max': 2250.0}, {'current': 3166.196, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.739, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.775, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.594, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.715, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.176, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.033, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.143, 'min': 1500.0, 'max': 2250.0}, {'current': 3391.007, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.567, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.568, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.607, 'min': 1500.0, 'max': 2250.0}, {'current': 3389.689, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.479, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.696, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.608, 'min': 1500.0, 'max': 2250.0}, {'current': 3393.699, 'min': 1500.0, 'max': 2250.0}], 'disk': {'total': 1757.8287315368652, 'used': 810.4739990234375}, 'gpu': 'NVIDIA A100-SXM4-80GB', 'gpu_count': 8, 'gpu_devices': [{'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}, {'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}, {'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}, {'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}, {'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}, {'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}, {'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}, {'name': 'NVIDIA A100-SXM4-80GB', 'memory_total': 85198045184}], 'memory': {'total'
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement
Public Pastes
Advertisement
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy.  OK, I Understand
Not a member of Pastebin yet?
Sign Up, it unlocks many cool features!