SHARE
TWEET

Untitled

a guest Oct 21st, 2019 83 Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1.  
  2. ## new setup storage:{nfs,smb} perf
  3.  
  4. ###  Config
  5.  
  6.     host:
  7.       name: joust
  8.       motherboard:
  9.         name: Asus Maximus VIII Ranger
  10.         rev: '1'
  11.         bios_version: '0508'
  12.         bios_date: 08/10/2015
  13.  
  14.       storage:
  15.         drives:
  16.         - name: Samsung SSD 850 EVO 1TB
  17.         - name: Samsung SSD 850 EVO 1TB
  18.  
  19.     network:
  20.       cards:
  21.       - name: ConnectX EN 10GigE
  22.         speed: 10 Gb
  23.         phy: sfp+
  24.         bus:
  25.           type: pcie
  26.           version: 2
  27.           speed: x8
  28.           throughput: 4 GB
  29.  
  30. ###  Perf
  31.  
  32. #### Storage
  33.  
  34. Two SATA+ata attached Samsung SSD 850 EVO 1TB
  35.  
  36.     ata1: SATA max UDMA/133 abar m2048@0xdf44b000 port 0xdf44b100 irq 131
  37.     ata1: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
  38.     ata1.00: supports DRM functions and may not be fully accessible
  39.     ata1.00: disabling queued TRIM support
  40.     ata1.00: ATA-9: Samsung SSD 850 EVO 1TB, EMT02B6Q, max UDMA/133
  41.     ata1.00: 1953525168 sectors, multi 1: LBA48 NCQ (depth 32), AA
  42.     ata1.00: supports DRM functions and may not be fully accessible
  43.     ata1.00: disabling queued TRIM support
  44.     ata1.00: configured for UDMA/133
  45.     sd 0:0:0:0: [sda] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
  46.     sd 0:0:0:0: Attached scsi generic sg0 type 0
  47.     sd 0:0:0:0: [sda] Write Protect is off
  48.     sd 0:0:0:0: [sda] Mode Sense: 00 3a 00 00
  49.     sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
  50.     sd 0:0:0:0: [sda] supports TCG Opal
  51.  
  52. ZFS Striped vdev across two drives
  53.  
  54.       pool: storage-fast
  55.      state: ONLINE
  56.       scan: none requested
  57.     config:
  58.  
  59.     NAME                                           STATE     READ WRITE CKSUM
  60.     storage-fast                                   ONLINE       0     0     0
  61.       ata-Samsung_SSD_850_EVO_1TB_S2RENX0H518475E  ONLINE       0     0     0
  62.       ata-Samsung_SSD_850_EVO_1TB_S3PJNF0J803938R  ONLINE       0     0     0
  63.  
  64.     NAME          PROPERTY              VALUE                  SOURCE
  65.     storage-fast  type                  filesystem             -
  66.     storage-fast  creation              Sat Oct  5 15:09 2019  -
  67.     storage-fast  used                  167G                   -
  68.     storage-fast  available             1.59T                  -
  69.     storage-fast  referenced            167G                   -
  70.     storage-fast  compressratio         1.00x                  -
  71.     storage-fast  mounted               yes                    -
  72.     storage-fast  quota                 none                   default
  73.     storage-fast  reservation           none                   default
  74.     storage-fast  recordsize            128K                   default
  75.     storage-fast  mountpoint            /storage-fast          default
  76.     storage-fast  sharenfs              rw                     local
  77.     storage-fast  checksum              on                     default
  78.     storage-fast  compression           off                    default
  79.     storage-fast  atime                 on                     default
  80.     storage-fast  devices               on                     default
  81.     storage-fast  exec                  on                     default
  82.     storage-fast  setuid                on                     default
  83.     storage-fast  readonly              off                    default
  84.     storage-fast  zoned                 off                    default
  85.     storage-fast  snapdir               hidden                 default
  86.     storage-fast  aclinherit            restricted             default
  87.     storage-fast  createtxg             1                      -
  88.     storage-fast  canmount              on                     default
  89.     storage-fast  xattr                 on                     default
  90.     storage-fast  copies                1                      default
  91.     storage-fast  version               5                      -
  92.     storage-fast  utf8only              off                    -
  93.     storage-fast  normalization         none                   -
  94.     storage-fast  casesensitivity       sensitive              -
  95.     storage-fast  vscan                 off                    default
  96.     storage-fast  nbmand                off                    default
  97.     storage-fast  sharesmb              off                    default
  98.     storage-fast  refquota              none                   default
  99.     storage-fast  refreservation        none                   default
  100.     storage-fast  guid                  3939091147501142709    -
  101.     storage-fast  primarycache          all                    default
  102.     storage-fast  secondarycache        all                    default
  103.     storage-fast  usedbysnapshots       0B                     -
  104.     storage-fast  usedbydataset         167G                   -
  105.     storage-fast  usedbychildren        2.87M                  -
  106.     storage-fast  usedbyrefreservation  0B                     -
  107.     storage-fast  logbias               latency                default
  108.     storage-fast  dedup                 off                    default
  109.     storage-fast  mlslabel              none                   default
  110.     storage-fast  sync                  standard               default
  111.     storage-fast  dnodesize             legacy                 default
  112.     storage-fast  refcompressratio      1.00x                  -
  113.     storage-fast  written               167G                   -
  114.     storage-fast  logicalused           166G                   -
  115.     storage-fast  logicalreferenced     166G                   -
  116.     storage-fast  volmode               default                default
  117.     storage-fast  filesystem_limit      none                   default
  118.     storage-fast  snapshot_limit        none                   default
  119.     storage-fast  filesystem_count      none                   default
  120.     storage-fast  snapshot_count        none                   default
  121.     storage-fast  snapdev               hidden                 default
  122.     storage-fast  acltype               off                    default
  123.     storage-fast  context               none                   default
  124.     storage-fast  fscontext             none                   default
  125.     storage-fast  defcontext            none                   default
  126.     storage-fast  rootcontext           none                   default
  127.     storage-fast  relatime              off                    default
  128.     storage-fast  redundant_metadata    all                    default
  129.     storage-fast  overlay               off                    default
  130.  
  131. Local no fscache
  132.  
  133.     joust $ sudo sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; dd if=/storage-fast/win10.iso bs=1M >/dev/null
  134.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.59253 s, 1.1 GB/s
  135.  
  136. Local fscache
  137.  
  138.     joust $ dd if=/storage-fast/win10.iso bs=1M >/dev/null
  139.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.788005 s, 6.3 GB/s
  140.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.773618 s, 6.4 GB/s
  141.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.76383 s, 6.5 GB/s
  142.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.761465 s, 6.5 GB/s
  143.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.770135 s, 6.4 GB/s
  144.  
  145. #### pci-e x16 NVME card
  146.  
  147. Local no fscache
  148.  
  149.     joust $ sudo sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches';sudo dd if=/mnt/win10.iso bs=1M of=/dev/null
  150.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.86988 s, 2.6 GB/s
  151.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.86305 s, 2.7 GB/s
  152.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.87927 s, 2.6 GB/s
  153.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.85241 s, 2.7 GB/s
  154.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.92342 s, 2.6 GB/s
  155.  
  156. Local fscache
  157.  
  158.     joust $ sudo dd if=/mnt/win10.iso bs=1M of=/dev/null
  159.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.403291 s, 12.2 GB/s
  160.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.399411 s, 12.4 GB/s
  161.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.388781 s, 12.7 GB/s
  162.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.391618 s, 12.6 GB/s
  163.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.395524 s, 12.5 GB/s
  164.  
  165. #### pci-e 3x NVME Samsung 970 EVO in a RAIDZ
  166.  
  167. Local no fscache
  168.  
  169.     joust $ sudo sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches';sudo dd if=/storage-fast/win10.iso bs=1M of=/dev/null
  170.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.55233 s, 3.2 GB/s
  171.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.41235 s, 3.5 GB/s
  172.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.44231 s, 3.4 GB/s
  173.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 1.54468 s, 3.2 GB/s
  174.  
  175. Local fscache
  176.  
  177.     joust $ sudo dd if=/storge-fast/win10.iso bs=1M of=/dev/null
  178.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.80141 s, 6.2 GB/s
  179.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.802386 s, 6.2 GB/s
  180.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.824008 s, 6.0 GB/s
  181.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.783524 s, 6.3 GB/s
  182.  
  183. #### Network
  184.  
  185. Both hosts astrosmash (old) and joust (new) have the same cards
  186.  
  187.     - name: ConnectX EN 10GigE
  188.       speed: 10 Gb
  189.       driver: mlx4
  190.       firmware: '2.9.1000'
  191.       phy: sfp+
  192.       bus:
  193.         type: pcie
  194.         version: 2
  195.         speed: x8
  196.  
  197. Both hosts astrosmash and joust connect through a Quanta LB6M via SFP+
  198.  
  199. astrosmash$ iperf -s
  200. joust$ iperf3 -P4 -c 1.4
  201.  
  202.     [SUM]   0.00-7.08   sec  7.75 GBytes  9.41 Gbits/sec    0             sender
  203.  
  204. #### NFS
  205.  
  206. Copy /mnt/win10.iso (4.7GB) from joust to astrosmash with and without fscache.
  207.  
  208. NFS+ZFS export `/storage-fast` from joust mounted at `/mnt` on astrosmash:
  209.  
  210.     astrosmash $ mount -t nfs4 -o proto=tcp joust:/storage-fast /mnt
  211.  
  212. joust: no fscache
  213. astrosmash: no fscache
  214.  
  215.     joust $ sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
  216.     joust $
  217.     astrosmash $ sudo sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; dd if=/mnt/win10.iso bs=1M >/dev/null
  218.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.53154 s, 1.1 GB/s
  219.  
  220. joust: fscache
  221. astrosmash: no fscache
  222.  
  223.     joust $
  224.     astrosmash $ sudo sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; dd if=/mnt/win10.iso bs=1M >/dev/null
  225.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.24109 s, 1.2 GB/s
  226.  
  227. joust: fscache
  228. astrosmash: fscache
  229.  
  230.     joust $
  231.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  232.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.483307 s, 10.2 GB/s
  233.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  234.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.503694 s, 9.8 GB/s
  235.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  236.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.51277 s, 9.6 GB/s
  237.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  238.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.480163 s, 10.3 GB/s
  239.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  240.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.485577 s, 10.2 GB/s
  241.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  242.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.483307 s, 10.2 GB/s
  243.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  244.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 0.504308 s, 9.8 GB/s
  245.  
  246. #### CIFS
  247.  
  248. Copy /mnt/win10.iso (4.7GB) from joust to astrosmash with and without fscache.
  249.  
  250. NFS+ZFS export `/storage-fast` from joust mounted at `/mnt` on astrosmash:
  251.  
  252.     astrosmash $ sudo mount -t cifs -o user=chris //1.11/storage-fast /mnt
  253.  
  254. joust: no fscache
  255. astrosmash: no fscache
  256.  
  257.     joust $ sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
  258.     joust $
  259.     astrosmash $ sudo sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; dd if=/mnt/win10.iso bs=1M >/dev/null
  260.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.56908 s, 1.1 GB/s
  261.  
  262. joust: fscache
  263. astrosmash: no fscache
  264.  
  265.     joust $
  266.     astrosmash $ sudo sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; dd if=/mnt/win10.iso bs=1M >/dev/null
  267.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.36633 s, 1.1 GB/s
  268.  
  269. joust: fscache
  270. astrosmash: fscache
  271.  
  272.     joust $
  273.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  274.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.36633 s, 1.1 GB/s
  275.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  276.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.34369 s, 1.1 GB/s
  277.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  278.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.35332 s, 1.1 GB/s
  279.     astrosmash $ dd if=/mnt/win10.iso bs=1M >/dev/null
  280.     4939528192 bytes (4.9 GB, 4.6 GiB) copied, 4.35294 s, 1.1 GB/s
  281.  
  282.     astrosmash $ dmesg | grep -i fs-cache | grep cifs
  283.     [1613822.857853] FS-Cache: Netfs 'cifs' registered for caching
  284.     # wtf?
  285.  
  286. #### HTTP over 10Gb link to 3xNVME x4 RAIDZ mirror
  287.  
  288.     |astrosmash:~|lab| $ wget -O/dev/null http://mirror/boot/ubuntu/bionic.squashfs
  289.     --2019-10-20 08:08:30--  http://mirror/boot/ubuntu/bionic.squashfs
  290.     Resolving mirror (mirror)... 1.0.0.11
  291.     Connecting to mirror (mirror)|1.0.0.11|:80... connected.
  292.     HTTP request sent, awaiting response... 200 OK
  293.     Length: 621973504 (593M) [application/octet-stream]
  294.     Saving to: ‘/dev/null’
  295.  
  296.     /dev/null           100%[===================>] 593.16M   919MB/s    in 0.6s
  297.  
  298.     2019-10-20 08:08:31 (919 MB/s) - ‘/dev/null’ saved [621973504/621973504]
  299.  
  300.  
  301.     |astrosmash:~|lab| $ wget -O/dev/null http://mirror/boot/ubuntu/bionic.squashfs
  302.     --2019-10-20 08:12:10--  http://mirror/boot/ubuntu/bionic.squashfs
  303.     Resolving mirror (mirror)... 1.0.0.11
  304.     Connecting to mirror (mirror)|1.0.0.11|:80... connected.
  305.     HTTP request sent, awaiting response... 200 OK
  306.     Length: 621973504 (593M) [application/octet-stream]
  307.     Saving to: ‘/dev/null’
  308.  
  309.     /dev/null           100%[===================>] 593.16M  1.08GB/s    in 0.5s
  310.  
  311.     2019-10-20 08:12:11 (1.08 GB/s) - ‘/dev/null’ saved [621973504/621973504]
RAW Paste Data
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy. OK, I Understand
 
Top