Hej,

Podpytam kolegów:
NFS - duże pliki - rosnący load

Pozmieniałem architekturę w 'domowym' serwerze, podbiłem wersję Debiana w domU (stoi na xen-server), wystawiam zasoby po NFS wersja 4 (niestety nie dziala po rpc :/). Przegrywając duże pliki, w zależność od konfiguracji (sync/async, subtree_check/no_subtree_check, wersja nfs), dostaję albo wolny transfer, albo

Na serwerze:
/etc/exports
server# /mnt/exports    192.168.6.0/24(rw,sync,no_subtree_check,no_root_squash,fsid=0)
server# /mnt/exports/nfs        192.168.6.0/24(rw,sync,no_subtree_check,no_root_squash)

Na kliencie
client# mount -t nfs 192.168.6.131:/nfs /mnt/nfstest  -vvv
(podonie z opcjami
 client# mount -t nfs 192.168.6.131:/nfs /mnt/nfstest -o nfsvers=4,tcp,port=2049,async -vvv)
dopiero dodanie dlagi sync powoduje wolny transfer i nie rosnący load :)

Wygląda na to, ze przytyka się na serwerze na zapisie na dysk (przy ponad 1000 operacji I/O). Tutaj spodziewam się, że problemem przy opcji async jest to, że przesyła ile się da i przytyka się na dysku. Niestety przy opcji sync transfery są 100x wolniejsze (może wystarczy zmienić jakąś flagę - rozmiar bufora?).
Fajnie jak by dało się ograniczyć nfsd do 1000 I/O.
http://ubuntuforums.org/archive/index.php/t-1478413.html
W teorii problem jest 'solved' - ale mam wrażenie, że raczej ktoś 'nie dotestował' :)
Zastanawiam się nad ograniczeniem ilości wątków, ale trochę to po omacku.
Macie jakieś doświadczenia?
Zaczynam się zastanawiać, czy nie zejść z NFS.


Testowałem zwykłym dd
client# dd if=/dev/zero bs=1M count=6000 |pv | dd of=/mnt/nfstest/kasuj

Daje transfery _do_ 50MB/s, dysk nieco obciążony

server# iotop
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
 1863 be/4 root        0.00 B/s   14.17 M/s  0.00 % 21.14 % [nfsd]
 1864 be/4 root        0.00 B/s    7.42 M/s  0.00 % 17.39 % [nfsd]
 1858 be/4 root        0.00 B/s    6.32 M/s  0.00 % 13.09 % [nfsd]
 1861 be/4 root        0.00 B/s   13.26 M/s  0.00 % 12.03 % [nfsd]

server# dstat -r --top-io-adv --top-io --top-bio --aio -l -n -m
--io/total- -------most-expensive-i/o-process------- ----most-expensive---- ----most-expensive---- async ---load-avg--- -NET/total- ------memory-usage-----
 read  writ|process              pid  read write cpu|     i/o process      |  block i/o process   | #aio| 1m   5m  15m | recv  send| used  buff  cach  free
10.9  81.4 |init [2]              1    5526B  20k0.0%|init [2]   5526B   20k|nfsd         10B  407k|   0 |2.92 1.01 0.54|   0     0 |29.3M 78.9M  212M 4184k
1.00  1196 |sshd: root@pts/0      1943 1227B1264B  0%|sshd: root@1227B 1264B|nfsd          0    15M|   0 |2.92 1.01 0.54|  44M  319k|29.1M 78.9M  212M 4444k
   0  1365 |sshd: root@pts/0      1943  485B 528B  0%|sshd: root@ 485B  528B|nfsd          0    16M|   0 |2.92 1.01 0.54|  51M  318k|29.5M 78.9M  212M 4708k


-------------------
Dla porównania spróbowałem podmontować po sshfs
client# sshfs 192.168.6.131:/mnt/exports/nfs /mnt/nfstest/
ale trochę nie porównywalne wyniki - przesył max 10M (możliwe, że hwestia narzutu ssh, albo innego transferu po sieci) - nie przytkal dysku więc cięzko wyciągnąć wnioski

server# dstat -r --top-io-adv --top-io --top-bio --aio -l -n -m
--io/total- -------most-expensive-i/o-process------- ----most-expensive---- ----most-expensive---- async ---load-avg--- -net/total- ------memory-usage-----
 read  writ|process              pid  read write cpu|     i/o process      |  block i/o process   | #aio| 1m   5m  15m | recv  send| used  buff  cach  free
   0   562 |sshd: root@notty      1978   10M  10M 18%|sshd: root@  10M   10M|sftp-server   0  9432k|   0 |0.73 1.51 0.93|9863k  606k|34.8M 86.7M  198M 4788k
   0   192 |sshd: root@notty      1978   11M  11M 27%|sshd: root@  11M   11M|sftp-server   0    10M|   0 |0.67 1.48 0.92|  11M  688k|34.0M 86.8M  199M 4524k
   0     0 |sshd: root@notty      1978   11M  11M 20%|sshd: root@  11M   11M|sftp-server   0  9776k|   0 |0.67 1.48 0.92|  10M  664k|34.2M 86.8M  199M 4756k
   0   185 |sshd: root@notty      1978   11M  11M 20%|sshd: root@  11M   11M|sftp-server   0    10M|   0 |0.67 1.48 0.92|  10M  665k|34.3M 86.8M  199M 4720k
   0   300 |sshd: root@notty      1978   10M  10M 22%|sshd: root@  10M   10M|sftp-server   0  9580k|   0 |0.67 1.48 0.92|  10M  643k|34.4M 86.8M  199M 4372k
   0   740 |sshd: root@notty      1978   10M  10M 19%|sshd: root@  10M   10M|sftp-server   0  9480k|   0 |0.67 1.48 0.92|  10M  634k|33.8M 86.8M  200M 4284k