API tools faq
paste
Guest User

Kafka Producer measurements 1

a guest
May 1st, 2015
261
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
HTML 2.56 KB | None | 0 0
raw download clone embed print report
  1.  
  2. Settings: acks=1, single broker, single threaded producer (new api)
  3. Machines: 32 cores, 256GB RAM, 10 gigE, 6x15000 rpm disks
  4.  
  5. Event Size = 1k
  6.  
  7.             1 partition        
  8.                                    FlushInt=4MB    FlushInt=8MB    FlushInt=16MB  
  9. linger=def  batch.size = default         57              54               52  
  10. linger=1s   batch.size = default         57              61               59  
  11.  
  12. linger=def  batch.size= flushInt/parts  136             125              116
  13. linger=1s   batch.size= flushInt/parts   92              77               56  
  14.  
  15. linger=def  batch.size == flushInt      140             123              124
  16. linger=def  batch.size = 10MB           140             123              124
  17. linger=def  batch.Size = 20MB            31              30               42  
  18.  
  19.  
  20.             4 partitions            
  21.                                     FlushInt=4MB    FlushInt=8MB    FlushInt=16MB
  22. linger=def  batch.size = default        95               82               80  
  23. linger=1s   batch.size = default        85               83               85  
  24.  
  25. linger=def  batch.size= batch/#part     127             133               90  
  26. linger=1s   batch.size= batch/#part     94              100              101
  27.  
  28. linger=def  batch.size == flushInt      60                8                6  
  29. linger=def  batch.size = 10M            7                 7                7  
  30. linger=def  batch.Size = 20M            6                 6                5  
  31.                        
  32.                        
  33.             8 partitions            
  34.                                     FlushInt=4MB    FlushInt=8MB    FlushInt=16MB
  35. linger=def  batch.size = default        100              89               96    
  36. linger=1s   batch.size = default        105              97               98  
  37.  
  38. linger=def  batch.size= batch/#part     114             128               78  
  39. linger=1s   batch.size= batch/#part      95              94              102
  40.  
  41. linger=def  batch.size == flushInt        7               8                8  
  42. linger=def  batch.size = 10M              7               8                7  
  43. linger=def  batch.Size = 20M              6               6                6  
  44.                        
  45.  
  46.  
  47.  
  48. With multiple producers processes (each single threaded)
  49.  
  50. For 1 partition :
  51. 1 process = 136 MB/s
  52. 3 process = 344 MB/s
  53. 4 process = 290 MB/s
  54.  
  55.  
  56. For 4 partition ():
  57. 1 process = 127 MB/s
  58. 3 process = 345 MB/s
  59. 4 process = 372 MB/s
  60.  
  61.  
  62. For 8 partition ():
  63. 1 process = 128 MB/s
  64. 3 process = 304 MB/s
  65. 4 process = 460 MB/s
Advertisement
Add Comment
Please, Sign In to add comment
Public Pastes
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy.  OK, I Understand
Not a member of Pastebin yet?
Sign Up, it unlocks many cool features!