r/sysadmin

Tui có nằm vùng trong này và đọc được những câu chuyện kiểu như một anh IT tội nghiệp nào đó lỡ xóa 1 dòng code và BOOM! - mọi thứ tan tành - ảnh phải chuẩn bị thu dọn đồ đạc, kiếm chỗ làm mới.
Bộ người ta không có một môi trường sandbox để thoải mái tạo ra lỗi lầm, thử nghiệm các thứ các thứ trước khi làm trên một cái database thật sự sao? ._. Mà nếu không có thì lí do là gì?
-------------------
https://redd.it/5b24km
-------------------
[–]catherder9000 (9245 points) (8 Gold)

VẤN ĐỀ LÀ Ở QUY MÔ...

(Nói chung thì cả cái cmt này có thể gói gọn được trong 2 câu. Nhưng thôi, ông đã hỏi thì tận hưởng đi.)

Để xem nào, coi như ông làm ở một công ty có quy mô trung bình (100-200 người). Phòng IT của ông chỉ có khoảng 1-3 người, bởi vì các ông "thừa thãi"...đa phần doanh nhân nghĩ rằng chỉ có phòng sales mới giúp họ kiếm ra tiền. Ừ không sao, đừng lo nếu mà họ không thể kiếm được tiền vì mấy cái máy móc ngớ ngẩn đ' hoạt động, CHỈ CÓ PHÒNG SALES MỚI LÀM RA TIỀN MÀ.

Bây giờ giả dụ chi phí của lần nâng cấp quan trọng nhất cho cái servers rơi vào tầm 75,000$. Việc đấu tranh để có thể xin đủ tiền và mua được những thứ ông đã đề bạt tốn quá nhiều mồ hôi xương máu. Vài chỗ bị gạch đi vì "không thực sự cần thiết" - đúng cái chỗ mà sẽ tạo ra được cái server thứ 2 gọn nhẹ và chậm hơn cái server đầu tiên một chút, nhưng sẽ khá giống nhau, đồng thời là chỗ để ông thử nghiệm các thứ các thứ. Nhưng mà bỏ chỗ này đi thì "tiết kiệm" cho công ty được 30,000$ phải không? Các ông đã chẳng kiếm được xu nào cho công ty, suốt ngày chực chực lãng phí.

Và rồi, 1 năm sau, ông có một việc cực kỳ quan trọng phải làm với cái server. Đồng nghiệp tin ông, ông cũng hơi tin ông, nhưng ông chẳng còn cái server nào để chạy thử - bởi vì tất cả những server còn lại, cái thì quá bé để chịu được cái ông sắp làm, cái thì đang phải thực hiện những việc "thiết yếu". Vậy nên, ông tự ra quyết định cuối cùng, ông phập cmnl trên con server chính, và để tránh gây ảnh hưởng đến mọi người, ông sẽ làm từ đêm cho tới sáng.

1 GIỜ SÁNG VÀ MỌI THỨ VẪN LỘN TÙNG PHÈO

Bây giờ ông có cảm giác như mình đang đánh bạc vậy. Trước 5 giờ sáng ông sẽ phải cố gắng điên cuồng cho server bình thường trở lại để công ty còn hoạt động, dù cho ông đã thử mọi cách nhưng mà chả có cái mẹ nào hiệu quả. Ông gọi cho phía nhà cung cấp, họ điều cho ông hết người này đến người khác cho đến khi chẳng còn ai nữa, cơ mà mọi thứ vẫn chả đâu vào đâu. Giờ thì các đồng nghiệp của ông đã đến văn phòng, điện thoại ông bắt đầu rú liên tục. 6 giờ sáng, sếp đến, máy móc của ông ấy đ' hoạt động.. Ông được bảo rằng mấy cái thay đổi đó sẽ hiệu quả mà không gây ra rắc rối gì. Ừ có rắc rối gì đâu mà, nó chỉ làm cả cái server rụng cmnl. Mọi người bắt đầu nổi quạu vì họ chẳng làm được gì cả, không ai đặt được hàng, không ai bán được gì, không biết được trong kho có gì để xuất với chả nhập, không ai làm được gì hết ngoài việc ngồi lướt web. Còn ông thì vẫn thừa thãi, ông chẳng kiếm được xu nào cho công ty hết.

Bây giờ ông nghĩ đến việc dùng bản backup vừa tạo tối hôm trước.

6:30 sáng, ông quyết định không có sửa chữa gì nữa, ông xài bản backup gần nhất luôn. Bắt đầu màn khôi phục server, ông nói với mọi người "Mọi thứ sẽ bình thường trở lại trước 9:30, chúng tôi sẽ cố hết sức và việc khôi phục mất khoảng 2 tiếng, chậm nhất là 3 tiếng."

9:35, 9:40...10:15 màn backup báo lỗi và dừng lúc gần hoàn tất. Cái lề gì thốn? Cái thồn gì lế? Vô lý! Gọi vài cuộc điện thoại, ông giải thích rằng ông phải cố chuyển sang dùng bản backup offsite, đúng rồi, ông hiểu rằng việc này sẽ làm công ty mất nửa ngày làm việc, và ông sẽ phải đi đăng nhập lại mọi thứ một cách thủ công lúc server bình thường. "Lạy chúa, làm cho nó hoạt động đi, bọn tôi trả lương cho cậu để làm cái gì thế?!!" (Đây rồi. Bọn nó bắt đầu nghi ngờ khả năng của ông đó.)

Ông thử lại một lần nữa. Nó hiệu quả, nhưng mà chậm hơn nhiều so với bản onsite. Đến 3:00 chiều, mọi thứ ổn định trở lại. 3:30, cả phòng IT chưa ai được ngủ trong vòng 32 giờ qua.

Ông được gọi vào nói chuyện với ban giám đốc. Mọi người muốn có câu trả lời. Ông giải thích rằng bên nhà cung cấp đảm bảo mọi thứ sẽ trơn tru, còn ông thì tự tin rằng mình đã làm hết trách nhiệm trong cái việc này. Thứ đáng lẽ nên được hoàn thành trong 2 tiếng cuối cùng lại thành 17 tiếng vừa rồi, chỉ là sự cố kỹ thuật bất cả khả kháng. Ông cũng đề cập thêm "Nếu chúng ta có một môi trường để thử trước khi làm, có lẽ vấn đề đã được phát hiện và nó sẽ không xảy ra."

Nhưng đếch ai muốn nghe cả. Mọi người quay trở lại làm việc như bình thường. Thời gian server sập gây tổn thất hàng trăm nghìn đô. Còn ông thì vẫn thừa thãi, ông chẳng kiếm được xu nào cho công ty.

Chẳng ai rút ra được bài học gì sau hôm đó ngoài chính ông và anh em trong phòng IT, à không, còn cái nhà cung cấp "lần đầu tiên thấy một lỗi kỳ lạ như thế này".

Đề nghị về việc có một server sandbox của ông bị từ chối. Đề nghị tiếp theo xin thêm server backup thứ 2 cũng được coi như một ý tưởng phù phiếm.

Còn ông thì vẫn thừa thãi, ông chẳng kiếm được xu nào cho công ty.

Chào mừng đến với phòng IT.
---------------------