Chuyển đổi · Sổ tay vận hành
Sổ tay vận hành chuyển đổi
Một đợt di chuyển, từ khóa hai tuần tới cuộc họp rút kinh nghiệm. Thời gian dưới đây giả định một cửa sổ cuối tuần và một đợt di chuyển 10–30 rack; các đợt lớn hơn được chia tách thay vì kéo dài. Hai điều làm cho đây là sổ tay vận hành hơn là kế hoạch: mỗi bước có một chủ sở hữu được đặt tên, và tiêu chí go/no-go được quyết định vài tuần trước đêm lúc không ai tỉnh táo.
| T | Thời điểm | Tác vụ | Chủ sở hữu | Chi tiết |
|---|---|---|---|---|
| T-14d | Hai tuần trước | Thay đổi được duyệt, đợt bị khóa | Người dẫn đầu di chuyển | Yêu cầu thay đổi được duyệt, nội dung của đợt bị khóa. Bất kỳ điều gì không có trên danh sách tại T-14 sẽ không di chuyển trong đợt này — những bổ sung muộn là cách một đợt sạch sẽ trở thành sự cố. |
| T-7d | Một tuần trước | Mục tiêu được đặt rack, cáp, cung cấp điện, có thể tiếp cận | Kỹ thuật thực địa | Phần cứng thay thế hoặc tiếp nhận được đặt tại mục tiêu, trên các mạch chính xác, với quyền truy cập quản lý được chứng minh từ bên ngoài mạng công ty. |
| T-72h | Thứ ba | Chạy thử tập lệnh xác thực | Chủ sở hữu ứng dụng | Chạy các kiểm tra sau di chuyển so với tài sản sản xuất hiện tại. Nếu một kiểm tra không thành công bây giờ, nó không phải là lỗi di chuyển lúc 2 giờ sáng thứ bảy — đó là một kiểm tra bị hỏng. |
| T-48h | Thứ tư | DNS TTL hạ xuống 300s | Kỹ thuật mạng | Hạ đủ sớm để mỗi resolver nhận được TTL ngắn trước khi chuyển đổi. |
| T-24h | Thứ năm | Sao lưu đầy đủ và kiểm tra khôi phục | Nhóm sao lưu | Xác minh khôi phục được, không chỉ hoàn thành. Sao lưu chưa kiểm tra khôi phục là niềm tin, không phải kiểm soát. |
| T-4h | Thứ sáu 17:00 | Ngừng thay đổi, mở cầu nối | Người dẫn dắt di chuyển | Tất cả thay đổi không liên quan dừng trên toàn bộ hạ tầng. Mở cuộc gọi cầu nối với chủ sở hữu hạ tầng, mạng, ứng dụng và nhóm tại chỗ. |
| T-0 | Thứ sáu 21:00 | Go / no-go #1 | Người dẫn dắt di chuyển + nhà tài trợ kinh doanh | Kiểm tra tiêu chí công khai: sao lưu xác minh, mục tiêu tiếp cận được, toàn bộ nhóm có mặt, không có P1 hoạt động nơi khác. Một không cũng là không. Trì hoãn mất một cuối tuần; tiếp tục khi không chắc mất cả quý. |
| T+0:15 | Thứ sáu 21:15 | Tắt tuần tự, đồng bộ delta cuối cùng | Chủ sở hữu ứng dụng | Ứng dụng dừng theo thứ tự phụ thuộc, delta sao chép cuối cùng xóa sạch, hệ thống nguồn đánh dấu chỉ đọc để không có ghi vào trang sắp bỏ trống. |
| T+1:00 | Thứ sáu 22:00 | Ngừng hoạt động từ nguồn, tải, vận chuyển | Kỹ thuật thực địa | Ray và cáp được dán nhãn khi rút ra. Chụp ảnh phía trước và phía sau mỗi tủ trước khi rút bất cứ cái gì — là hỗ trợ rollback nhanh nhất. |
| T+4:00 | Thứ bảy 01:00 | Nhận hàng, rack, dây cáp, bật nguồn | Kỹ sư thực địa | Bật nguồn từng nhóm thay vì cùng một lúc, để một cầu chỉ bị kích hoạt sẽ tự biểu hiện thay vì làm toàn bộ hàng ngừng hoạt động. |
| T+7:00 | Thứ Bảy 04:00 | Đi / không đi #2 — đồng hồ rollback | Trưởng dự án di chuyển | Điểm cuối cùng mà rollback vẫn có thể được thực hiện trong khung thời gian. Nếu tính đến thời gian cố định này mà cơ sở chưa được bật nguồn và truy cập được, hãy rollback — quyết định đã được đưa ra tại T-14, không phải bây giờ. |
| T+8:00 | Thứ Bảy 05:00 | Chuyển mạng, DNS trỏ lại | Kỹ thuật mạng | Định tuyến được di chuyển, chính sách tường lửa được kích hoạt, bản ghi DNS được trỏ lại. Monitoring nên hiển thị xanh từ cơ sở mới trước khi bất kỳ ai được thông báo nó đã hoạt động. |
| T+10:00 | Thứ Bảy 07:00 | Vòng xác thực tự động | Chủ sở hữu ứng dụng | Cùng một kịch bản từ vòng chạy thử, bây giờ chạy so với đích. Thành công hoặc thất bại, không phải ý kiến. |
| T+14:00 | Thứ Bảy 11:00 | Xác thực kinh doanh và phê duyệt | Nhà tài trợ kinh doanh | Người dùng được chỉ định thực hiện các giao dịch thực tế. Phê duyệt được viết bằng văn bản, cho mỗi ứng dụng, và thuộc về chủ sở hữu chứ không phải đội di chuyển. |
| T+24:00 | Chủ Nhật 21:00 | Dỡ bỏ khóa, hypercare bắt đầu | Trưởng dự án di chuyển | Khóa được dỡ bỏ, hỗ trợ nâng cao trong năm ngày làm việc, và môi trường nguồn được giữ nguyên cho đến khi hypercare kết thúc. |
| T+7d | Thứ Sáu tiếp theo | Kiểm điểm, runbook được cập nhật | Trưởng dự án di chuyển | Ghi lại các sửa chữa trong runbook khi chi tiết còn mới. Mỗi đợt tiếp theo kế thừa chúng. |
Tiêu chí không thể thực hiện
Được thỏa thuận tại phê duyệt thay đổi, đọc to ở mỗi go/no-go. Bất kỳ tiêu chí nào cũng là một dừng. Ý nghĩa của việc ghi lại sớm là lúc 4 giờ sáng, tranh luận đã kết thúc.
- Backup chưa được xác minh có thể khôi phục
- Trang đích không thể truy cập qua out-of-band
- Chủ sở hữu được chỉ định vắng mặt từ cuộc họp
- Có P1 hoạt động ở bất kỳ đâu
- Mạch kết nối từ nhà cung cấp không được xác nhận hoạt động
- Đường dẫn quay lại chưa được kiểm tra từ lần thay đổi cuối cùng
Thời gian giới hạn quay lại
Một quay lại chỉ thực tế nếu nó phù hợp với cửa sổ thời gian còn lại. Tính giờ trong quá trình chạy thử: cần bao lâu để tái lắp ráp, tái cáp, cấp điện và điều hướng lại DNS đến trang nguồn. Trừ đó từ cuối cửa sổ và bạn sẽ có thời gian cố định — go/no-go lần thứ hai. Đạt được nó mà không có mục tiêu được cấp điện và có thể truy cập có nghĩa là quay lại, bất kể đội cảm thấy gần xong đến mức nào. Các đội bỏ qua bước này không tránh được quay lại; họ phát hiện lúc 7 giờ sáng rằng họ không còn có lựa chọn.
Chuẩn bị cho đêm di chuyển
- Sơ đồ chi tiết rack và sơ đồ đánh dây in ra — mạng bạn cần tham khảo có thể là mạng bạn đang di chuyển
- Ảnh của mặt trước và mặt sau mỗi tủ, chụp trước khi rút phích bất kỳ thứ gì
- Quang học dự phòng, cáp vá, thanh ray, PDU và ít nhất một phần dự phòng cho bất kỳ thứ gì từ một nguồn duy nhất
- Thông tin xác thực truy cập out-of-band được thử nghiệm từ mạng điện thoại di động, không phải mạng văn phòng
- Cây leo thang với số điện thoại di động, bao gồm đội remote hands của nhà điều hành
- Script xác thực, đã được chứng minh so với môi trường sản xuất trong quá trình chạy thử
Trước runbook, là kế hoạch
Một cắt chuyển chỉ diễn ra tốt khi khám phá diễn ra tốt. Trước tiên hãy làm việc với danh sách kiểm tra di chuyển, lập mô hình chương trình với máy tính chi phí và rút gọn danh sách mục tiêu từ danh mục cơ sở.
Báo giá cho trang đích
Cho chúng tôi biết kích thước đợt và thị trường — chúng tôi sẽ cung cấp các cơ sở phù hợp và giá chuẩn.