Khởi động dự án ảo hóa Rack FU tại DC FOX

Hôm kia , 04/02/2012 mình bắt đầu công việc ảo hóa hệ thống của FU tại Datacenter của Fox .

Hiện trạng hệ thống có 1 con F5 , 2 con 2960 , 13 con IBM 3650 mỗi con có khoảng 16G Ram , ko có SAN nhưng thừa khoảng 6T dữ liệu .

Cái khó ở chỗ đây là hệ thống đang chạy toàn bộ các ứng dụng của trường ( như AP , IAP , CMS ... ) và có cả cái site violympic.vn ( 300.000 visit / 1 ngày ) , yêu cầu đặt ra downtime phải = 0 cho nên sau 1 thời gian phân tích , thiết kế , Mình quyết định off tạm thời 3 con web xuống để dựng tạm 1 vcenter và 2 esx 5.0 trước , dùng NFS và iSCSI storage , sau đó convert dần hệ thống sang ảo .

Phân tích : updating

Thiết kế : updating

Kết quả : will update soon

Làm cái đã rồi cập nhật chi tiết sau

Hôm nay ngày 06/02 mình kết hợp với bên Code để config lại Web và đưa 4 web server ảo vào sử dụng . Kết quả rất khả quan , mỗi con web đang hứng khoảng 5000 concurrent connections mà vẫn chưa thấy xi nhê gì . Hiện tại 4 con VM này đang sử dụng iSCSI storage .

Mọi thứ có vẻ rất ok , các cháu học sinh vẫn vào violympic.vn thi ầm ầm , bên support cũng đã confirm lại hệ thống không có vấn đề gì nên mình tiếp tục cho down 1 máy vật lý nữa xuống để build 1 con ESX thứ 3 .

Ngoài ra có 1 vẫn đề là trong đống server vật lý có 1 con RAID 5 với 4 ổ 2T và hiện tại được creat thành 1 disk hơn 6T duy nhất ( ko chứ OS đang chạy , may quá ) . Mình định sử dụng thêm thằng này làm NFS storage cho đống VMs , nhưng vấn đề đặt ra là MAX 1 LUN của Vmware chỉ cho 2T .

---> Vì ko được phép downtime con server này nên mình quyết định cài Acronis Director lên để băm nhỏ nó ra làm 2 phân vùng , mỗi phân vùng 2T để add vào Vcenter .

Kết quả NFS: ... will be soon .... 07/02 , mình nặng về lý thuyết quá . Lúc test mount thử NFS vào thấy lỗi mình cứ nghĩ là do ổ nó 6T . Hóa ra không phải vậy , lỗi do mình chưa phân quyền Anonymous Logon nên lúc Test bị . Thực tế đã mount thành công 6Tb Raid 5 vào tất cả các con ESX .

Trước đây thì mình chủ yếu test HA , DRS các VM dùng storage SAN or iSCSI ... tranh thủ quả NFS 6Tb này ,  mình sẽ move 1 số VMs vào đó để test xem vì bản 5.0 có hỗ trợ live migration đối với NFS .

Cập nhật : 10/02/2012

Gần như toàn bộ các server trên tử đã được transfer role thành ESX . Chỉ còn 4 con dùng làm Database ( MSSQL và MYSQL ) là mình chưa cho nó thành ảo thôi . Đang phân vân 2 phương án , 1 là convert realtime . 2 là build các con Second database rồi move dữ liệu sang . HIc , bởi vì ko được downtime nên có lẽ phải chọn Phuong án 2 thôi cho nó lành mà an toàn hơn .

14/02/2012

Tạm gác lại vấn đề về các server Database . Hôm nay mình bắt đầu triển khai Vshield và Vcloud Director . Sau đó tạo thêm 1 Pool trên con F5 để public Vcloud Director ra Internet .

Mọi thứ có vẻ ổn

15/02/2012 : Hôm nay ngồi cài Vmare Data Recovery để backup cái đống máy ảo . Hic .. hên xui quá , lúc add thêm cái ổ 500G vào cái appliance này . Ngon nghẻ xong , mình format để chuẩn bị tạo Job Backup ... tự dưng treo hết cả hệ thống ( ko hiểu sao lúc format nó lại bị vậy , mà rõ ràng là chưa tạo job backup gì cả ) ... Có vài cuộc điện thoại gọi dồn dập , mình biết ngay là hệ thống down do thằng Data Recovery này rồi . Lập tức Power off nó đi , mọi thứ lại trở lại bình thường ...   Nghiên cứu tiếp xem tại sao format ổ ảo cho Vmware Data Recovery nó lại làm đờ đẫn cả hệ thống như vậy ?

Ok , tạm thời mình ko để cái vHarddisk 500G trên cùng Datastore với đống VMs nữa . Mình add Destination Backup ở 1 Datastore khác ( dùng iSCSI ) . Format bình thường , run thử 1 cái backup job ngon

Hôm nay 05/03/2012 : việc chuẩn bị để convert hệ thống AP và IAP của trường thành VMs yêu cầu phải nhét nó vào một VLAN high ... sơ kiu hơn một chút nên bắt buộc mình phải config lại phần NETWORK , áp dụng VLan TRUNK cho toàn bộ cái Interface đang chạy VMs . Config lại switch , Tag lại VLAN ID cho 1 đống VM network ảo lúc nửa đêm ... huhu . mệt quá nhưng cuối cùng cũng xong 

Bên FIS đã báo giá tủ SAN và card HBA

Sắp tới sẽ phải move giữ liệu từ NFS cũ sang SAN cho nó an toàn nên tranh thủ tiền của Bộ nên mình order thêm luôn 40G Ram nữa chạy cho nó ảo .

Hôm nay 07/03 , mình bắt đầu công việc convert sống đống dữ liệu MYSQL của trường ( vmware gọi là hot convert hay cold convert gì đó ) . Trước khi convert , mình chuẩn bị backup đầy đủ , cẩn trọng để lỡ may còn có cái để mà ... làm lại . Kể ra lần đầu tiên live convert dữ liệu quan trọng cũng thấy run tay , khác hẳn lúc làm LAB .

Convert ok , lúc cấu hình lại Network mình phải xóa ko để NIC nhận MAC cũ đi là xong :

mv /etc/udev/rules.d/70-persistent-net.rules rule.bk

Cài VmwareTool cho con máy chủ này .

Ok , thế là convert được 1 con DB đang chạy Ubuntu , test convert tiếp con Proxy chạy CentOS , ko vấn đề gì là gần như toàn bộ kế hoạch của mình đã thực hiện xong . Nhưng có 1 vấn đề là khi convert CENTOS or RedHat , kiểu gì cũng dính cái lỗi Kernel Panic ... Google 1 lúc các bác sẽ ra cách fix .

08/03 : Mình đã Convert thành công toàn bộ mấy con Linux thành máy ảo và change DNS cho nó chạy thật luôn . Việc cuối cùng là add rule cho F5 để bắt Log .

when HTTP_REQUEST { 
HTTP::header insert "X-Forwarded-For" [IP::client_addr]
}

Thở phào nhẹ nhõm , giờ chỉ còn ngồi viết tài liệu thôi

10/03 : Nửa đêm ... tính đi tính lại thì hệ thống hiện đang có 2 con máy quan trọng nhất không thể để chết , vì có 1 con làm Proxy , 1 con chứa session login nên mình nghĩ .. phải áp dụng Fault Tolerence cho 2 con máy này . Đáng tiếc là không hiểu sao lên bản ESXi 5.0 rồi mà tính năng FT vẫn chỉ áp dụng được cho máy chủ chỉ có 1 vCPU . Nhưng không sao ... 2 con máy này cũng không cần phải xử lí gì nhiều nên mình Turn on FT lên luôn .

Trước khi turn on , mình tách hẳn 2 con ESXi host ra làm riêng 1 Cluster . Dự tính để về sau này , 2 host này sẽ chứa toàn bộ những VMs cần tính năng Fault Tolerence .

Như vậy là đã yên tâm hơn , sắp tới chờ tủ SAN về , mình sẽ viết chi tiết hơn về phần config NFS , iSCSI và SAN của cái tủ này .