Cách join node vào cluster bằng cách thủ công

Đối với các server được cài đặt mới. Odin hỗ trợ cấu hình tự động join các dịch vụ vào cluster. Nếu bạn đã cài đặt sẵn OS Virtouzzo hoặc join 1 node từ cluster cũ sang cluster mới thì có thể thực hiện bằng cách thủ công mà không cần phải cài đặt lại OS.

Quy trình thực hiện:

1. Kiểm tra cài đặt các gói pstorage-metadata-server, pstorage-chunk-server, pstorage-client.
2. Chứng thực cluster

3. Cấu hình dịch vụ metadata server

4. Cấu hình dịch vụ chunk server

5. Cấu hình dịch vụ client

6. Kiểm tra các dịch

Cách thực hiện:

Trong bài hướng dẫn này tất cả đều sử dụng commanline “pstorage”

1. Kiểm tra các gói pstorage cần cài đặt:

# rpm -qa | grep pstorage

2. Chứng thực cluster:

Cú pháp: pstorage -c <CLUSTER_NAME> auth-node

# pstorage -c odscloud auth-node
Điền mật mã đã được thiết lập khi khởi tạo cluster storage.

3. Cấu hình dịch vụ metadata server:

– Tạo thư mục dành cho metadata server(MDS cần không gian lưu trữ ít nhất 10GB):

#mkdir /pstorage/odscloud-mds

– Thêm MDS vào cluster với thư mục vừa tạo và cấu hình MDS lắng nghe trên địa chỉ IP. Ở đây chúng tôi sử dụng IP Local dành riêng cho storage là 192.168.1.0/24:

Cú pháp: pstorage -c <CLUSTER_NAME> make-mds -r <MDS_PATH> -a <IP_ADDRESS>

# pstorage -c odscloud make-mds -r /pstorage/odscloud-mds -a 192.168.1.2

– Start dịch vụ MDS server:

#service pstorage-mdsd start

#chkconfig pstorage-mdsd on

4. Cấu hình dịch chunk server:

– Phân vùng và định dạng các ổ đĩa bằng lệnh prepare_pstorage_drive:

# /usr/libexec/pstorage/prepare_pstorage_drive /dev/sdX –noboot

– Tạo thư mục và mount phân vùng vừa tạo (Tên thư mục lưu trữ chunk có thể đặt tên bất kì không có ràng buộc nào. Tuy nhiên để dễ dàng phân biệt nên đặt tên thư mục theo dạng tencluster-csX. X là số thứ tự chunk.):

# mkdir /pstorage/odscloud-cs1

# mount /dev/sda1 /pstorage/odscloud-cs1

– Thêm vào /etc/fstab theo dạng UUID:

#blkid /dev/sda1

/dev/sda1: LABEL=”pstorage-hotplug” UUID=”07b0f1be-624a-4202-8333-1b90a4223950″ TYPE=”ext4″
echo “UUID=07b0f1be-624a-4202-8333-1b90a4223950 /pstorage/odscloud-cs1 ext4 defaults,noatime 1 2
” >> /etc/fstab.

sdX thay bằng định danh của các ổ đĩa như sda,sdb,…

– Cấu hình chunk(thư mục trống không có bất cứ dữ liệu nào):

# pstorage -c <CLUSTER_NAME> make-cs -r <CS_PATH>

Ví dụ:

# pstorage -c odscloud make-cs -r /pstorage/odscloud-cs1

Sử dụng tùy chọn advise-configuration để xem cấu hình theo khuyến cáo:

# pstorage -c <CLUSTER_NAME> advise-configuration
–cs <CS_PATH> –ssd <SSD_PATH> -m <PSTORAGE_MOUNT_POINT>

Ví dụ server có 3 chunk và 1 ssd:

# pstorage -c odscloud advise-configuration –cs /pstorage/odscloud-cs1/ –cs /pstorage/odscloud-cs1/ –cs /pstorage/odscloud-cs2/ –ssd /pstorage/ssd0 -m /pstorage/odscloud

You have the following setup:
CS  on /pstorage/odscloud-cs1/ — Total disk space 1.7TB
CS  on /pstorage/odscloud-cs2/ — Total disk space 387.7GB

SSD on /pstorage/ssd0 — Total disk space 219.4GB

Proposed server configuration
–  97.6GB (44%) for CS journals, 97.6GB (44%) for mount read cache on /pstorage/ssd0,
24.1GB (10%) reserved (including  2.1GB checksums for 2.1TB of data)
– CS journal sizes:
80.6GB for /pstorage/odscloud-cs1/ at /pstorage/ssd0
17GB for /pstorage/odscloud-cs2/ at /pstorage/ssd0

How to setup the node:
pstorage -c odscloud make-cs -r /pstorage/odscloud-cs1//cs -j /pstorage/ssd0/cs1-odscloud-journal -s 82549
pstorage -c odscloud make-cs -r /pstorage/odscloud-cs2//cs -j /pstorage/ssd0/cs3-odscloud-journal -s 17460
pstorage-mount -c odscloud /pstorage/odscloud -C /pstorage/ssd0/pstorage-odscloud-cache -R 100010

Mount option for automatic cluster mount from /etc/fstab:
pstorage://odscloud /pstorage/odscloud fuse.pstorage cache=/pstorage/ssd0/pstorage-odscloud-cache,cachesize=100010

– Tiến hành thực hiện theo hướng dẫn ở phần “How to setup the node”

– Start dịch vụ pstorage-csd:

# service start pstorage-csd

# chkconfig pstorage-csd on

5. Cấu hình dịch vụ client:

– Không sử dụng SSD cache:

Cú pháp: pstorage-mount -c <CLUSTER_NAME> <MOUNT_POINT>

# pstorage-mount -c odscloud /pstorage/odscloud

# echo “pstorage://odscloud /pstorage/odscloud fuse.pstorage rw,nosuid,nodev 0 0” >> /etc/fstab

– Sử dụng SSD cache:
Cú pháp: pstorage-mount -c <CLUSTER_NAME> <MOUNT_POINT> -C <CACHE_SSD_PATH> -R<CACHE_SIZE>

Sử dụng thông tin được khuyến cáo ở bước 4:

# pstorage-mount -c odscloud /pstorage/odscloud -C /pstorage/ssd0/pstorage-odscloud-cache -R 100010

# echo “pstorage://odscloud /pstorage/odscloud fuse.pstorage cache=/pstorage/ssd0/pstorage-odscloud-cache,cachesize=100010” >> /etc/fstab

6. Kiểm tra lại các dịch MDS,CS:

Cú pháp: pstorage -c <CLUSTER_NAME> list-service

# pstorage -c odscloud list-services
TYPE    ID      STATUS                  DEVICE/VOLUME GROUP            DEVICE INFO                         PATH
CS      1043    running [159256]        /dev/sda2                      WDC WD2000FYYZ-0                    /pstorage/odscloud-cs1/cs
CS      1042    running [159361]        /dev/sdc2                      WDC WD2000FYYZ-0                    /pstorage/odscloud-cs/cs
CS      1050    running [159448]        vg_node1                       LVM (sdb2)                                    /pstorage/odscloud-cs2/cs
MDS     11      running [159119]        vg_node1                       LVM (sdb2)                                    /pstorage/odscloud-mds0

Kiểm tra MDS/CS đang trạng thái running và đồng thời kiểm tra lại các MDS/CS ID đang ở trạng thái “active” bằng lệnh pstorage -c <CLUSTER_NAME> top hoặc pstorage -c <CLUSTER_NAME> stat