Service vz bị treo sau khi tiến hành mount pfcache service.
Trong quá trình khởi động virtuozzo service để tiến hành kết nối đến với virtuozzo storage, tiến trình bị treo đột ngột mà không có bất kì mã lỗi nào được thông báo.
Cùng thời điểm này, command line như pstorage – c ${cluster_name} stat hoặc đọc bất cứ các file nào được lưu tại Virtuozzo Storage đều bình thường, tiến hành restart service vz thì xuất hiện như sau:
# /etc/init.d/vz start
Starting Parallels Cloud Server: [ OK ]
Load OOM groups [ OK ]
Starting vzeventd: [ OK ]
Could not change any device features
Could not change any device features
Loading Parallels Cloud Server license: [ OK ]
Set vzprivrange: [ OK ]
Configuring Parallels Cloud Server accounting: [ OK ]
Configuring Parallels Cloud Server shaping: [ OK ]
Waiting for license monitor start:.
Mount pfcache image /vz/pfcache.hdd [ OK ]
...
Debug tiến trình đọc file sẽ thấy như sau:
~# cat /proc/59516/stack
[<ffffffff8113e16d>] sync_page+0x3d/0x50
[<ffffffff8113e18e>] sync_page_killable+0xe/0x40
[<ffffffff8113e097>] __lock_page_killable+0x67/0x70
[<ffffffff8114011d>] generic_file_read_iter+0x3cd/0x640
[<ffffffff8114041b>] generic_file_aio_read+0x8b/0xa0
[<ffffffffa037c34b>] fuse_file_aio_read+0x7b/0xb0 [fuse]
[<ffffffff811b3e1a>] do_sync_read+0xfa/0x140
[<ffffffff811b47b5>] vfs_read+0xb5/0x1a0
[<ffffffff811b48f1>] sys_read+0x51/0x90
[<ffffffff8100b142>] system_call_fastpath+0x16/0x1b
[<ffffffffffffffff>] 0xffffffffffffffff
~#
Kiểm tra log tại /var/log/pstorage chứa các dòng log được cung cấp sau thời gian timeout 5s khi xử lý 1 request.
19-06-15 20:06:04.087 pcs_map_complete: [2.604808:13761] received map 36:6:3:1:37 for 0@[0002406f]/ve.conf -> O00028b79
19-06-15 20:06:04.087 cs_whitelist: Whitelisting CS1029 by mds hint
19-06-15 20:06:04.087 pcs_map_complete: 0@[0002406f]/ve.conf -> O00028b79 1 node map { 1029 0 0}
19-06-15 20:06:04.088 pcs_cc_process_ireq_chunk: [0002406f]/ve.conf [0]
19-06-15 20:06:04.088 pcs_flow_cs_analysis: CS Flow age 172049, 0+1924
19-06-15 20:06:04.088 log_cs_info: LAT CS#1029 io_prio=68[0] lat=0+0/0 infl=24664/0/1 p=0 csf=1/0(1/1)
19-06-15 20:06:04.088 pcs_cslist_submit_read: Selected read map 0@[0002406f]/ve.conf to CS1029; is_seq=0
19-06-15 20:06:11.181 kill_timer_work: killing msg to CS#1029 type=256 xid=[2.604808:13762] stage=1 tmo=6000 exp=-1425069515062 rem=-1425069491062
19-06-15 20:06:11.181 cs_response_done: [2.604808:13762]IO error 14 1029
19-06-15 20:06:11.181 cs_blacklist: Blacklisting CS1029 by read error, err=14
Nguyên nhân;
Vấn đề ở đây có thể được tóm gọn lại như sau:
Khi list các file tại điểm mount Virtuozzo Storage thì không có vấn đề gì => Điều này thể hiện việc giao tiếp giữa metadata trong Virtuozzo cluster không gặp đề gì.
Vấn đề xảy ra khi kết nối đến Chunk Server, tiến trình read các file local và Chunk server không được cho phép, các gói tin bị drop.
Giải pháp:
Tiến hành cấu hình cấu hình lại firewall để cho phép kết nối thông qua interface với Node Virtuozoo storage.
Reconfigure firewall to allow connections through the interface which is dedicated for Virtuozzo storage.
