JFS operation HP Korea / Operations JFS operation

JFS Product Infomation HP JFS 3.3은 최신version의 JFS(Journaled File System)이며, JFS는 VERITAS File System 또는 VxFS로도 알려져 있습니다. HP OnLineJFS 3.3은 부가적인 기능을 제공하는 별도의 상용 product입니다. Support Table HP JFS 3.3에서 추가된 기능 Access Control Lists(ACLs) New disk layout, version 4 File system shrink enhancement A new command, vxtunefs, for tuning a VxFS file system Performance enhancements HP JFS 3.3은 XSWGR1100 March 2000 version(for server), QPK1100 June 2000 version(for workstation)부터 포함되어 있습니다. 경고 11.0 system에 JFS 3.3을 추가한 경우 /, /usr은 version 4로 upgrade할 수 없습니다. /var, /opt등도 version 4로 변경하는 것을 권장하지 않습니다. 이러한 기본 directory들은 system recovery시 문제가 있습니다. Recovery media에 예전 version의 JFS가 제공되므로 version 4로 구성된 file system을 인식하지 못하기 때문에 booting이 되지 않을 수 있습니다. JFS operation

VxFS(Veritas File System) Disk Layout Option Version 1 not supported on HP-UX Version 2 filesets dynamic inode allocation Version 3 files up to one terabyte file systems up to one terabyte Version 4 Access Control Lists JFS operation

VxFS version 2 Layout JFS operation Super-Block file system type 생성된 날짜와 변경된 날짜 label 정보 size와 file system layout 정보 사용 가능한 자원의 수 file system의 disk layout version 정보 object location table과 그 replica의 pointer super-block은 file system이 시작하는 8192 byte 뒤에 있어 utility 를 이용한 접근을 쉽게 할 수 있으며 1024 byte의 길이를 가집니다. super-block의 복사본은 allocation unit header에 각각 존재하며 이는 super-block이 깨졌을 때 복구하는데 사용할 수 있습니다. Object Location Table object location table(OLT)은 super-block의 확장으로 생각할 수 있습니다. Mount되었을 때 사용되었던 정보들로 구성되어 있으며 super-block 바로 뒤의 8K로 구성되어 있습니다. OLT는 disk 손상에 대비하도록 intent log뒤의 OLT replica에 복제되어 있습니다. JFS operation

Major VxFS Features File System Performance Enhancements Fast File System Recovery Online System Administration Online Backup Enhanced I/O Performance Quotas Access Control Lists Support for Large Files JFS operation

File System Performance Enhancements HFS File System은 block단위의 할당 기법을 사용하기 때문에 작은 file들에 대해서는 적당한 ramdom access와 latency를 제공합니다. 그러나 더 큰 file들에 대한 효율은 좋지 않습니다. 따라서 상용화된 환경에서는 점점 사용되지 않고 있습니다. VxFS는 다음과 같은 성능 강화 기법을 제공합니다. Extent based allocation enhanced mount options data synchronous I/O direct I/O and discovered direct I/O caching advisories enhanced directory features explicit file alignment, extent size, and preallocation controls tuneable I/O parameter tuneable indirect data extent size Disk space는 1024 byte sector의 논리 block으로 할당되어 있습니다. VxFS는 1024, 2048, 4096과 8192 byte의 논리 block size를 제공합니다. 8GB file system까지의 default block size는 1K이며, 16GB file system까지는 2K, 32GB file system까지는 4K, 그 이상의 file system은 8K를 default block size로 사용합니다. JFS operation

Fast File System Recovery HFS File System은 system 장애시 fsck utility에 의존하는 방법밖에 없습니다. 매우 큰 file system에서는 정상적인지 확인하거나 오류를 바로잡기 위해 file system 전체를 확인하는데 10분, 1시간, 아니면 그 이상을 기다려야 합니다. VxFS는 intent logging이라는 기법을 이용하여 몇 초면 복구가 가능합니다. System 장애 복구시 fsck는 intent log를 replay하여 system 장애시 발생했던 동작들에 대하여 무효화하거나 완료함으로써 file system은 전체에 대한 확인 절차를 거치지 않아도 mount하여 사용이 가능하게 됩니다. Disk가 hardware적으로 손상된 경우에는 단지 intent log를 replay하는 것만으로 복구가 되지 않고 VxFS에서 제공하는 fsck utility로 전체 file system에 대한 확인을 해야 합니다. JFS operation

Online System Administration Defragmentation fsadm utility 는 mount된 file system의 단편화를 제거합니다. removing unused space from directories making all small files contiguous consolidating free blocks for file system use Resizing fsadm utility는 umount하거나 user의 사용을 제한하는 등의 불편없이 file system을 늘리거나 줄일 수 있게 합니다. HP OnLineJFS product를 구입한 경우에만 online중에 user가 access하는 동안에도 defragment 와 file system resize를 할 수 있습니다. Defragmentation 처음에 data가 write될 때에는 가장 좋은 성능을 발휘할 수 있는 위치에 저장이 됩니다. 그러나 file system을 사용하면서, file을 생성하고, 삭제하고, 크기가 변하는 것을 반복하면서 file system의 data들은 멀리 떨어지고 사용하지 않는 gap이나 조각들이 생기게 됩니다. 이것이 바로 잘 알려져 있는 단편화 현상이며 이는 file system 성능을 저하시키는 요인이 됩니다. HFS는 단편화를 막기 위해 cylinder group 개념을 사용합니다. Cylinder group은 free inode와 data block를 지시하는 file system의 한 구역이며 이를 이용하여 가장 근접한 data block을 inode에 할당하는 기법을 사용합니다. 이는 단편화를 줄일 수는 있지만 근본적으로 해결하지는 못합니다. Resizing file system을 줄이는 것은 version 4에서만 지원합니다. JFS operation

Online Backup HP OnLineJFS product는 snapshot 기술을 이용한 online data backup 방법을 제공합니다. Mount된 file system에 대한 특정 시점의 읽기만 가능한 복사본이 만들어지는 것 입니다. 아래의 방법 중 하나로 backup이 가능합니다. Snapshot file system의 특정 file만을 복사(find와 cpio를 이용) 전체 file system을 backup(fscat을 이용) 전체 backup 또는 변경된 file만 backup(vxdump를 이용) Snapshot file system을 생성하는 방법 mount -F vxfs -o snapof=special|mount_point,\ snapsize=snapshot_size snapshot_special snapshot_mount_point 예제) 지난 일주일간 변경된 file들을 cpio를 이용하여 backup받는 방법 # mount -F vxfs -o snapof=/dev/dsk/c0t0d0,\ snapsize=100000 /dev/dsk/c0t1d0 /backup/home # cd /backup # find home -ctime -7 -depth -print | \ cpio -oc > /dev/rmt/0m # umount /backup/home JFS operation

Enhanced I/O Performance 시스템 관리자는 file system의 기본 구성에서 특정 parameter를 설정하여 I/O performance를 향상시킬 수 있습니다. Default Indirect Extent Size Discovered Direct I/O (HP OnLineJFS only) Maximum Direct I/O Size (HP OnLineJFS only) JFS operation

Quotas VxFS는 Berkeley Software Distribution(BSD) 형태의 Quota를 지원합니다. 이는 file과 data block이라는 두 가지 자원을 각 user마다 할당하고 제한하는 기능입니다. Quota는 각 자원에 대해 두 가지 limit 가 존재합니다. hard limit - file이나 data block의 절대적인 제한값입니다. User는 이 값을 절대로 넘겨 사용할 수 없습니다. soft limit - hard limit보다는 낮게 설정되고 제한된 시간동안 초과를 허용하는 제한값입니다. 이는 user가 임시로 제한값을 넘겨 사용하고 제한된 시간 안에 이 수치 아래로 낮추도록 허용합니다. Quota 사용법 - quota 적용 # mount -F vxfs -o quota special /mount_point - user별 limit 설정 # edquota username - quota 설정값 수정 # edquota -t - display user quota # quota -v username - quota 해제 # umount /mount_point JFS operation

Access Control Lists Access control lists(ACL)은 VxFS version 4 file system에서만 지원합니다. ACL은 특정 user나 group에 대한 access 권한을 부여한 항목들의 집합입니다. ACL은 여러 user나 group에 대해 세밀한 access 권한을 부여할 수 있습니다. JFS operation

Support for Large Files 테스트되고 HP-UX 11.x에서 지원되고 있는 VxFS의 최대 file size는 1 tera byte 입니다. Large file이라 함은 2 giga byte 이상의 file을 뜻합니다. Create large file system # mkfs -F vxfs -o largefiles special_device Mount large file system # mount -o largefiles block_device mount_point Convert large file system # fsadm -F vxfs -o largefiles mount_point Large file system으로 설정시 application이나 backup utility등이 large file을 인식하지 못하는 경우가 발생할 수 있으므로 변경시 주의하여야 합니다. JFS operation

Performance and Tuning 어떤 file system에서나 최상의 성능을 이끌어 내는 것은 중요한 일입니다. VxFS file system의 option은 system 성능을 최적화할 수 있는 방법을 제공합니다. Block Size 선택 Intent Log Size 선택 Mount option 선택 Kernel tuning Monitoring Free Space I/O Tuning Block Size 선택 application의 특성에 따라 block size를 다르게 설정할 수 있습니다. 만약 작은 크기의 file들이 많이 존재하는 경우라면 1K의 가장 작은 block size를 선택하고, size가 큰 file들이라면 더 큰 block size를 사용하는 것이 적합합니다. Intent Log Size 선택 기본적으로 file system 구성시 intent log size는 1024 block이 할당됩니다. 그러나 NFS server나 synchronous write를 하는 경우 intent log size를 크게 잡는 것이 좋습니다. Intent log size를 크게 잡았을 때에는 recovery에 소요되는 시간이 길어지거나 일반적인 사용시 system resource를 더 많이 사용할 수 있으니 주의하시기 바랍니다. Mount Option 선택 VxFS는 blkclear, delaylog, tmplog, nolog, nodatainlog 등의 mode를 제공하며 cache 특성을 변경하는 방법으로 mincache mode가 있습니다. Delaylog와 tmplog mode는 log mode에 비해 15~20 퍼센트 정도의 성능 향상을 제공하며 file system 구조에 관련된 특정 동작에 대해서는 100퍼센트 이상의 효과를 발휘하기도 합니다.(mkdir, create, rename등의 경우) mode를 선택하는 가장 좋은 방법은 각 mode에 대한 성능을 비교하여 그 결과를 가지고 선택하는 것 입니다. JFS operation

Performance and Tuning (Mount Option) File System 특성에 따른 권장 mount option Deskop File System # mount -F vxfs -o log,mincache=closesync /dev/dsk/c1t3d0 /mnt Temporary File System or Restoring from Backup # mount -F vxfs -o tmplog,convosync=delay,mincache=tmpcache \ /dev/dsk/c1t3d0 /mnt Data Synchronous Writes # mount -F vxfs -o log,convosync=dsync /dev/dsk/c1t3d0 /mnt Log default logging mode이며 disk에 대한 system call return시 file system 구조에 대한 모든 변화를 기록합니다. 만약 file system이 손상되면 최근의 변화에 대해 fsck가 intent log를 replay함으로써 복구할 수 있습니다. Delaylog 특정 system call들에 대해서는 지연된 logging을 시행합니다. 이는 성능 향상을 가져 오지만 그 사이에 발생하는 장애에 대해서는 복구를 보장할 수 없습니다. 기존 UNIX level의 안정성을 제공합니다. Tmplog, Nolog 모든 intent logging이 지연됩니다. 이는 획기적인 성능 향상을 가져오지만 장애 발생시 최근에 변경된 부분이 없어질 수도 있습니다. 이 mode는 임시 directory에 대해서만 사용할 것을 권장합니다. Nodatainlog bad block revectoring을 지원하지 않는 disk에서 사용될 수 있습니다. 이 mode를 사용하는 경우 synchronous write에 대해서 50퍼센트 정도의 성능 저하를 가져올 수 있습니다. Blkclear data 보안을 강화하는 mode입니다. 10퍼센트 정도의 성능 저하를 가져올 수 있습니다. JFS operation