こんばんは、牧野です。
最近、急に涼しくなりましたね。おかげで、自転車通勤がかなり快適になりうれしいです。

さて、今日はサーバ間でディレクトリを同期させるのに便利な、lsyncdについてです。
アシアルではいくつかのシステムでlsyncdを使っています。
大量のファイルの同期が必要そうなシステムが出てきたため、lsyncdの制限について検証してみました。
lsyncdで問題となりそうなパラメータが、inotifyのmax_user_watchesです。
参考にしたのは、こちらのブログです。
lsyncdの設定については、以前熊谷がブログを書いていますので、こちらもご覧下さい。

今回の検証環境は、vmwareのdebianサーバ2台です。
サーバ1ではlsyncdを、サーバ2でrsyncをデーモンで動かします。

/etc/lsyncd.xml.conf

1. <lsyncd version="1">
2.   <settings>
3.     <logfile filename="/var/log/lsyncd.log"/>
4.     <binary filename="/usr/bin/rsync"/>
5.     <pidfile filename="/var/run/lsyncd.pid"/>
6.     <callopts>
7.       <option text="-%rlptgoD"/>
8.       <option text="--delete" />
9.       <exclude-file/>
10.       <source/>
11.       <destination/>
12.     </callopts>
13.   </settings>
14.   <directory>
15.     <source path="/data/backup1/"/>
16.     <target path="192.168.137.13::backup1"/>
17.   </directory>
18. </lsyncd>

/etc/rsyncd.conf

1. uid = root
2. gid = root
3. log file = /var/log/rsyncd.log
4. pid file = /var/log/rsyncd.pid
6. [backup1]
7.         comment = rsync backup1
8.         path = /data/backup1
9.         hosts allow = 192.168.137.12/32
10.         read only = false

上のように同期設定をし、サーバ1で大量のファイル、ディレクトリを作成するプログラムを実行、正常に同期されるか確認します。
デフォルトではmax_user_watchesの値は、8192になっていますので、実験用に小さくします。今回は100にしました。

/etc/sysctl.confに

1. fs.inotify.max_user_watches = 100

を追加して、rootで

1. /sbin/sysctl -p

を実行します。

lsyncd_test.php

1. <?php
2. $base_dir = '/data/backup1';
3. if (!is_dir($base_dir)) {
4.   exec('mkdir -p '. $base_dir);
5.   exec('chmod 777 '. $base_dir);
6. }
8. //合計1000個のファイルを作成する。
9. $file_num = 1000;
11. //ファイル5個ごとにディレクトリを作成する。
12. $num_per_dir = 5;
14. for ($i = 0; $i < $file_num; $i++) {
15.   if ($i % $num_per_dir == 0) {
16.     $sub_dir = $base_dir .'/'. sprintf('%05d', intval($i / $num_per_dir));
18.     if (!is_dir($sub_dir)) {
19.       exec('mkdir -p '. $sub_dir);
20.       exec('chmod 777 '. $sub_dir);
21.     }
22.   }
23.   exec("touch {$sub_dir}/". sprintf('%05d', $i));
24. }

lsyncd_test.phpを実行すると、/data/backup1内に、200個のディレクトリ、各ディレクトリに5個のファイル、合計1000個のファイルが作成されます。

lsyncd_test.phpを実行して、サーバ2で/data/backup1を確認すると、

ディレクトリは/data/backup1を含め、201個ありますが、ファイルは485個で止まっています。

ファイルを確認すると、

00000～00096のディレクトリのファイルまでは同期されていることがわかります。
/var/log/lsyncd.logを見ると、

00097から以後で、ディレクトリを監視対象に追加しようとしてエラーが発生していました。
このように、max_user_watchesの値は自動同期できるディレクトリ数に関係していることが確認できました。
lsyncdを使う場合でディレクトリ数が多くなりそうな時は、パラメータの値に気をつけて下さい。