renay****@ybb*****
renay****@ybb*****
2016年 11月 4日 (金) 07:48:35 JST
秋葉さん おはようございます。山内です。 私の方で、RHのBugzillaに登録した所、同事象は、すでにRHで認識済のsystemdの不具合であることが確認出来ました。 今週中あたりから、RHEL7.2上で対応版のsystemdで動作を確認中です。 ＃確認を開始した時点では、RHEL7.2でも正式に対応版rpmは出ていませんでした。 以下がBugzillaで回答のあった動作を確認中の対応rpmになります。 ----- systemd-219-30.el7.centos.3.x86_64 systemd-python-219-30.el7.centos.3.x86_64 systemd-libs-219-30.el7.centos.3.x86_64 systemd-sysv-219-30.el7.centos.3.x86_64 ----- また、今朝確認しましたが、RHの方は、最新のupdateを適用することで、私の方で確認している systemdに更新されるようになったようです。 ＃CentOS7.2の方では、まだのsystemdのupdateは出ていないようですが、近いうちに出るものと思われます。 以下がRHの最新のupdate適用後に確認出来た更新されたsystemdのrpmになります。 ----- systemd-libs-219-30.el7_3.3.x86_64 systemd-219-30.el7_3.3.x86_64 systemd-python-219-30.el7_3.3.x86_64 systemd-sysv-219-30.el7_3.3.x86_64 ----- 現在は、簡易な再現方法で動作を確認中ですが、 来週中には、Pacemaker上でのpgsqlのストリーミング構成での動作まで確認し、ご連絡出来ると思います。 以上です。 ----- Original Message ----- > From: AKIBA Makoto <akiba****@acroq*****> > To: linux****@lists***** > Cc: > Date: 2016/10/29, Sat 16:36 > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動かした際の空きメモリ減少について > >T o: 山内さん > > 秋葉です。 > いつもお世話になっております。 > >> 簡易に現象を確認する方法を見つけたので、私の方で、RHのBugzillaに登録し >> てみるつもりです。 > > ありがとうございます！ > 再現方法まで確認していただいて助かります。 > > >> １点、Pacemaker側の対処ではありませんが、systemctlのコマンド実行で、 >> systemdを再実行させることでRESを戻すことは出来そうです。 >> >> #systemctl daemon-reexec > > こちらの環境(仮想マシンゲスト)で試してみました。 > 本番機はすぐには出来ないので、ひとまず検証機(同様のクラスタ構成です)で > 実行したところ、確かにsystemdのメモリ使用量(VSZ、RSS共に)が > ほぼ初期状態まで戻りました。 > > 実行中のシステムにも特に影響は見られないようです。 > (再起動無しで手が打てるのはありがたいですね) > > 当方でも、もう少し経過を観察して、支障がないならば > (systemdの問題が解決するまでの)当面は定期的に動かすなどの > 回避策を取りたいと思います。 > > ------------------------------------------------------------ > ■実行前 > top - 13:21:00 up 4 days, 17:08, 2 users, load average: 0.10, 0.08, 0.06 > Tasks: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie > %Cpu(s): 0.5 us, 0.0 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st > KiB Mem : 3882704 total, 114996 free, 335624 used, 3432084 buff/cache > KiB Swap: 2097148 total, 2097148 free, 0 used. 3026000 avail Mem > > PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND > 1 root 20 0 198408 160824 2388 S 0.0 4.1 16:38.06 systemd > > ■実行後 > top - 13:21:01 up 4 days, 17:08, 2 users, load average: 0.10, 0.08, 0.06 > Tasks: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie > %Cpu(s): 5.0 us, 5.5 sy, 0.0 ni, 80.1 id, 9.0 wa, 0.0 hi, 0.5 si, 0.0 st > KiB Mem : 3882704 total, 114996 free, 335624 used, 3432084 buff/cache > KiB Swap: 2097148 total, 2097148 free, 0 used. 3026000 avail Mem > > PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND > 1 root 20 0 41116 3196 2092 S 10.0 0.1 16:38.16 systemd > ------------------------------------------------------------ > > また何かわかりましたら、お願い致します。 > > > 以上、よろしくお願い致します。 > >> -----Original Message----- >> From: linux****@lists***** >> [mailto:linux****@lists*****] On Behalf Of >> renay****@ybb***** >> Sent: Saturday, October 29, 2016 7:51 AM >> To: linux****@lists***** >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動か >> した際の空きメモリ減少について >> >> 秋葉さん >> >> >> おはようございます。山内です。 >> >> その後ですが、最終的に、RHL7.2も同様の事象と判断して動作を流すのは停止 >> しました。 >> (CentOS7.2の方は、来週頭まで流すつもりです。） >> >> 簡易に現象を確認する方法を見つけたので、私の方で、RHのBugzillaに登録し >> てみるつもりです。 >> >> １点、Pacemaker側の対処ではありませんが、systemctlのコマンド実行で、 >> systemdを再実行させることでRESを戻すことは出来そうです。 >> >> #systemctl daemon-reexec >> >> 上記を実行することで、systemdが再実行されてRESが戻ります。 >> ですが、再実行後も結局、systemed(pid=1)のRESの増加は始まりますので、cron >> などで定期的に実行する必要がありそうです。 >> >> 手元の環境(pgsqlのストリーミング構成）では上記コマンドの実行で、クラス >> タリソースには影響はありませんでしたが、念のため、仮想ゲストなどで影響 >> がないことを１度確認された方がよいかと思います。 >> #申し訳ありませんが、systemctl daemon-reexecの有効性について、ちゃんと >> 確認が取れていない為です。 >> >> また、動きがありましたら、御連絡いたします。 >> >> 以上です。 >> >> ----- Original Message ----- >> >From: "renay****@ybb*****" > <renay****@ybb*****> >> >To: "linux****@lists*****" > <linux****@lists*****> >> >Date: 2016/10/26, Wed 17:42 >> >Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動か >> した際の空きメモリ減少について >> > >> >秋葉さん >> > >> >今晩は、山内です。 >> > >> >>PostgreSQLのストリーミングの簡易構成での再現試験で >> >>類似事象が発生したとのこと、ご連絡ありがとうございます。 >> > >> >RHEL7.2も実行中ですが、傾向を見ると同様のようです。 >> >こちらは、もう少し流してみます。 >> > >> >>> * https://github.com/systemd/systemd/issues/2614 >> >> >> >>情報ありがとうございます。 >> >>こちらでも類似の情報を見たことがありました。 >> >>(タイトルはよく似ていますが全く同じではないようですね) >> >>> http://serverfault.com/questions/755818/systemd-using-4gb-ram-after- >> 18-days-of-uptime >> > >> >拝見しました。 >> >おっしゃる通り、似ていますが、全く同じではないようですね。 >> > >> >>これらの事象は必ず発生するものではないとすると、何らかの >> >>条件があるのだと思ってはいますが、それが分からないのが >> >>苦しいところです。 >> > >> >>ちなみに、ダメ元でお伺いしますが、 >> >>pacemakerでPostgreSQLをストリーミング構成で >> >>動かすにあたって、pacemakerの定義(たとえばヘルスチェックの >> >>仕方など)で改善できる要素などはあるのでしょうか？ >> > >> >こちらについては、もう少々お待ちください。 >> >何が原因なりそうか、これから調査する所です。 >> >それがわかれば、Pacemaker側での回避設定・修正も可能かも知れません。 >> > >> >また、コミュニティのメンバーとも昨日少し話をしましたが、もう少し事象を >> 限定的な簡易な方法（Pacemaker無のコマンドの繰り返し実行など) >> >で再現できるかどうかを確認してRHの方へBugzillaへ報告してみる予定です。 >> > >> >>ACT+SBY構成ならば起きないが、HotStandby(ストリーム >> >>レプリケーション)構成だと発生する、ということなのか、 >> >>それに付随した原因が考えられるのか、といったところです。 >> > >> >もしかすると、ACT+SBYでもDummyではなくpgsqlのRAを使った場合に起きる >> かも知れません。 >> >#こちらは確認してみる予定です。 >> > >> > >> >>> 回答的には、systemd2.1.9よりも新しいバージョンを >> >>> 利用するようにとのことで、Closeしていますが・・ >> >>この点ですが、RHEL／CentOSでyumでインストールできるものは >> >>2.1.9 (219-19.el7_x.xx) と見え、systemdの GitHubでは >> >>既に2.3.1(v231)がリリースされています。 >> > >> >はい。私も確認しています。 >> > >> >>RedHatは、2.1.9をベースにアップデートを重ねているようですが、 >> >>これと、GitHub(本家)のバージョンやBugFixとの関連はどのように >> >>取れるものなのでしょうか？ >> >>(このMLで質問することではないかもしれませんが…) >> > >> >RHは、RHで採用するパッケージは決定しているので、本家とは直接関係して >> いないと思います。 >> >また、RHは本家の採用バージョンに対して必要に応じて、パッチを適用して利 >> 用しています。 >> >ですので、RHが本家のBugfixを必要と判断すれば採用するというというスタ >> ンスではないでしょうか？ >> >#CentOSも同じパッケージとなると思いますので、RHの判断に追従していると >> 思います。 >> > >> >以上です。 >> > >> > >> > >> >----- Original Message ----- >> >> From: AKIBA Makoto <akiba****@acroq*****> >> >> To: linux****@lists***** >> >> Cc: >> >> Date: 2016/10/25, Tue 20:05 >> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動 >> かした際の空きメモリ減少について >> >> >> >>T o: 山内さん >> >> >> >> 秋葉です。 >> >> いつもお世話になっております。 >> >> >> >> PostgreSQLのストリーミングの簡易構成での再現試験で >> >> 類似事象が発生したとのこと、ご連絡ありがとうございます。 >> >> >> >>> * https://github.com/systemd/systemd/issues/2614 >> >> >> >> 情報ありがとうございます。 >> >> こちらでも類似の情報を見たことがありました。 >> >> (タイトルはよく似ていますが全く同じではないようですね) >> >> >> http://serverfault.com/questions/755818/systemd-using-4gb-ram-after-18 >> -days-of-uptime >> >> >> >> >> >> これらの事象は必ず発生するものではないとすると、何らかの >> >> 条件があるのだと思ってはいますが、それが分からないのが >> >> 苦しいところです。 >> >> >> >> ちなみに、ダメ元でお伺いしますが、 >> >> pacemakerでPostgreSQLをストリーミング構成で >> >> 動かすにあたって、pacemakerの定義(たとえばヘルスチェックの >> >> 仕方など)で改善できる要素などはあるのでしょうか？ >> >> >> >> ACT+SBY構成ならば起きないが、HotStandby(ストリーム >> >> レプリケーション)構成だと発生する、ということなのか、 >> >> それに付随した原因が考えられるのか、といったところです。 >> >> >> >> >> >>> 回答的には、systemd2.1.9よりも新しいバージョンを >> >>> 利用するようにとのことで、Closeしていますが・・ >> >> >> >> この点ですが、RHEL／CentOSでyumでインストールできるものは >> >> 2.1.9 (219-19.el7_x.xx) と見え、systemdの GitHubでは >> >> 既に2.3.1(v231)がリリースされています。 >> >> >> >> RedHatは、2.1.9をベースにアップデートを重ねているようですが、 >> >> これと、GitHub(本家)のバージョンやBugFixとの関連はどのように >> >> 取れるものなのでしょうか？ >> >> (このMLで質問することではないかもしれませんが…) >> >> >> >> >> >> 以上、よろしくお願い致します。 >> >> >> >>> -----Original Message----- >> >>> From: linux****@lists***** >> >>> [mailto:linux****@lists*****] On Behalf Of >> >>> renay****@ybb***** >> >>> Sent: Monday, October 24, 2016 7:25 PM >> >>> To: linux****@lists***** >> >>> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL > を >> 動か >> >>> した際の空きメモリ減少について >> >>> >> >>> 秋葉さん >> >>> >> >>> こんばんは、山内です。 >> >>> >> >>> PostgreSQLのストリーミングの簡易構成でCentOS7.2で週末(3日間程度） >> に流 >> >>> してみました。 >> >>> >> >>> どうやら、明らかに先にDummy構成などで確認した増加量を大幅に超えて、 >> 秋 >> >>> 葉さんのおっしゃるようにsystemd(pid=1)で増加がみられるようです。 >> >>> >> >>> ------ >> >>> [root ＠ c7-01 ~]# crm_mon -1 -Af >> >>> Last updated: Mon Oct 24 16:27:24 2016 >> >>> Last change: Thu Oct 20 20:40:40 2016 by root via > crm_attribute on >> c7-01 >> >>> Stack: corosync >> >>> Current DC: c7-01 (version 1.1.13-10.el7_2.4-44eb2dd) - > partition >> with >> >>> quorum >> >>> 2 nodes and 5 resources configured >> >>> >> >>> Online: [ c7-01 c7-02 ] >> >>> >> >>> vipCheckMaster (ocf::heartbeat:VIPcheck): Started c7-01 >> >>> Resource Group: master-group >> >>> vip-master (ocf::heartbeat:IPaddr2): Started c7-01 >> >>> vip-rep (ocf::heartbeat:IPaddr2): Started c7-01 >> >>> Master/Slave Set: msPostgresql [pgsql] >> >>> Masters: [ c7-01 ] >> >>> Slaves: [ c7-02 ] >> >>> >> >>> Node Attributes: >> >>> * Node c7-01: >> >>> + master-pgsql : 1000 >> >>> + pgsql-data-status : LATEST >> >>> + pgsql-master-baseline : 0000000008000060 >> >>> + pgsql-status : PRI >> >>> * Node c7-02: >> >>> + master-pgsql : 100 >> >>> + pgsql-data-status : STREAMING|SYNC >> >>> + pgsql-status : HS:sync >> >>> >> >>> Migration Summary: >> >>> * Node c7-01: >> >>> * Node c7-02: >> >>> ------ >> >>> >> >>> 1)Master側 >> >>> PID USER PR NI VIRT RES SHR S %CPU %MEM > TIME+ >> >>> COMMAND >> >>> 1 root 20 0 44040 6720 3908 >> S 0.0 0.3 0:03.98 >> >>> systemd >> >>> 1 root 20 0 44040 6720 3908 >> S 0.3 0.3 0:04.16 >> >>> systemd >> >>> 1 root 20 0 44040 6720 3908 >> S 0.3 0.3 0:04.35 >> >>> systemd >> >>> (snip) >> >>> 1 root 20 0 116216 78852 3908 >> S 0.3 3.8 18:08.67 >> >>> systemd >> >>> 1 root 20 0 116216 78868 3908 >> S 0.3 3.8 18:08.86 >> >>> systemd >> >>> 1 root 20 0 116216 78892 3908 >> S 0.4 3.8 18:09.08 >> >>> systemd >> >>> >> >>> 2)Slave側 >> >>> PID USER PR NI VIRT RES SHR S %CPU %MEM > TIME+ >> >>> COMMAND >> >>> 1 root 20 0 44172 6796 3908 >> S 5.6 0.3 0:03.33 >> >>> systemd >> >>> 1 root 20 0 44172 6796 3908 >> S 0.2 0.3 0:03.46 >> >>> systemd >> >>> 1 root 20 0 44172 6796 3908 >> S 0.2 0.3 0:03.60 >> >>> systemd >> >>> (snip) >> >>> 1 root 20 0 95368 57944 3468 >> S 0.3 2.8 12:42.27 >> >>> systemd >> >>> 1 root 20 0 95368 57944 3468 >> S 0.2 2.8 12:42.40 >> >>> systemd >> >>> 1 root 20 0 95368 57948 3468 >> S 0.2 2.8 12:42.54 >> >>> systemd >> >>> >> >>> こちらは、もう少し流してみる予定です。 >> >>> >> >>> さらに、私の方で利用しているのは、主にRHELになりますので、RHEL7.2 >> でも >> >>> 流してみようと思っています。 >> >>> >> >>> １点..systemdのgithubのissueで同様の現象が報告されているのを見つ >> けま >> >>> した。 >> >>> 回答的には、systemd2.1.9よりも新しいバージョンを利用するようにとの >> こと >> >>> で、Closeしていますが・・ >> >>> * https://github.com/systemd/systemd/issues/2614 >> >>> >> >>> RHEL7.2も2.1.9が入っているので事象が起きるかも知れません。 >> >>> #CentOS7.2と、全く同一のものが入っている模様。 >> >>> >> >>> また、御連絡しますが、何らかのsystemdに関連した不具合の可能性が高 >> いと >> >>> 思っています。 >> >>> >> >>> #ちなみに、PostgreSQLのストリーミング構成を行わずに、Pacemakerを >> Dummy >> >>> リソースでACT/STB構成で、 >> >>> #pcsdを起動した構成では、極端なメモリ増加は見られていませんでした。 >> >>> >> >>> 以上です。 >> >>> >> >>> >> >>> >> >>> >> >>> ----- Original Message ----- >> >>> > From: "renay****@ybb*****" >> >> <renay****@ybb*****> >> >>> > To: "linux****@lists*****" >> >> <linux****@lists*****> >> >>> > Cc: >> >>> > Date: 2016/10/18, Tue 23:43 >> >>> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > PostgreSQL を >> 動 >> >>> かした際の空きメモリ減少について >> >>> > >> >>> > 秋葉さん >> >>> > >> >>> > こんばんは、山内です。 >> >>> > >> >>> > すいません・・見間違えていました。 >> >>> > >> >>> > PostgreSQLのバージョン、了解いたしました。 >> >>> > >> >>> > また、結果が出ましたら、ご連絡します。 >> >>> > >> >>> > 以上です。 >> >>> > >> >>> > >> >>> > >> >>> > ----- Original Message ----- >> >>> >> From: AKIBA Makoto <akiba****@acroq*****> >> >>> >> To: linux****@lists***** >> >>> >> Cc: >> >>> >> Date: 2016/10/18, Tue 19:20 >> >>> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > PostgreSQL >> >>> > を動かした際の空きメモリ減少について >> >>> >> >> >>> >> T o: 山内さん >> >>> >> >> >>> >> 秋葉です。 >> >>> >> いつもお世話になっております。 >> >>> >> >> >>> >>> 9日でかなり大きいですね・・・ >> >>> >> >> >>> >> いえ、１カ月と９日（３９日）です・・・ >> >>> >> >> >>> >> >> >>> >>> こちらでも、今週末からPGREX(レプリケーション）構成で来週頭ま >> で >> >>> >>> 流してみるつもりです。 >> >>> >> >> >>> >> ありがとうございます。 >> >>> >> >> >>> >> >> >>> >>> ちなみに、postgreSQLのバージョンはいくつをお使いでしょうか？ >> >>> >>> 同じバージョンで流して試してみるつもりです。 >> >>> >> >> >>> >> インストールしているパッケージは以下になります。 >> >>> >> >> >>> >> # rpm -qa | grep postgres >> >>> >> postgresql94-libs-9.4.8-1PGDG.rhel7.x86_64 >> >>> >> postgresql94-server-9.4.8-1PGDG.rhel7.x86_64 >> >>> >> postgresql94-9.4.8-1PGDG.rhel7.x86_64 >> >>> >> postgresql94-contrib-9.4.8-1PGDG.rhel7.x86_64 >> >>> >> >> >>> >> よろしくお願い致します。 >> >>> >> >> >>> >> >> >>> >> 以上 >> >>> >> >> >>> >>> -----Original Message----- >> >>> >>> From: linux****@lists***** >> >>> >>> [mailto:linux****@lists*****] > On Behalf Of >> >>> >>> renay****@ybb***** >> >>> >>> Sent: Tuesday, October 18, 2016 7:06 PM >> >>> >>> To: linux****@lists***** >> >>> >>> Subject: Re: [Linux-ha-jp] pacemaker + > corosync 上で >> >> PostgreSQL を >> >>> 動か >> >>> >>> した際の空きメモリ減少について >> >>> >>> >> >>> >>> 秋葉さん >> >>> >>> >> >>> >>> こんばんは、山内です。 >> >>> >>> >> >>> >>> > 確認しましたが、pcsdは常時起動してはいませんでした。 >> >>> >>> > (pacemakerd ではないのですよね？) >> >>> >>> >> >>> >>> >> >>> >>> そうでしたか・・・pcsdは利用していませんでしたか・・・ >> >>> >>> 利用されていたと思い、今日の昼頃からpcsdも起動して流してい >> ました >> >>> が、意 >> >>> >>> 味がないようですので、そちらは止めておきます。 >> >>> >>> >> >>> >>> >> >>> >>> > 現在（上記1 months 9 day）の状態で、psを見た時のsystemd >> の >> >>> >>> > VSZとRSSは以下のようになっています。 >> >>> >>> > >> >> ------------------------------------------------------------ >> >>> >>> > # ps -eo pid,vsz,rss,comm | grep systemd >> >>> >>> > 1 2229064 2188992 systemd >> >>> >>> >> >>> >>> >> >>> >>> 9日でかなり大きいですね・・・ >> >>> >>> >> >>> >>> こちらでも、今週末からPGREX(レプリケーション）構成で来週頭ま >> で流 >> >>> してみ >> >>> >>> るつもりです。 >> >>> >>> >> >>> >>> >> >>> >>> ちなみに、postgreSQLのバージョンはいくつをお使いでしょうか？ >> >>> >>> 同じバージョンで流して試してみるつもりです。 >> >>> >>> >> >>> >>> 以上です。 >> >>> >>> >> >>> >>> >> >>> >>> ----- Original Message ----- >> >>> >>> > From: AKIBA Makoto > <akiba****@acroq*****> >> >>> >>> > To: linux****@lists***** >> >>> >>> > Cc: >> >>> >>> > Date: 2016/10/18, Tue 14:14 >> >>> >>> > Subject: Re: [Linux-ha-jp] pacemaker + > corosync 上で >> >> PostgreSQL >> >>> を動 >> >>> >>> かした際の空きメモリ減少について >> >>> >>> > >> >>> >>> >T o: 山内さん >> >>> >>> > >> >>> >>> > 秋葉です。 >> >>> >>> > いつもお世話になっております。 >> >>> >>> > >> >>> >>> > 回答ありがとうございます。 >> >>> >>> > >> >>> >>> >> １点だけ、気になる点がありますが・・ >> >>> >>> >> 秋葉さんの環境はpcsを利用してクラスタのスクリプトを流 >> し込ん >> >>> でいる >> >>> >>> いる >> >>> >>> >> と思いますが、pcsdはsystemdで常時起動されている状態でし >> ょう >> >>> か？ >> >>> >>> >> もし、起動されているのであれば、こちらも、pcsd利用に変え >> て確 >> >>> 認して >> >>> >>> みた >> >>> >>> >> いと思います。 >> >>> >>> > >> >>> >>> > 確認しましたが、pcsdは常時起動してはいませんでした。 >> >>> >>> > (pacemakerd ではないのですよね？) >> >>> >>> > >> >>> >>> > >> >> ------------------------------------------------------------ >> >>> >>> > # ps -ef | grep pcsd >> >>> >>> > root 23447 838 0 14:13 pts/0 > 00:00:00 grep >> >> --color=auto >> >>> > pcsd >> >>> >>> > >> >> ------------------------------------------------------------ >> >>> >>> > # systemctl status pacemaker.service >> >>> >>> > ● pacemaker.service - Pacemaker High > Availability >> >> Cluster >> >>> Manager >> >>> >>> > Loaded: loaded >> >> (/usr/lib/systemd/system/pacemaker.service; >> >>> >>> disabled; vendor >> >>> >>> > preset: disabled) >> >>> >>> > Active: active (running) since 木 > 2016-09-08 20:59:18 >> >> JST; 1 >> >>> > months >> >>> >>> 9 days ago >> >>> >>> > Main PID: 2533 (pacemakerd) >> >>> >>> > CGroup: > /system.slice/pacemaker.service >> >>> >>> > +- 2533 /usr/sbin/pacemakerd > -f >> >>> >>> > +- 2534 > /usr/libexec/pacemaker/cib >> >>> >>> > +- 2535 > /usr/libexec/pacemaker/stonithd >> >>> >>> > +- 2536 > /usr/libexec/pacemaker/lrmd >> >>> >>> > +- 2537 > /usr/libexec/pacemaker/attrd >> >>> >>> > +- 2538 > /usr/libexec/pacemaker/pengine >> >>> >>> > +- 2539 > /usr/libexec/pacemaker/crmd >> >>> >>> > >> >>> >>> > >> >>> >>> > 現在（上記1 months 9 day）の状態で、psを見た時のsystemd >> の >> >>> >>> > VSZとRSSは以下のようになっています。 >> >>> >>> > >> >> ------------------------------------------------------------ >> >>> >>> > # ps -eo pid,vsz,rss,comm | grep systemd >> >>> >>> > 1 2229064 2188992 systemd >> >>> >>> > >> >>> >>> > >> >>> >>> > 蛇足ですが、corosyncは以下のようになっています。 >> >>> >>> > >> >> ------------------------------------------------------------ >> >>> >>> > # systemctl status corosync.service >> >>> >>> > ● corosync.service - Corosync Cluster > Engine >> >>> >>> > Loaded: loaded >> >> (/usr/lib/systemd/system/corosync.service; >> >>> > disabled; >> >>> >>> vendor >> >>> >>> > preset: disabled) >> >>> >>> > Active: active (running) since 木 > 2016-09-08 20:59:01 >> >> JST; 1 >> >>> > months >> >>> >>> 9 days ago >> >>> >>> > Process: 2509 > ExecStart=/usr/share/corosync/corosync >> >> start >> >>> >>> (code=exited, >> >>> >>> > status=0/SUCCESS) >> >>> >>> > Main PID: 2516 (corosync) >> >>> >>> > CGroup: /system.slice/corosync.service >> >>> >>> > +- 2516 corosync >> >>> >>> > >> >>> >>> > >> >>> >>> > 以上、よろしくお願い致します。 >> >>> >>> > >> >>> >>> >> -----Original Message----- >> >>> >>> >> From: > linux****@lists***** >> >>> >>> >> > [mailto:linux****@lists*****] On >> >> Behalf Of >> >>> >>> >> renay****@ybb***** >> >>> >>> >> Sent: Monday, October 17, 2016 11:09 > PM >> >>> >>> >> To: linux****@lists***** >> >>> >>> >> Subject: Re: [Linux-ha-jp] pacemaker > + corosync 上で >> >>> > PostgreSQL を >> >>> >>> 動か >> >>> >>> >> した際の空きメモリ減少について >> >>> >>> >> >> >>> >>> >> 秋葉さん >> >>> >>> >> >> >>> >>> >> こんばんは、山内です。 >> >>> >>> >> >> >>> >>> >> > 返事が遅くなりました。 >> >>> >>> >> > いろいろ再現調査していただいてありがとうございます。 >> >>> >>> >> > >> >>> >>> >> > 再現調査をした環境は pacemaker + corosync > のみ（と >> >>> >>> >> > ダミープロセス？）で動かした状態と考えてよろしい >> >>> >>> >> > でしょうか？ >> >>> >>> >> >> >>> >>> >> はい。 >> >>> >>> >> > 問題を切り分けするのが簡単ですし、pacemaker+corosyncのみ >> >>> (Dummyの >> >>> >>> み)で >> >>> >>> >> す。 >> >>> >>> >> >> >>> >>> >> > こちらでも長期動作させて観察しているのですが、 >> >>> >>> >> > pacemaker + corosync > で冗長化させているサーバが >> >>> >>> >> > > もう１種類あり、PostgreSQLではなくJavaAPが動いて >> >>> >>> >> > います。 >> >>> >>> >> > > こちらのJavaAPが動いている方はACT+STBで常に片方のみ >> >>> >>> >> > プロセスが起動しています。 >> >>> >>> >> > > (PostgreSQLのサーバは両系でプロセスが起動しています) >> >>> >>> >> > >> >>> >>> >> > この２つの冗長化サーバで、 >> >>> >>> >> > > JavaAPの方はsystemdのメモリ増加が起きていないことが >> >>> >>> >> > わかっています。 >> >>> >>> >> > >> >>> >>> >> > > もはやpacemaker+corosyncの問題というよりsystemdの >> >>> >>> >> > 問題という気もしておりますが、念のため、PostgreSQLが >> >>> >>> >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用量の >> >>> >>> >> > 増加有無に影響するのでしょうか？ >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> PostgreSQL,OS側に精通しているわけではないので、有識者の >> 方のコ >> >>> メント >> >>> >>> があ >> >>> >>> >> ると良いのですが・・・ >> >>> >>> >> Pacemakerの構成で指定したリソースエージェントのRAの >> >>> PostgreSQLは、 >> >>> >>> 基本 >> >>> >>> >> 的には、systemdプロセスへの影響はないと思っています。 >> >>> >>> >> > ＃systemdでPostgreSQLを起動して、それをPacemakerで >> systemd >> >>> リソー >> >>> >>> スで >> >>> >>> >> 管理しているのであれば影響はある可能性もあるとは思いま >> す >> >>> が・・・ >> >>> >>> >> >> >>> >>> >> 秋葉さんの環境では、PostgreSQLのレプリケーション構成だと >> 思い >> >>> ますの >> >>> >>> で、 >> >>> >>> >> 両系でPostgreSQLが動いていますのでメモリ使用料に変化は >> ある >> >>> と思い >> >>> >>> ます >> >>> >>> >> が、 >> >>> >>> >> それが、systemdのメモリ増加へは影響しないと思っています。 >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> １点だけ、気になる点がありますが・・ >> >>> >>> >> 秋葉さんの環境はpcsを利用してクラスタのスクリプトを流 >> し込ん >> >>> でいる >> >>> >>> いる >> >>> >>> >> と思いますが、pcsdはsystemdで常時起動されている状態でし >> ょう >> >>> か？ >> >>> >>> >> もし、起動されているのであれば、こちらも、pcsd利用に変え >> て確 >> >>> 認して >> >>> >>> みた >> >>> >>> >> いと思います。 >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> 以上です。 >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> ----- Original Message ----- >> >>> >>> >> > From: AKIBA Makoto >> >> <akiba****@acroq*****> >> >>> >>> >> > To: > linux****@lists***** >> >>> >>> >> > Cc: >> >>> >>> >> > Date: 2016/10/17, Mon 19:53 >> >>> >>> >> > Subject: Re: [Linux-ha-jp] > pacemaker + >> >> corosync 上で >> >>> >> PostgreSQL を >> >>> >>> 動 >> >>> >>> >> かした際の空きメモリ減少について >> >>> >>> >> > >> >>> >>> >> >T o: 山内さん >> >>> >>> >> > >> >>> >>> >> > 秋葉です。 >> >>> >>> >> > >> >>> >>> >> > 返事が遅くなりました。 >> >>> >>> >> > いろいろ再現調査していただいてありがとうございます。 >> >>> >>> >> > >> >>> >>> >> > 再現調査をした環境は pacemaker + corosync > のみ（と >> >>> >>> >> > ダミープロセス？）で動かした状態と考えてよろしい >> >>> >>> >> > でしょうか？ >> >>> >>> >> > >> >>> >>> >> > こちらでも長期動作させて観察しているのですが、 >> >>> >>> >> > pacemaker + corosync > で冗長化させているサーバが >> >>> >>> >> > > もう１種類あり、PostgreSQLではなくJavaAPが動いて >> >>> >>> >> > います。 >> >>> >>> >> > > こちらのJavaAPが動いている方はACT+STBで常に片方のみ >> >>> >>> >> > プロセスが起動しています。 >> >>> >>> >> > > (PostgreSQLのサーバは両系でプロセスが起動しています) >> >>> >>> >> > >> >>> >>> >> > この２つの冗長化サーバで、 >> >>> >>> >> > > JavaAPの方はsystemdのメモリ増加が起きていないことが >> >>> >>> >> > わかっています。 >> >>> >>> >> > >> >>> >>> >> > > もはやpacemaker+corosyncの問題というよりsystemdの >> >>> >>> >> > 問題という気もしておりますが、念のため、PostgreSQLが >> >>> >>> >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用量の >> >>> >>> >> > 増加有無に影響するのでしょうか？ >> >>> >>> >> > >> >>> >>> >> > >> >>> >>> >> > 以上 >> >>> >>> >> > >> >>> >>> >> >> -----Original Message----- >> >>> >>> >> >> From: >> >> linux****@lists***** >> >>> >>> >> >> >> >> [mailto:linux****@lists*****] On >> >>> > Behalf >> >>> >> Of >> >>> >>> >> >> renay****@ybb***** >> >>> >>> >> >> Sent: Monday, October 17, > 2016 7:16 PM >> >>> >>> >> >> To: > linux****@lists***** >> >>> >>> >> >> Subject: Re: [Linux-ha-jp] > pacemaker + >> >> corosync 上で >> >>> > >> >>> >> PostgreSQL >> >>> >>> を >> >>> >>> >> 動か >> >>> >>> >> >> した際の空きメモリ減少について >> >>> >>> >> >> >> >>> >>> >> >> 秋葉さん >> >>> >>> >> >> >> >>> >>> >> >> こんばんは、山内です。 >> >>> >>> >> >> >> >>> >>> >> >> > 遅くなりました・・続けて先週末の時点のCentOS7.2に最 >> 新の >> >>> アップ >> >>> >>> デー >> >>> >>> >> トを >> >>> >>> >> >> 適用して、２日半程度流してみみました。 >> >>> >>> >> >> ゲストの構成や、リソースは前回と同じのままです。 >> >>> >>> >> >> >> >>> >>> >> >> ---------- >> >>> >>> >> >> Linux c7-01 > 3.10.0-327.36.2.el7.x86_64 >> >> #1 SMP Mon >> >>> > Oct >> >>> >> 10 23:08:37 >> >>> >>> > UTC >> >>> >>> >> 2016 >> >>> >>> >> >> x86_64 x86_64 x86_64 > GNU/Linux >> >>> >>> >> >> > systemd-219-19.el7_2.13.x86_64 >> >>> >>> >> >> > glibc-2.17-106.el7_2.8.x86_64 >> >>> >>> >> >> > pacemaker-1.1.13-10.el7.x86_64 >> >>> >>> >> >> > corosync-2.3.4-7.el7.x86_64 >> >>> >>> >> >> ---------- >> >>> >>> >> >> >> >>> >>> >> >> 以下が結果となりました。 >> >>> >>> >> >> >> >>> >>> >> >> > ●ACTノードのpid=1のsystemdのtopデータ >> >>> >>> >> >> PID USER PR NI > VIRT RES >> >> SHR >> >>> >>> S %CPU %MEM TIME+ >> >>> >>> >> >> COMMAND >> >>> >>> >> >> 1 root 20 0 > 44172 6796 >> >> 3904 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:02.66 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6796 >> >> 3904 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:02.66 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6796 >> >> 3904 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:02.67 >> >>> >>> >> >> systemd >> >>> >>> >> >> (snip) >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.86 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.87 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.87 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.88 >> >>> >>> >> >> systemd >> >>> >>> >> >> >> >>> >>> >> >> > ●STBノードのpid=1のsystemdのtopデータ >> >>> >>> >> >> 1 root 20 0 > 44040 6640 >> >> 3900 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:02.73 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44040 6640 >> >> 3900 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:02.73 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44040 6640 >> >> 3900 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:02.74 >> >>> >>> >> >> systemd >> >>> >>> >> >> (snip) >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.67 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.68 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.68 >> >>> >>> >> >> systemd >> >>> >>> >> >> 1 root 20 0 > 44172 6808 >> >> 3908 S >> >>> > 0.0 >> >>> >> 0.3 >> >>> >>> > 0:16.70 >> >>> >>> >> >> systemd >> >>> >>> >> >> >> >>> >>> >> >> > やはり、前回と同様に、systemd(pid=1)に増加は見られま >> すが、 >> >>> 秋葉 >> >>> >>> さん >> >>> >>> >> の最 >> >>> >>> >> >> 初にご報告頂いたような増加は起きていないようです。 >> >>> >>> >> >> #ただ・・この結果だけで判断出来ないとは思いますが、 >> 前回の >> >>> 計測よ >> >>> >>> りは >> >>> >>> >> 増加 >> >>> >>> >> >> > 量が減ってように見えるので、systemd関連で何らかのメ >> モリ関 >> >>> 連の修 >> >>> >>> 正が >> >>> >>> >> 入っ >> >>> >>> >> >> ている可能性はあると思います。 >> >>> >>> >> >> >> >>> >>> >> >> 以上です。 >> >>> >>> >> >> >> >>> >>> >> >> >> >>> >>> >> >> >> >>> >>> >> >> >> >>> >>> >> >> >> >>> >>> >> >> >> >>> >>> >> >> ----- Original Message > ----- >> >>> >>> >> >> > From: >> >> "renay****@ybb*****" >> >>> >>> >> > > <renay****@ybb*****> >> >>> >>> >> >> > To: >> >> "linux****@lists*****" >> >>> >>> >> > > <linux****@lists*****> >> >>> >>> >> >> > Cc: >> >>> >>> >> >> > Date: 2016/10/3, Mon > 22:37 >> >>> >>> >> >> > Subject: Re: > [Linux-ha-jp] >> >> pacemaker + >> >>> > corosync 上で >> >>> >>> > PostgreSQL を >> >>> >>> >> 動 >> >>> >>> >> >> かした際の空きメモリ減少について >> >>> >>> >> >> > >> >>> >>> >> >> > 秋葉さん >> >>> >>> >> >> > >> >>> >>> >> >> > こんばんは、山内です。 >> >>> >>> >> >> > >> >>> >>> >> >> > > 週末から、私の環境でも、２日半程度流してみみました。 >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> > vSphere上のCentOS7.2のゲスト２台で、CentOS7.2(1511)のISOイ >> >>> >>> メー >> >>> >>> >> ジそ >> >>> >>> >> >> のままで構成してみました。 >> >>> >>> >> >> > >> >>> >>> >> >> > ---------- >> >>> >>> >> >> > CentOS Linux release > 7.2.1511 >> >> (Core) >> >>> >>> >> >> > Linux c7-01 > 3.10.0-327.el7.x86_64 >> >> #1 SMP Thu >> >>> > Nov >> >>> >> 19 22:10:57 >> >>> >>> > UTC 2015 >> >>> >>> >> >> x86_64 >> >>> >>> >> >> > x86_64 x86_64 > GNU/Linux >> >>> >>> >> >> > > systemd-219-19.el7.x86_64 >> >>> >>> >> >> > > glibc-2.17-105.el7.x86_64 >> >>> >>> >> >> > > pacemaker-1.1.13-10.el7.x86_64 >> >>> >>> >> >> > > corosync-2.3.4-7.el7.x86_64 >> >>> >>> >> >> > ---------- >> >>> >>> >> >> > >> >>> >>> >> >> > > リソースは簡易のDummyリソースのみですが、以下のよ >> うに >> >>> してい >> >>> >>> ます。 >> >>> >>> >> >> > ---------- >> >>> >>> >> >> > ●設定ファイル(crm形式です） >> >>> >>> >> >> > ### Cluster Option > ### >> >>> >>> >> >> > property >> >> no-quorum-policy="ignore" >> >>> > \ >> >>> >>> >> >> > > stonith-enabled="false" >> >> \ >> >>> >>> >> >> > > startup-fencing="false" >> >>> >>> >> >> > >> >>> >>> >> >> > ### Resource Defaults > ### >> >>> >>> >> >> > rsc_defaults >> >>> >> resource-stickiness="INFINITY" \ >> >>> >>> >> >> > > migration-threshold="1" >> >>> >>> >> >> > >> >>> >>> >> >> > ### Group > Configuration ### >> >>> >>> >> >> > group grpDummy \ >> >>> >>> >> >> > prmDummy1 \ >> >>> >>> >> >> > prmDummy2 \ >> >>> >>> >> >> > prmDummy3 \ >> >>> >>> >> >> > prmDummy4 \ >> >>> >>> >> >> > prmDummy5 \ >> >>> >>> >> >> > >> >>> >>> >> >> > ### Primitive > Configuration ### >> >>> >>> >> >> > primitive prmDummy1 >> >> ocf:pacemaker:Dummy \ >> >>> >>> >> >> > op start > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op monitor > interval="10s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op stop > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="block" >> >>> >>> >> >> > >> >>> >>> >> >> > primitive prmDummy2 >> >> ocf:pacemaker:Dummy \ >> >>> >>> >> >> > op start > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op monitor > interval="10s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op stop > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="block" >> >>> >>> >> >> > >> >>> >>> >> >> > primitive prmDummy3 >> >> ocf:pacemaker:Dummy \ >> >>> >>> >> >> > op start > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op monitor > interval="10s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op stop > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="block" >> >>> >>> >> >> > >> >>> >>> >> >> > primitive prmDummy4 >> >> ocf:pacemaker:Dummy \ >> >>> >>> >> >> > op start > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op monitor > interval="10s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op stop > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="block" >> >>> >>> >> >> > >> >>> >>> >> >> > primitive prmDummy5 >> >> ocf:pacemaker:Dummy \ >> >>> >>> >> >> > op start > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op monitor > interval="10s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="restart" \ >> >>> >>> >> >> > op stop > interval="0s" >> >>> >> timeout="60s" >> >>> >>> >> >> > > on-fail="block" >> >>> >>> >> >> > >> >>> >>> >> >> > ### Resource Location > ### >> >>> >>> >> >> > location > rsc_location-msDrbd-1 >> >> grpDummy \ >> >>> >>> >> >> > rule 200: #uname eq > c7-01 \ >> >>> >>> >> >> > rule 100: #uname eq > c7-02 >> >>> >>> >> >> > ---------- >> >>> >>> >> >> > ●crm_monの様子 >> >>> >>> >> >> > [root ＠ c7-01 ~]# > crm_mon -1 >> >>> >>> >> >> > Last updated: Mon > Oct 3 16:35:29 >> >> 2016 >> >>> > >> >>> >> Last change: >> >>> >>> > Fri Sep >> >>> >>> >> > 30 >> >>> >>> >> >> 00:28:56 >> >>> >>> >> >> > 2016 by root via > cibadmin on c7-01 >> >>> >>> >> >> > Stack: corosync >> >>> >>> >> >> > Current DC: c7-01 > (version >> >>> > 1.1.13-10.el7-44eb2dd) >> >>> >> - >> >>> >>> > partition with >> >>> >>> >> > quorum >> >>> >>> >> >> > 2 nodes and 5 > resources configured >> >>> >>> >> >> > >> >>> >>> >> >> > Online: [ c7-01 c7-02 > ] >> >>> >>> >> >> > >> >>> >>> >> >> > Resource Group: > grpDummy >> >>> >>> >> >> > prmDummy1 > (ocf::pacemaker:Dummy): >> >> Started >> >>> > c7-01 >> >>> >>> >> >> > prmDummy2 > (ocf::pacemaker:Dummy): >> >> Started >> >>> > c7-01 >> >>> >>> >> >> > prmDummy3 > (ocf::pacemaker:Dummy): >> >> Started >> >>> > c7-01 >> >>> >>> >> >> > prmDummy4 > (ocf::pacemaker:Dummy): >> >> Started >> >>> > c7-01 >> >>> >>> >> >> > prmDummy5 > (ocf::pacemaker:Dummy): >> >> Started >> >>> > c7-01 >> >>> >>> >> >> > ---------- >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> > 以下が結果となりました。 >> >>> >>> >> >> > >> >>> >>> >> >> > > ●ACTノードのpid=1のsysttemdのtopデータ >> >>> >>> >> >> > PID USER PR NI > VIRT >> >> RES SHR S >> >>> > %CPU >> >>> >> %MEM >> >>> >>> > TIME+ >> >>> >>> >> >> COMMAND >> >>> >>> >> >> > 1 root 20 0 > 44644 7280 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.18 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44644 7296 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.20 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44644 7296 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.21 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44644 7296 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.21 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44644 7296 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.21 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44644 7296 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.21 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44644 7296 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.21 >> >>> >>> >> >> systemd >> >>> >>> >> >> > (snip) >> >>> >>> >> >> > 1 root 20 0 > 45064 7720 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.91 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45064 7720 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.91 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45064 7720 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.91 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45064 7720 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.91 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45064 7720 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.91 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45064 7720 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.93 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45064 7720 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.95 >> >>> >>> >> >> systemd >> >>> >>> >> >> > >> >>> >>> >> >> > > ●ACTノードのpid=1のsysttemdのtopデータ >> >>> >>> >> >> > PID USER PR NI > VIRT >> >> RES SHR S >> >>> > %CPU >> >>> >> %MEM >> >>> >>> > TIME+ >> >>> >>> >> >> COMMAND >> >>> >>> >> >> > 1 root 20 0 > 44652 7288 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.23 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44652 7288 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.25 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44652 7288 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.26 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44652 7288 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.26 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44652 7288 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.26 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 44652 7288 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:03.26 >> >>> >>> >> >> systemd >> >>> >>> >> >> > (snip) >> >>> >>> >> >> > 1 root 20 0 > 45088 7712 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.00 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45088 7712 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.00 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45088 7712 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.00 >> >>> >>> >> >> systemd >> >>> >>> >> >> > 1 root 20 0 > 45088 7716 >> >> 2600 S >> >>> > 0.0 >> >>> >> 0.4 >> >>> >>> > 0:21.03 >> >>> >>> >> >> systemd >> >>> >>> >> >> > >> >>> >>> >> >> > > systemd(pid=1)に増加は見られますが、秋葉さんの最初 >> にご >> >>> 報告頂 >> >>> >>> いた >> >>> >>> >> よう >> >>> >>> >> >> な増加は起きていないようです。 >> >>> >>> >> >> > > #この増加がsystemdの正しい動作の範疇なのかどうか >> は別物 >> >>> です >> >>> >>> が。。。。 >> >>> >>> >> >> > >> >>> >>> >> >> > > こちらも、systemdのバージョンなどをアップしても確 >> 認して >> >>> みたい >> >>> >>> と思 >> >>> >>> >> いま >> >>> >>> >> >> す。 >> >>> >>> >> >> > >> >>> >>> >> >> > 以上です。 >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> > ----- Original > Message ----- >> >>> >>> >> >> >> From: >> >>> > "renay****@ybb*****" >> >>> >>> >> >> > > <renay****@ybb*****> >> >>> >>> >> >> >> To: >> >>> > "linux****@lists*****" >> >>> >>> >> >> > >> >> <linux****@lists*****> >> >>> >>> >> >> >> Cc: >> >>> >>> >> >> >> Date: 2016/9/30, > Fri 04:56 >> >>> >>> >> >> >> Subject: Re: > [Linux-ha-jp] >> >> pacemaker + >> >>> >> corosync 上で >> >>> >>> > PostgreSQL >> >>> >>> >> >> > を動かした際の空きメモリ減少について >> >>> >>> >> >> >> >> >>> >>> >> >> >> 秋葉さん >> >>> >>> >> >> >> >> >>> >>> >> >> >> こんばんは、山内です。 >> >>> >>> >> >> >> >> >>> >>> >> >> >> >> >>> >>> >> >> >> > こちらでも、準備が出来ましたので、週末に流してみ >> る予 >> >>> 定です。 >> >>> >>> >> >> >> >> >>> >>> >> >> >> > また、結果がわかりましたら、ご連絡します。 >> >>> >>> >> >> >> >> >>> >>> >> >> >> 以上です。 >> >>> >>> >> >> >> >> >>> >>> >> >> >> >> >>> >>> >> >> >> ----- Original > Message ----- >> >>> >>> >> >> >>> From: >> >>> >> "renay****@ybb*****" >> >>> >>> >> >> >> >> >> <renay****@ybb*****> >> >>> >>> >> >> >>> To: >> >>> >> "linux****@lists*****" >> >>> >>> >> >> >> >> >> <linux****@lists*****> >> >>> >>> >> >> >>> Cc: >> >>> >>> >> >> >>> Date: > 2016/9/28, Wed >> >> 18:56 >> >>> >>> >> >> >>> Subject: > Re: >> >> [Linux-ha-jp] >> >>> > pacemaker + >> >>> >> corosync 上で >> >>> >>> >> > PostgreSQL >> >>> >>> >> >> >> > を動かした際の空きメモリ減少について >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> 秋葉さん >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> こんばんは、山内です。 >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> 了解いたしました。 >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> > ご連絡ありがとうございました。 >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> 以上です。 >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> ----- > Original Message >> >> ----- >> >>> >>> >> >> >>>> From: > AKIBA Makoto >> >>> >>> > <akiba****@acroq*****> >> >>> >>> >> >> >>>> To: >> >>> > linux****@lists***** >> >>> >>> >> >> >>>> Cc: >> >>> >>> >> >> >>>> Date: > 2016/9/28, Wed >> >> 18:30 >> >>> >>> >> >> >>>> > Subject: Re: >> >> [Linux-ha-jp] >> >>> >> pacemaker + >> >>> >>> > corosync 上で >> >>> >>> >> > PostgreSQL >> >>> >>> >> >> >>> > を動かした際の空きメモリ減少について >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>> 山内さん >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>> 秋葉です。 >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>> >> >> 設定ファイルの確認ありがとうございました。 >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>>> >> >>> > ちなみに、systemdのメモリ増加の確認ですが、どのような >> >>> >>> コマ >> >>> >>> >> ンド >> >>> >>> >> >> で実行され >> >>> >>> >> >> >>>>> > ましたか？ >> >>> >>> >> >> >>>>> >> >>> > 念の為、同じ確認を実施したいので、お手数ですが、ご連 >> >>> >>> 絡く >> >>> >>> >> ださ >> >>> >>> >> >> い。 >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>> > こちら、取り急ぎ返信致しますと、 >> >>> >>> >> >> >>>> >> >>> > systemdプロセスのメモリ使用量についてはtopコマンドを >> >>> >>> 使っ >> >>> >>> >> て、 >> >>> >>> >> >> >>>> >> >> VIRT(VSZ)とRSSを見ております。 >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>> >> >> 特にRSSの方が細かく増え続ける状態になっていまし >> >>> た。 >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>> >> >> お手数をおかけしますが、よろしくお願い致します。 >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>> 以上 >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>>>> > -----Original >> >>> > Message----- >> >>> >>> >> >> >>>>> > From: >> >>> >>> > linux****@lists***** >> >>> >>> >> >> >>>>> >> >>> >>> > > [mailto:linux****@lists*****] On >> >>> >>> >> > Behalf Of >> >>> >>> >> >> >>>>> >> >> renay****@ybb***** >> >>> >>> >> >> >>>>> > Sent: >> >> Wednesday, >> >>> > September 28, >> >>> >> 2016 6:08 >> >>> >>> > PM >> >>> >>> >> >> >>>>> > To: >> >>> >> linux****@lists***** >> >>> >>> >> >> >>>>> > Subject: Re: >> >>> > [Linux-ha-jp] >> >>> >> pacemaker + >> >>> >>> > corosync 上で >> >>> >>> >> >> > PostgreSQL を動か >> >>> >>> >> >> >>>>> > した際の空きメモリ減少について >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> > 秋葉さん >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> > こんばんは、山内です。 >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> > (MLへの送信に失敗しているように思えるので、再送します） >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> > 頂いた設定について拝見しましたが、特にPacemaker的に >> >>> >>> は問 >> >>> >>> >> 題な >> >>> >>> >> >> いと思いま >> >>> >>> >> >> >>>>> > す。 >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >> CentOS7でのsystemdの様子については、これからVM構成 >> >>> >>> です >> >>> >>> >> が、 >> >>> >>> >> >> 確認してみ >> >>> >>> >> >> >>>>> > るつもりです。 >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> > ちなみに、systemdのメモリ増加の確認ですが、どのような >> >>> >>> コマ >> >>> >>> >> ンド >> >>> >>> >> >> で実行され >> >>> >>> >> >> >>>>> > ましたか？ >> >>> >>> >> >> >>>>> >> >>> > 念の為、同じ確認を実施したいので、お手数ですが、ご連 >> >>> >>> 絡く >> >>> >>> >> ださ >> >>> >>> >> >> い。 >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> > 以上です。 >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> > ----- Original >> >> Message >> >>> > ----- >> >>> >>> >> >> >>>>> >> From: >> >> AKIBA Makoto >> >>> >>> >> > <akiba****@acroq*****> >> >>> >>> >> >> >>>>> >> To: >> >>> >> linux****@lists***** >> >>> >>> >> >> >>>>> >> Cc: >> >>> >>> >> >> >>>>> >> Date: >> >> 2016/9/28, Wed >> >>> > >> >>> >> 16:21 >> >>> >>> >> >> >>>>> >> Subject: >> >> Re: >> >>> >> [Linux-ha-jp] >> >>> >>> > pacemaker + >> >>> >>> >> > corosync 上で >> >>> >>> >> >> >> PostgreSQL を動 >> >>> >>> >> >> >>>>> >> >> かした際の空きメモリ減少について >> >>> >>> >> >> >>>>> >> >> >>> >>> >> >> >>>>> >> 山内さん >> >>> >>> >> >> >>>>> >> >> >>> >>> >> >> >>>>> >> 秋葉です。 >> >>> >>> >> >> >>>>> >> >> >>> >>> >> >> >>>>> >> >> >>> > systemdについての情報ありがとうございます。 >> >>> >>> >> >> >>>>> >> >> >> 確認させていただきます。 >> >>> >>> >> >> >>>>> >> >> >>> >>> >> >> >>>>> >> >> >>> >>> >> >> >>>>> >> 以上 >> >>> >>> >> >> >>>>> >> >> >>> >>> >> >> >>>>> >>> >> >> -----Original >> >>> >> Message----- >> >>> >>> >> >> >>>>> >>> From: >> >>> >>> >> > > linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> > > [mailto:linux****@lists*****] >> >> On >> >>> >>> >> >> > Behalf >> >>> >>> >> >> >> Of >> >>> >>> >> >> >>>>> >>> >> >>> >> renay****@ybb***** >> >>> >>> >> >> >>>>> >>> Sent: >> >> Monday, >> >>> >> September 26, >> >>> >>> > 2016 6:22 PM >> >>> >>> >> >> >>>>> >>> To: >> >>> >>> > linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >> Subject: Re: >> >>> >> [Linux-ha-jp] >> >>> >>> > pacemaker + >> >>> >>> >> > corosync 上で >> >>> >>> >> >> > >> >>> >>> >> >> >>> PostgreSQL > を >> >>> >>> >> >> >>>>> > 動か >> >>> >>> >> >> >>>>> >>> >> >> した際の空きメモリ減少について >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> 秋葉さん >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >> こんばんは、山内です。 >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >> 了解しました。 >> >>> >>> >> >> >>>>> >>> >> >>> >> こちれでも、時間をみて、頂いた設定をベースに試し >> >>> >>> てみ >> >>> >>> >> たい >> >>> >>> >> >> と思います。 >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >>> >> systemd関連も不具合などもあるようですので、そちら >> >>> >>> を探 >> >>> >>> >> して >> >>> >>> >> >> みるのも良 >> >>> >>> >> >> >>>>> > いか >> >>> >>> >> >> >>>>> >>> >> >> もしれません。 >> >>> >>> >> >> >>>>> >>> >> >>> >> ちょっと探してみても、以下などもありました。 >> >>> >>> >> >> >>>>> >>> >> >>> > 直接関係があるかは別ですが・・・ >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> * >> >>> >>> >> >> > >> >>> >> https://bugzilla.redhat.com/show_bug.cgi?id=1361120 > >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >>> >> 設定などで質問があれば、またご連絡させてください。 >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> 以上です。 >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> ----- >> >> Original >> >>> >> Message ----- >> >>> >>> >> >> >>>>> >>> > >> >> From: >> >>> > AKIBA >> >>> >> Makoto >> >>> >>> >> >> > > <akiba****@acroq*****> >> >>> >>> >> >> >>>>> >>> > >> >> To: >> >>> >>> > linux****@lists***** >> >>> >>> >> >> >>>>> >>> > >> >> Cc: >> >>> >>> >> >> >>>>> >>> > >> >> Date: >> >>> >> 2016/9/26, Mon >> >>> >>> > 16:18 >> >>> >>> >> >> >>>>> >>> > >> >> Subject: >> >>> > Re: >> >>> >>> > [Linux-ha-jp] >> >>> >>> >> > pacemaker + >> >>> >>> >> >> > corosync 上で >> >>> >>> >> >> >> >> >>> >>> >> >> >>>> > PostgreSQL を >> >>> >>> >> >> >>>>> 動 >> >>> >>> >> >> >>>>> >>> >> >>> > かした際の空きメモリ減少について >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >> 山内さん >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >> 秋葉です。 >> >>> >>> >> >> >>>>> >>> > >> >>> >> ご回答・解説ありがとうございます。 >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >>> >>> > 実際に当方の環境でpacemakerのプロセスメモリサイズ >> >>> >>> >> を >> >>> >>> >> >> >>>>> >>> > >> >>> >>> > 見てみたところ、～8MB程度になっており、頂いた情報の >> >>> >>> >> 通り >> >>> >>> >> >> >>>>> >>> > >> >>> > 大きくはなっていませんでした。 >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >>> >>> > 一方で、systemd(pid=1)については1GB程度まで大きく >> >>> >>> >> なっ >> >>> >>> >> >> て >> >>> >>> >> >> >>>>> >>> > >> >>> >>> > おり、pmapで参照すると[heap]とマッピングされた領域 >> >>> >>> >> が >> >>> >>> >> >> >>>>> >>> > >> >>> >> ほとんどを占めているように見えました。 >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >>> >> なので、これ以上の問い合わせは見当違いの可能性 >> >>> >>> もあ >> >>> >>> >> りま >> >>> >>> >> >> すが、 >> >>> >>> >> >> >>>>> >>> > >> >>> >> 念の為、当方で使用している設定ファイルを添付致 >> >>> >>> しま >> >>> >>> >> す。 >> >>> >>> >> >> >>>>> >>> > >> >>> >> (固有情報はマスキングしてあります) >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >>> >> これで何か情報が得られましたら教えていただけま >> >>> >>> すで >> >>> >>> >> しょ >> >>> >>> >> >> うか。 >> >>> >>> >> >> >>>>> >>> > >> >>> >>> > また、不足している情報がありましたらご指摘ください。 >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >>> >> お手数をおかけ致しますがよろしくお願い致します。 >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >> 以上 >> >>> >>> >> >> >>>>> >>> > >> >>> >> ---------------- >> >>> >>> >> >> >>>>> >>> > >> >> AKIBA >> >>> > Makoto >> >>> >>> >> >> >>>>> >>> > >> >>> >> akiba****@acroq***** >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> -----Original >> >>> >>> > Message----- >> >>> >>> >> >> >>>>> >>> >> >>>> From: >> >>> >>> >> >> > >> >> linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> > >> >> [mailto:linux****@lists*****] >> >>> >>> >> >> >> On >> >>> >>> >> >> >>> Behalf >> >>> >>> >> >> >>>> Of >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> > renay****@ybb***** >> >>> >>> >> >> >>>>> >>> >> >>>> Sent: >> >>> > >> >>> >> Friday, >> >>> >>> > September 23, >> >>> >>> >> > 2016 6:04 PM >> >>> >>> >> >> >>>>> >>> >> >>>> To: >> >>> >>> >> > linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> > Subject: >> >>> >> Re: >> >>> >>> > [Linux-ha-jp] >> >>> >>> >> > pacemaker + >> >>> >>> >> >> >> corosync 上で >> >>> >>> >> >> >>> >> >>> >>> >> >> >>>> > PostgreSQL >> >>> >>> >> >> >>>>> を >> >>> >>> >> >> >>>>> >>> 動か >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> した際の空きメモリ減少について >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> 秋葉さん >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> こんばんは、山内です。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> > pacemakerのプロセスがIPC通信の為にマップしているメ >> >>> >>> >> >> モリは >> >>> >>> >> >> >>>>> > 5Mbyteま >> >>> >>> >> >> >>>>> >>> でで >> >>> >>> >> >> >>>>> >>> >> >>>> す。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> > よって、最大、5Mbyteまでプロセスのメモリサイズは >> >>> >>> >> 上が >> >>> >>> >> >> る可能性が >> >>> >>> >> >> >>>>> > あり >> >>> >>> >> >> >>>>> >>> ます >> >>> >>> >> >> >>>>> >>> >> >>>> が、 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> > 先のメールの通りで5Mbyteを超えるあたりで再利用 >> >>> >>> >> する >> >>> >>> >> >> 為、それ以上 >> >>> >>> >> >> >>>>> > は増 >> >>> >>> >> >> >>>>> >>> えま >> >>> >>> >> >> >>>>> >>> >> >>>> せん。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >> >> >> このサイズですが、/etc/sysconfig/pacemakerの >> >>> >>> PCMK_ipc_bufferで >> >>> >>> >> >> >>>>> > 大き >> >>> >>> >> >> >>>>> >>> くは >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> > 出来ますが、 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> 小さくすることは出来ません。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> > ＃これらのメモリマップの様子は、pmapコマンドで確 >> >>> >>> >> 認す >> >>> >>> >> >> ることが可 >> >>> >>> >> >> >>>>> > 能で >> >>> >>> >> >> >>>>> >>> す。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> 以上です。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> ----- >> >>> > >> >>> >> Original >> >>> >>> > Message ----- >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> > From: >> >>> >>> >> >> >> >> >> "renay****@ybb*****" >> >>> >>> >> >> >>>>> >>> > >> >>> >>> > <renay****@ybb*****> >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> > To: >> >>> >>> >> >> >> >> >> "linux****@lists*****" >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> > > <linux****@lists*****> >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> > Cc: >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> > Date: >> >>> >>> > 2016/9/22, Thu >> >>> >>> >> > 10:20 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >> Subject: Re: >> >>> >>> >> > [Linux-ha-jp] >> >>> >>> >> >> > pacemaker + >> >>> >>> >> >> >>> corosync 上で >> >>> >>> >> >> >>>>> >> PostgreSQL >> >> を >> >>> >>> >> >> >>>>> >>> 動 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> かした際の空きメモリ減少について >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> > 秋葉さん >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >> こんにちは、山内です。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> > systemdプロセスではありませんが、 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> > > pacemakerとcorosyncを組み合わせてクラスタを構成し >> た場 >> >>> 合、 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> > > pacemaker/corosyncプロセスのメモリの使用量が一定期間、 >> >>> >>> >> >> 増加して >> >>> >>> >> >> >>>>> > いく >> >>> >>> >> >> >>>>> >>> 動作 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> > となります。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> > 詳細な動作は、失念していますが、pacmakerのプロセス >> >>> >>> >> >> がメモリマ >> >>> >>> >> >> >>>>> > ップ >> >>> >>> >> >> >>>>> >>> して >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> > いる（？？MByteまでだったはず）エリア >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> > を利用して通信などを行う為、クラスタ構成後、マ >> >>> >>> >> ップ >> >>> >>> >> >> した一定量 >> >>> >>> >> >> >>>>> > まで >> >>> >>> >> >> >>>>> >>> 増加 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> > が続きます。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> > ですが、一定量までで、それ以降は、マップしたエ >> >>> >>> >> リア >> >>> >>> >> >> を古い方か >> >>> >>> >> >> >>>>> > ら再 >> >>> >>> >> >> >>>>> >>> 利用 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> する為、増加は止まります。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> > （上記のマップしているサイズについては、確認し >> >>> >>> >> て、 >> >>> >>> >> >> 再度、ご連 >> >>> >>> >> >> >>>>> > 絡し >> >>> >>> >> >> >>>>> >>> ます） >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> > > (1)(4)あたりは上記で説明が付くかと思いますが。。。 >> (2)(3) >> >>> の原因 >> >>> >>> >> >> >>>>> > には >> >>> >>> >> >> >>>>> >>> 直接 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> 影響しないかと思います。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> > 実際に増加しているのがsystemdプロセスとのことです >> >>> >>> >> >> が、 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> > > pacemaker+corosyncのクラスタ構成で、リソースなどは >> >>> systemdを >> >>> >>> 経 >> >>> >>> >> >> >>>>> > 由し >> >>> >>> >> >> >>>>> >>> て >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >> 実行・監視しているでしょうか？ >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >> >> >>> > ＃pacemakerのprimitiveリソースとしてsystemdリソースを利用 >> >>> >>> し >> >>> >>> >> >> >>>>> > てい >> >>> >>> >> >> >>>>> >>> るか >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> どうか？ということです。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> > pacemakerの構成ファイルなど開示して頂ければ、私の方 >> >>> >>> >> >> でも確認可 >> >>> >>> >> >> >>>>> > 能か >> >>> >>> >> >> >>>>> >>> も知 >> >>> >>> >> >> >>>>> >>> >> >>>> れません。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> > ＃本当にリークしているのがsystemdプロセスである可 >> >>> >>> >> >> 能性もある >> >>> >>> >> >> >>>>> > とは >> >>> >>> >> >> >>>>> >>> 思い >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> > ますが・・・・ >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> > 以上です。 >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > 現在、pacemaker + >> >>> >>> >> > corosync >> >>> >>> >> >> > のクラスタ上で >> >>> >>> >> >> >>> PostgreSQL > を >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > 動作させているデータベースサーバがあるのですが、 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > 稼働中にOSのメモリ使用量が増加し続ける問題が起 >> >>> >>> >> >> きています。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > 原因を把握したいのですが、何か該当する現象や確認 >> >>> >>> >> >> ポイント >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > などありますでしょうか？ >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > 環境は以下のようになっております。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> OS: CentOS >> >>> >>> > Linux >> >>> >>> >> > release >> >>> >>> >> >> > 7.2.1511 >> >>> >>> >> >> >> (Core) >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> kernel >> >>> >>> > - >> >>> >>> >> >> > 3.10.0-327.18.2.el7 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> glibc >> >>> >>> > - >> >>> >>> >> > 2.17-106.el7_2.6 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> Systemd: >> >>> >>> >> > 219-19.el7_2.9 / >> >>> >>> >> >> >>> > 219-19.el7_2.12 (※) >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> Pacemaker: >> >>> >>> >> > 1.1.13-10.el7_2.2 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> Corosync: >> >>> >>> >> > 2.3.4-7.el7_2.1 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > PostgreSQL: >> >>> >>> >> > 9.4.8-1PGDG.rhel7 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > (※)systemdのバージョンはどちらでも発生しました >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >> >> >> 2台のサーバでHotStandby構成にしてPostgreSQLを運用し >> >>> ていま >> >>> >>> >> >> >>>>> > す。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >> >> >> (両サーバでPostgreSQLが起動し、hot-standby構成にして >> >>> いる) >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> > > Active側にVIPを割り当てるようにして、アプリケーシ >> ョン >> >>> から >> >>> >>> >> >> >>>>> は >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > VIPに接続するようにしています。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > これまでに観察して見えているのは以下の事象になり >> >>> >>> >> >> ます。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> (1) >> >>> >>> >> > OS起動しクラスタ状態を正常にした状態で、少し >> >>> >>> >> >> ずつ >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >> >> >> OSの空きメモリ量(free+buffer+cache)が減少し続け >> >>> る。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > →１日あたり30～100MB程度ずつ減少する >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > ※DBサーバ自体は4GBメモリを搭載 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > ※VIPがある／なしに関わらず減少傾向にある。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> (2) >> >>> >>> >> >> > > メモリ使用量が大きいプロセスを確認すると、PID=1の >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> systemd >> >>> >>> >> >> > > プロセスで、数十秒ごとに4～8KB程度増加する。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> (3) >> >>> >>> >> >> > > 契機は不明だが、時折数十～数百MB程度空き容量が増 >> える >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > (回復する)ことがある。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > (長期的に見てトータルでは減少し続ける) >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> (4) >> >>> >>> > pacemaker + >> >>> >>> >> >> >>> > corosyncを使わず、1台のみで動作させている >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > 開発サーバでは(1)～(2)のようなメモリ使用量の >> >>> >>> >> >> 増減が >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > 発生していないように見える。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > →この点があり、何か手がかりが無いかと考え、 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > こちらのMLに質問をポストさせていただきま >> >>> >>> >> >> した。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > 長文にて恐縮ですが、情報等いただけましたら幸いで >> >>> >>> >> >> す。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > よろしくお願い致します。 >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > ---------------- >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >> AKIBA >> >>> >>> > Makoto >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > akiba****@acroq***** >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>> >> >>> >>> > > _______________________________________________ >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> > Linux-ha-japan >> >>> >>> >> > mailing list >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> > Linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>> >> >>> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>> >> >>> >> _______________________________________________ >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >> Linux-ha-japan >> >>> >>> > mailing >> >>> >>> >> > list >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> > Linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>> >> >>> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>>> >>> >> >>>> > >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >> >> >>> >> _______________________________________________ >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >> Linux-ha-japan >> >>> >>> > mailing list >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> > Linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >>>> >> >>> >>> >> >> >>> >> >>> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> > >> >>> > _______________________________________________ >> >>> >>> >> >> >>>>> >>> > >> >>> > Linux-ha-japan >> >>> >> mailing >> >>> >>> > list >> >>> >>> >> >> >>>>> >>> > >> >>> >>> > Linux****@lists***** >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >> >> >>> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>>> >>> > >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> > >> >> _______________________________________________ >> >>> >>> >> >> >>>>> >>> >> >> Linux-ha-japan >> >>> >> mailing list >> >>> >>> >> >> >>>>> >>> >> >>> >> Linux****@lists***** >> >>> >>> >> >> >>>>> >>> >> >>> >>> >> >> > >> >>> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>>> >> >> >>> >>> >> > >> >> _______________________________________________ >> >>> >>> >> >> >>>>> >> >> >> Linux-ha-japan >> >>> > mailing >> >>> >> list >> >>> >>> >> >> >>>>> >> >> >>> >> Linux****@lists***** >> >>> >>> >> >> >>>>> >> >> >>> >>> >> > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>>> >> >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >>> > > _______________________________________________ >> >>> >>> >> >> >>>>> > Linux-ha-japan >> >> mailing >> >>> > list >> >>> >>> >> >> >>>>> >> >>> > Linux****@lists***** >> >>> >>> >> >> >>>>> >> >>> >>> >> > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>> >> >>> >>> > > _______________________________________________ >> >>> >>> >> >> >>>> > Linux-ha-japan >> >> mailing list >> >>> >>> >> >> >>>> >> >> Linux****@lists***** >> >>> >>> >> >> >>>> >> >>> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>>> >> >>> >>> >> >> >>> >> >>> >>> >> >> >>> >> >>> >> _______________________________________________ >> >>> >>> >> >> >>> > Linux-ha-japan mailing >> >> list >> >>> >>> >> >> >>> >> >> Linux****@lists***** >> >>> >>> >> >> >>> >> >>> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >>> >> >>> >>> >> >> >> >> >>> >>> >> >> >> >> >>> >> _______________________________________________ >> >>> >>> >> >> >> Linux-ha-japan > mailing list >> >>> >>> >> >> >> > Linux****@lists***** >> >>> >>> >> >> >> >> >>> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> >> >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> > _______________________________________________ >> >>> >>> >> >> > Linux-ha-japan > mailing list >> >>> >>> >> >> > > Linux****@lists***** >> >>> >>> >> >> > >> >>> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> >> > >> >>> >>> >> >> >> >>> >>> >> >> >> >> _______________________________________________ >> >>> >>> >> >> Linux-ha-japan mailing > list >> >>> >>> >> >> > Linux****@lists***** >> >>> >>> >> >> >> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> > >> >> _______________________________________________ >> >>> >>> >> > Linux-ha-japan mailing list >> >>> >>> >> > Linux****@lists***** >> >>> >>> >> > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> >> > >> >>> >>> >> >> >>> >>> >> > _______________________________________________ >> >>> >>> >> Linux-ha-japan mailing list >> >>> >>> >> Linux****@lists***** >> >>> >>> >> >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> > > _______________________________________________ >> >>> >>> > Linux-ha-japan mailing list >> >>> >>> > Linux****@lists***** >> >>> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >>> > >> >>> >>> >> >>> >>> > _______________________________________________ >> >>> >>> Linux-ha-japan mailing list >> >>> >>> Linux****@lists***** >> >>> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >> _______________________________________________ >> >>> >> Linux-ha-japan mailing list >> >>> >> Linux****@lists***** >> >>> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> >> >> >>> > >> >>> > _______________________________________________ >> >>> > Linux-ha-japan mailing list >> >>> > Linux****@lists***** >> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >>> > >> >>> >> >>> _______________________________________________ >> >>> Linux-ha-japan mailing list >> >>> Linux****@lists***** >> >>> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >> _______________________________________________ >> >> Linux-ha-japan mailing list >> >> Linux****@lists***** >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> >> >> > >> >_______________________________________________ >> >Linux-ha-japan mailing list >> >Linux****@lists***** >> >http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> > >> > >> > >> >> _______________________________________________ >> Linux-ha-japan mailing list >> Linux****@lists***** >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > _______________________________________________ > Linux-ha-japan mailing list > Linux****@lists***** > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >
Fork