renay****@ybb*****
renay****@ybb*****
2016年 9月 30日 (金) 04:56:03 JST
秋葉さん こんばんは、山内です。 こちらでも、準備が出来ましたので、週末に流してみる予定です。 また、結果がわかりましたら、ご連絡します。 以上です。 ----- Original Message ----- > From: "renay****@ybb*****" <renay****@ybb*****> > To: "linux****@lists*****" <linux****@lists*****> > Cc: > Date: 2016/9/28, Wed 18:56 > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動かした際の空きメモリ減少について > > 秋葉さん > > こんばんは、山内です。 > > 了解いたしました。 > > ご連絡ありがとうございました。 > > 以上です。 > > > > ----- Original Message ----- >> From: AKIBA Makoto <akiba****@acroq*****> >> To: linux****@lists***** >> Cc: >> Date: 2016/9/28, Wed 18:30 >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL > を動かした際の空きメモリ減少について >> >> 山内さん >> >> 秋葉です。 >> >> 設定ファイルの確認ありがとうございました。 >> >>> ちなみに、systemdのメモリ増加の確認ですが、どのようなコマンドで実行され >>> ましたか？ >>> 念の為、同じ確認を実施したいので、お手数ですが、ご連絡ください。 >> >> こちら、取り急ぎ返信致しますと、 >> systemdプロセスのメモリ使用量についてはtopコマンドを使って、 >> VIRT(VSZ)とRSSを見ております。 >> >> 特にRSSの方が細かく増え続ける状態になっていました。 >> >> お手数をおかけしますが、よろしくお願い致します。 >> >> 以上 >> >>> -----Original Message----- >>> From: linux****@lists***** >>> [mailto:linux****@lists*****] On Behalf Of >>> renay****@ybb***** >>> Sent: Wednesday, September 28, 2016 6:08 PM >>> To: linux****@lists***** >>> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動か >>> した際の空きメモリ減少について >>> >>> 秋葉さん >>> >>> こんばんは、山内です。 >>> >>> (MLへの送信に失敗しているように思えるので、再送します） >>> >>> 頂いた設定について拝見しましたが、特にPacemaker的には問題ないと思いま >>> す。 >>> >>> CentOS7でのsystemdの様子については、これからVM構成ですが、確認してみ >>> るつもりです。 >>> >>> ちなみに、systemdのメモリ増加の確認ですが、どのようなコマンドで実行され >>> ましたか？ >>> 念の為、同じ確認を実施したいので、お手数ですが、ご連絡ください。 >>> >>> 以上です。 >>> >>> >>> >>> ----- Original Message ----- >>> > From: AKIBA Makoto <akiba****@acroq*****> >>> > To: linux****@lists***** >>> > Cc: >>> > Date: 2016/9/28, Wed 16:21 >>> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動 >>> かした際の空きメモリ減少について >>> > >>> > 山内さん >>> > >>> > 秋葉です。 >>> > >>> > systemdについての情報ありがとうございます。 >>> > 確認させていただきます。 >>> > >>> > >>> > 以上 >>> > >>> >> -----Original Message----- >>> >> From: linux****@lists***** >>> >> [mailto:linux****@lists*****] On Behalf Of >>> >> renay****@ybb***** >>> >> Sent: Monday, September 26, 2016 6:22 PM >>> >> To: linux****@lists***** >>> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > PostgreSQL を >>> 動か >>> >> した際の空きメモリ減少について >>> >> >>> >> 秋葉さん >>> >> >>> >> こんばんは、山内です。 >>> >> >>> >> 了解しました。 >>> >> こちれでも、時間をみて、頂いた設定をベースに試してみたいと思います。 >>> >> >>> >> systemd関連も不具合などもあるようですので、そちらを探してみるのも良 >>> いか >>> >> もしれません。 >>> >> ちょっと探してみても、以下などもありました。 >>> >> 直接関係があるかは別ですが・・・ >>> >> >>> >> * https://bugzilla.redhat.com/show_bug.cgi?id=1361120 >>> >> >>> >> >>> >> 設定などで質問があれば、またご連絡させてください。 >>> >> >>> >> 以上です。 >>> >> >>> >> >>> >> >>> >> ----- Original Message ----- >>> >> > From: AKIBA Makoto <akiba****@acroq*****> >>> >> > To: linux****@lists***** >>> >> > Cc: >>> >> > Date: 2016/9/26, Mon 16:18 >>> >> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で >> PostgreSQL を >>> 動 >>> >> かした際の空きメモリ減少について >>> >> > >>> >> > 山内さん >>> >> > >>> >> > 秋葉です。 >>> >> > ご回答・解説ありがとうございます。 >>> >> > >>> >> > 実際に当方の環境でpacemakerのプロセスメモリサイズを >>> >> > 見てみたところ、～8MB程度になっており、頂いた情報の通り >>> >> > 大きくはなっていませんでした。 >>> >> > >>> >> > 一方で、systemd(pid=1)については1GB程度まで大きくなって >>> >> > おり、pmapで参照すると[heap]とマッピングされた領域が >>> >> > ほとんどを占めているように見えました。 >>> >> > >>> >> > なので、これ以上の問い合わせは見当違いの可能性もありますが、 >>> >> > 念の為、当方で使用している設定ファイルを添付致します。 >>> >> > (固有情報はマスキングしてあります) >>> >> > >>> >> > これで何か情報が得られましたら教えていただけますでしょうか。 >>> >> > また、不足している情報がありましたらご指摘ください。 >>> >> > >>> >> > お手数をおかけ致しますがよろしくお願い致します。 >>> >> > >>> >> > >>> >> > 以上 >>> >> > ---------------- >>> >> > AKIBA Makoto >>> >> > akiba****@acroq***** >>> >> > >>> >> >> -----Original Message----- >>> >> >> From: linux****@lists***** >>> >> >> [mailto:linux****@lists*****] On > Behalf >> Of >>> >> >> renay****@ybb***** >>> >> >> Sent: Friday, September 23, 2016 6:04 PM >>> >> >> To: linux****@lists***** >>> >> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > >> PostgreSQL >>> を >>> >> 動か >>> >> >> した際の空きメモリ減少について >>> >> >> >>> >> >> 秋葉さん >>> >> >> >>> >> >> こんばんは、山内です。 >>> >> >> >>> >> >> pacemakerのプロセスがIPC通信の為にマップしているメモリは >>> 5Mbyteま >>> >> でで >>> >> >> す。 >>> >> >> よって、最大、5Mbyteまでプロセスのメモリサイズは上がる可能性が >>> あり >>> >> ます >>> >> >> が、 >>> >> >> 先のメールの通りで5Mbyteを超えるあたりで再利用する為、それ以上 >>> は増 >>> >> えま >>> >> >> せん。 >>> >> >> >>> >> >> このサイズですが、/etc/sysconfig/pacemakerのPCMK_ipc_bufferで >>> 大き >>> >> くは >>> >> >> 出来ますが、 >>> >> >> 小さくすることは出来ません。 >>> >> >> >>> >> >> ＃これらのメモリマップの様子は、pmapコマンドで確認することが可 >>> 能で >>> >> す。 >>> >> >> >>> >> >> >>> >> >> 以上です。 >>> >> >> >>> >> >> >>> >> >> >>> >> >> ----- Original Message ----- >>> >> >> > From: "renay****@ybb*****" >>> >> > <renay****@ybb*****> >>> >> >> > To: "linux****@lists*****" >>> >> > <linux****@lists*****> >>> >> >> > Cc: >>> >> >> > Date: 2016/9/22, Thu 10:20 >>> >> >> > Subject: Re: [Linux-ha-jp] pacemaker + > corosync 上で >>> > PostgreSQL を >>> >> 動 >>> >> >> かした際の空きメモリ減少について >>> >> >> > >>> >> >> > 秋葉さん >>> >> >> > >>> >> >> > こんにちは、山内です。 >>> >> >> > >>> >> >> > systemdプロセスではありませんが、 >>> >> >> > pacemakerとcorosyncを組み合わせてクラスタを構成した場合、 >>> >> >> pacemaker/corosyncプロセスのメモリの使用量が一定期間、増加して >>> いく >>> >> 動作 >>> >> >> となります。 >>> >> >> > >>> >> >> > 詳細な動作は、失念していますが、pacmakerのプロセスがメモリマ >>> ップ >>> >> して >>> >> >> いる（？？MByteまでだったはず）エリア >>> >> >> > を利用して通信などを行う為、クラスタ構成後、マップした一定量 >>> まで >>> >> 増加 >>> >> >> が続きます。 >>> >> >> > ですが、一定量までで、それ以降は、マップしたエリアを古い方か >>> ら再 >>> >> 利用 >>> >> >> する為、増加は止まります。 >>> >> >> > （上記のマップしているサイズについては、確認して、再度、ご連 >>> 絡し >>> >> ます） >>> >> >> > >>> >> >> > (1)(4)あたりは上記で説明が付くかと思いますが。。。(2)(3)の原因 >>> には >>> >> 直接 >>> >> >> 影響しないかと思います。 >>> >> >> > >>> >> >> > 実際に増加しているのがsystemdプロセスとのことですが、 >>> >> >> pacemaker+corosyncのクラスタ構成で、リソースなどはsystemdを経 >>> 由し >>> >> て >>> >> >> > 実行・監視しているでしょうか？ >>> >> >> > ＃pacemakerのprimitiveリソースとしてsystemdリソースを利用し >>> てい >>> >> るか >>> >> >> どうか？ということです。 >>> >> >> > >>> >> >> > pacemakerの構成ファイルなど開示して頂ければ、私の方でも確認可 >>> 能か >>> >> も知 >>> >> >> れません。 >>> >> >> > ＃本当にリークしているのがsystemdプロセスである可能性もある >>> とは >>> >> 思い >>> >> >> ますが・・・・ >>> >> >> > >>> >> >> > 以上です。 >>> >> >> > >>> >> >> > >>> >> >> >> 現在、pacemaker + corosync のクラスタ上で > PostgreSQL を >>> >> >> >> 動作させているデータベースサーバがあるのですが、 >>> >> >> >> 稼働中にOSのメモリ使用量が増加し続ける問題が起きています。 >>> >> >> >> >>> >> >> >> 原因を把握したいのですが、何か該当する現象や確認ポイント >>> >> >> >> などありますでしょうか？ >>> >> >> >> >>> >> >> >> >>> >> >> >> 環境は以下のようになっております。 >>> >> >> >> OS: CentOS Linux release 7.2.1511 (Core) >>> >> >> >> kernel - 3.10.0-327.18.2.el7 >>> >> >> >> glibc - 2.17-106.el7_2.6 >>> >> >> >> Systemd: 219-19.el7_2.9 / > 219-19.el7_2.12 (※) >>> >> >> >> Pacemaker: 1.1.13-10.el7_2.2 >>> >> >> >> Corosync: 2.3.4-7.el7_2.1 >>> >> >> >> PostgreSQL: 9.4.8-1PGDG.rhel7 >>> >> >> >> >>> >> >> >> (※)systemdのバージョンはどちらでも発生しました >>> >> >> >> >>> >> >> >> >>> >> >> >> 2台のサーバでHotStandby構成にしてPostgreSQLを運用していま >>> す。 >>> >> >> >> (両サーバでPostgreSQLが起動し、hot-standby構成にしている) >>> >> >> >> Active側にVIPを割り当てるようにして、アプリケーションから >>> は >>> >> >> >> VIPに接続するようにしています。 >>> >> >> >> >>> >> >> >> これまでに観察して見えているのは以下の事象になります。 >>> >> >> >> >>> >> >> >> (1) OS起動しクラスタ状態を正常にした状態で、少しずつ >>> >> >> >> OSの空きメモリ量(free+buffer+cache)が減少し続ける。 >>> >> >> >> →１日あたり30～100MB程度ずつ減少する >>> >> >> >> ※DBサーバ自体は4GBメモリを搭載 >>> >> >> >> ※VIPがある／なしに関わらず減少傾向にある。 >>> >> >> >> >>> >> >> >> (2) メモリ使用量が大きいプロセスを確認すると、PID=1の >>> >> >> >> systemd プロセスで、数十秒ごとに4～8KB程度増加する。 >>> >> >> >> >>> >> >> >> (3) 契機は不明だが、時折数十～数百MB程度空き容量が増える >>> >> >> >> (回復する)ことがある。 >>> >> >> >> (長期的に見てトータルでは減少し続ける) >>> >> >> >> >>> >> >> >> (4) pacemaker + > corosyncを使わず、1台のみで動作させている >>> >> >> >> 開発サーバでは(1)～(2)のようなメモリ使用量の増減が >>> >> >> >> 発生していないように見える。 >>> >> >> >> →この点があり、何か手がかりが無いかと考え、 >>> >> >> >> こちらのMLに質問をポストさせていただきました。 >>> >> >> >> >>> >> >> >> >>> >> >> >> 長文にて恐縮ですが、情報等いただけましたら幸いです。 >>> >> >> >> よろしくお願い致します。 >>> >> >> >> >>> >> >> >> ---------------- >>> >> >> >> AKIBA Makoto >>> >> >> >> akiba****@acroq***** >>> >> >> >> >>> >> >> >> >> _______________________________________________ >>> >> >> >> Linux-ha-japan mailing list >>> >> >> >> Linux****@lists***** >>> >> >> >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >> >> >> >>> >> >> > >>> >> >> > > _______________________________________________ >>> >> >> > Linux-ha-japan mailing list >>> >> >> > Linux****@lists***** >>> >> >> > >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >> >> > >>> >> >> >>> >> >> _______________________________________________ >>> >> >> Linux-ha-japan mailing list >>> >> >> Linux****@lists***** >>> >> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >> > >>> >> > _______________________________________________ >>> >> > Linux-ha-japan mailing list >>> >> > Linux****@lists***** >>> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >> > >>> >> >>> >> _______________________________________________ >>> >> Linux-ha-japan mailing list >>> >> Linux****@lists***** >>> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> > _______________________________________________ >>> > Linux-ha-japan mailing list >>> > Linux****@lists***** >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> > >>> >>> _______________________________________________ >>> Linux-ha-japan mailing list >>> Linux****@lists***** >>> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> _______________________________________________ >> Linux-ha-japan mailing list >> Linux****@lists***** >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> > > _______________________________________________ > Linux-ha-japan mailing list > Linux****@lists***** > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >
Fork