[groonga-dev,04901] Re: 存在しないテーブルのDROP時に.mrnファイルが生成される

Back to archive index
kenichi arimoto arimo****@adnes*****
2021年 9月 24日 (金) 11:10:15 JST


須藤 様

有本です。

あれから数日様子を見てみた結果のご報告です。
やはり「謎の」使用率現象は起こらず再度swapにまで浸食を始めたため
MariaDBの再起動にて対処いたしました。

今後はMariaDB本体のメモリリークの方向で調査を進めてみようと思います。

この度はお忙しい中様々な情報をご提供くださりありがとうございました。
個人的には大変勉強になりました。ぜひ今後の調査にも生かしたく存じます。

以上、宜しくお願い致します。


On 2021/09/21 17:51, Sutou Kouhei wrote:
> 須藤です。
> 
> なんか観測された事象がモヤっとしますが、回避策になりそうな手
> 法が見つかってよかったです!
> 
> In <19acf****@adnes*****>
>    "[groonga-dev,04899] Re: 存在しないテーブルのDROP時に.mrnファイルが生成される" on Tue, 21 Sep 2021 17:42:04 +0900,
>    kenichi arimoto <arimo****@adnes*****> wrote:
> 
>> 須藤 様
>>
>> 有本です。
>>
>>> ちなみにこれはスワップが使われるくらいメモリーが使われた状態
>>> で確認しましたか?それとも起動直後くらいの状態ですか?
>>
>> 比較的前者に近い状態かと存じます。
>> 現在物理メモリは下記のような状態です。
>> used: 13.9G
>> cache: 1116M
>> free: 531M
>> ちなみにswapは used: 757Mですが以前数度mariadbを再起動させても
>> このくらい残っておりましたのでほとんどはmariadb以外のプロセスの
>> ものと思われます。
>>
>>> あと、MariaDBのプロセスが.mrnファイルを開いているかは
>>> /proc/${MariaDBのPID}/fd/以下を見るとわかります。このディレ
>>> クトリーの下には数字のシンボリックリンクがたくさんあるのです
>>> が、この数字がファイルディスクリプターの番号でシンボリックリ
>>> ンクのリンク先がそのファイルディスクリプターに紐付いているファ
>>> イルです。
>>>
>>> この中のシンボリックリンクのリンク先に.mrnファイルがあれば
>>> MariaDBプロセスが.mrnファイルを開いています。FLUSH TABLESを
>>> するとなくなるはずです。
>>
>> FLUSH TABLES後だけの集計で恐縮ですが下記のような状況でした。
>>
>> # ls -al /proc/xxx/fd | wc -l
>> 5132
>>
>> # ls -al /proc/xxx/fd | grep '\.mrn' | wc -l
>> 4087
>>
>> 弊環境だとMroongaとしてのデータが入っていないものが大半だったので
>> 消えるのが普通だとすると何かしらデータを入れないとダメなのだろうかと
>> 思い下記のように試してみましたところFDが消えました。
>>
>>
>> CREATE DATABASE `test01`;
>> use test01
>> CREATE TABLE fuga (id int, item text NOT NULL) ENGINE=Mroonga;
>>
>> FLUSH TABLES; /* .mrn系のFDに変化なし */
>>
>> INSERT INTO fuga VALUES (1, 'aaa');
>>
>> FLUSH TABLES; /* 全DBの.mrn系ファイルのFDが消える! */
>>
>>
>> ENGINEがInnoDBだとダメだったためやはりなにかしらMroongaとして入力
>> しないとダメなようです。
>> 気になる点としてはデータの入っているMroongaエンジンのテーブルが
>> 全く無いわけではないのでFLUSH TABLESがいつでも効きそうではありますが
>> なぜか直近で適当なDBに適当なテーブルを作成してINSERTした後でないと
>> 消えないようです。
>>
>> FDが消えた後は
>> # ls -al /proc/xxx/fd | grep '\.mrn' | wc -l
>> 0
>>
>> alloc_countの値も2808まで低下しておりました。
>>
>> と、ここまではよかったのですが肝心のメモリ使用量が13.9G→13.1Gと
>> 減少量が芳しくありませんでした。
>>
>> ただ、本メールを記述中に手元の検証環境にて100DBほどDROP TABLEだけ
>> 行ったほとんど空のDBを作成し、うち一つに上記テーブル処理を加え
>> mrnファイルを一掃してしばらくした後に謎の急激なused値減少があったため
>> 少 し様子をみたく存じます。
>>
>> その後の状況につきましては追ってご連絡差し上げたく存じます。
>>
>>
>> 以上、何卒よろしくお願いいたします。
>>
>> _______________________________________________
>> groonga-dev mailing list
>> groon****@lists*****
>> https://lists.osdn.me/mailman/listinfo/groonga-dev
> _______________________________________________
> groonga-dev mailing list
> groon****@lists*****
> https://lists.osdn.me/mailman/listinfo/groonga-dev
> 



groonga-dev メーリングリストの案内
Back to archive index