yfa02****@nifty*****
yfa02****@nifty*****
2010年 12月 23日 (木) 02:02:42 JST
島村様 お世話になっております、佐藤です。 >こちらは、データをロードして再現するようなので、dbではなくロードデータ自体を 頂くことは可能ですか？ >初期状態のdbにロードして再現する手順を踏んで、こちらで現象を追ってみたいと考 えています。 すいません、「ロードデータ自体」というのは何を指しているのでしょうか。 DBの中身を見ていただくと分かると思うのですが、ブログの新着記事をクローリングし てため込んだ データのため、手元にロードデータを保持しておりません。 再度クローリングをすることは可能ですが、お渡ししたDBの中身と同じにはならないで す。 最後にロードしたであろう記事データ（一番最後にloadした行）をgroongaの中から探 してみて、 再度同じ記事データをロードして再現するかどうかを明日以降に試してみたいと思いま す。 が、その最後の一記事のみをloadして再現しないのではないかと思ってしまうのですが 。。 何か特殊な文字をloadすると再現する可能性があったりするものなのでしょうか。 であれば、その可能性はあります。 ブログの記事には、MS-Officeからコピペした時などに変な制御文字が混入しているケ ースなどがあるからです。 もしくは、本件はrroongaを利用してDBへloadをしました。 そのrroongaの利用方法により再現する可能性はあるのでしょうか。 >調査の結果、頂いたdbはインデックスが既に破損している状態であることがわかりま した。 ところで、質問なのですが、今回は「インデックスが破損している状態」とのことです が、 これは所謂MySQL的なINDEXが壊れているだけで、本体データは無事なのでしょうか？ 仮に本番運用の際にこのような現象が発生した場合、 INDEXのみであれば、一回INDEXを削除して、再度生成することで現象が戻るのでは？ などと想像するのですが、この考え方は合っているのでしょうか。 （groongaの場合はINDEXテーブルの削除、再生成になると思っています） よろしくお願いいたします。 ----- Original Message ----- >From: Yutaro Shimamura <yu****@irx*****> >Date: Fri, 17 Dec 2010 14:46:38 +0900 >To: 全文検索エンジンGroonga開発メーリングリスト > <groon****@lists*****> >Subject: [groonga-dev,00421] Re: > groonga で load コマンドでレスポンスが返ってこない場合の対処方法について > > > >島村です。 > >調査の結果、頂いたdbはインデックスが既に破損している状態であることがわかりま した。 > >>>> 調べてみたところ、loadコマンドを発行時に、レスポンスが返ってこなくなって いるよ >>>> うです。 >>>> rroonga（のaddメソッド）経由ではなく、groonga上でloadコマンドを利用しても 結果 >>>> は同じでした。 > > >こちらは、データをロードして再現するようなので、dbではなくロードデータ自体を 頂くことは可能ですか？ >初期状態のdbにロードして再現する手順を踏んで、こちらで現象を追ってみたいと考 えています。 > >以上、お手数ですがご確認いただければと思います。 > >どうぞよろしくお願いいたします。 > >On Dec 14, 2010, at 1:08 AM, Yutaro Shimamura wrote: > >> >> 佐藤さん >> >> 島村です。 >> >> いただいたデータをもとに調査したところ、現状ではclearlock後の一番初めのload で失敗し、 >> その後 _keyの違うものをloadすると成功しているようです。 >> >> まずは現象が確認できたので、調査させていただきます。 >> >> こちらにチケットを作成しました。 >> http://redmine.groonga.org/issues/772 >> >> >> どうぞよろしくお願いいたします。 >> >> On Thu, 9 Dec 2010 15:32:57 +0900 >> Yutaro Shimamura <yu****@irx*****> wrote: >> >>> >>> 佐藤さん >>> >>> >>> 島村です。はじめまして。 >>> >>> 森に代わってお返事させて頂きます。 >>> >>> >>>> テストデータですが、公開情報なので手元にあるDBファイルごとお渡しすること は可能 >>>> なのですが、 >>>> 1G以上あり、実質的にお渡しできない状況です‥。 >>>> （何かお渡しできる良い手段がありましたら教えてください。） >>> >>> こちらに関しては、別途FTPサーバーのアドレスをお送りするので、 >>> そちらにアップロードして頂くことは可能でしょうか？ >>> >>> >>> どうぞよろしくお願いします。 >>> >>> On Dec 9, 2010, at 3:23 PM, Kouhei Sutou wrote: >>> >>>> 須藤です。 >>>> >>>> In <13486****@nifty*****> >>>> "[groonga-dev,00416] Re: groonga で load コマンドでレスポンスが返ってこな い場合の対処方法について" on Thu, 9 Dec 2010 13:32:06 +0900 (JST), >>>> sato <yfa02****@nifty*****> wrote: >>>> >>>>>> よろしければお使いのスキーマを、(もし可能であれば、テストデータも・・) >>>>>> いただくことは可能でしょうか？ >>>>> >>>>> 逆質問になってしまうのですが、groongaでスキーマを正確にお伝えするには、 >>>>> どういう手段が適切でしょうか。 >>>>> MySQLですと、 >>>>> >>>>> SHOW CREATE TABLE; >>>>> SHOW INDEXES FROM [TABLE NAME]; >>>>> コマンドで、正確なスキーマやINDEX情報が取れますが、 >>>>> groongaのドキュメントを見る限り、そういったコマンドを見つけることができ ません >>>>> でした。 >>>> >>>> 実はdumpコマンドというのがあって、それを使うとスキーマ（とデー >>>> タ）を取得できます。 >>>> http://groonga.org/docs/commands/dump.html >>>> >>>> 今のところ、ダンプ結果を全部作ってから出力するようになってい >>>> るので、しばらく何も出力されないと思います。（本当はインクリ >>>> メンタルに出力するようにしたい。） >>>> >>>> % groonga /path/to/db dump >>>> table_create ... >>>> ... >>>> load ... >>>> ... >>>> >>>> フォーマットはgroongaコマンドの羅列になります。なので、デー >>>> タベースをリストアする時はdumpの出力をgroongaの入力にします。 >>>> （MySQLとかがSQLでダンプするような感じです。） >>>> >>>> load以降はデータ部分になるので、スキーマのみ必要な場合はload >>>> 以降は無視してもかまいません。 >>>> >>>>> 他にもテーブル一覧なども後から取りたかったりするのですが、それも分かりま せんで >>>>> した。 >>>> >>>> 実はtable_listコマンドとというのがあって、それを使うとテーブ >>>> ル一覧を取得できます。 >>>> http://groonga.org/docs/commands/table_list.html >>>> >>>> こちらはselectコマンドなどと同じくJSONになります。 >>>> >>>> % groonga /path/to/db table_list >>>> [[...], ...] >>>> >>>> >>>>> と、ここまで書いていてlimit 0の返却値がスキーマーに相当するのかもと思い ました >>>>> ので、 >>>>> その情報をお伝えします。 >>>> >>>> ありがとうございます！ >>>> >>>>> テストデータですが、公開情報なので手元にあるDBファイルごとお渡しすること は可能 >>>>> なのですが、 >>>>> 1G以上あり、実質的にお渡しできない状況です‥。 >>>>> （何かお渡しできる良い手段がありましたら教えてください。） >>>> >>>> こちらもありがとうございます！ >>>> たぶん、森さんから連絡がいくと思います。 >>>> >>>> >>>> -- >>>> 須藤 功平 <kou****@clear*****> >>>> 株式会社クリアコード <http://www.clear-code.com/> (03-6231-7270) >>>> >>>> プログラミングが好きなソフトウェア開発者を募集中: >>>> http://www.clear-code.com/recruitment/ >>>> >>>> _______________________________________________ >>>> groonga-dev mailing list >>>> groon****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/groonga-dev >>> >>> _______________________________________________ >>> groonga-dev mailing list >>> groon****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/groonga-dev >> >> _______________________________________________ >> groonga-dev mailing list >> groon****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/groonga-dev > >_______________________________________________ >groonga-dev mailing list >groon****@lists***** >http://lists.sourceforge.jp/mailman/listinfo/groonga-dev
