Daijiro MORI
null+****@clear*****
Mon Nov 18 11:37:11 JST 2013
Daijiro MORI 2013-11-18 11:37:11 +0900 (Mon, 18 Nov 2013) New Revision: bd02e73c408ec13d2b148fe7649c4b8eec39fad7 https://github.com/droonga/droonga.org/commit/bd02e73c408ec13d2b148fe7649c4b8eec39fad7 Message: Add a diagram. Added files: overview/droonga02.png Modified files: ja/overview/index.md Modified: ja/overview/index.md (+14 -1) =================================================================== --- ja/overview/index.md 2013-11-18 11:33:56 +0900 (0be8ec5) +++ ja/overview/index.md 2013-11-18 11:37:11 +0900 (884eb02) @@ -104,11 +104,24 @@ Droongaクラスタは一つ以上のDroonga Engineプロセスで構成され クラスタを構成する個々のDroonga Engineでの処理について説明します。 + + Droonga Engineは、Fluentdのoutput pluginとして動作します。 -任意のinput plugin経由で受信するデータストリームをDroongaに対する入力として扱うことができます。Droonga Engineが受信したデータは、tag名などに応じて、Adapterと呼ばれるモジュールに渡されます。Adapterは、個々のJSONデータを、Droongaの内部処理モジュールが受理できる形式に変換します。また、Droonga Engineとの通信を行うための特別な形式を満たすJSONデータを特にEnvelopeと呼んでいます。Envelope形式に適合するJSONデータは、Droonga Engineに対する処理要求やその処理結果などをより直接的に表現しています。 + +任意のinput plugin経由で受信するデータストリームをDroongaに対する入力として扱うことができます。 + +Droonga Engineが受信したデータは、tag名などに応じて、Adapterと呼ばれるモジュールに渡されます。Adapterは、個々のJSONデータを、Droongaの内部処理モジュールが受理できる形式に変換します。 + +また、Droonga Engineとの通信を行うための特別な形式を満たすJSONデータを特にEnvelopeと呼んでいます。Envelope形式に適合するJSONデータは、Droonga Engineに対する処理要求やその処理結果などをより直接的に表現しています。 + Adapterを経て加工されたJSONデータは、Dispatcherと呼ばれるモジュールに渡されます。Dispatcherは、JSONデータをクラスタ内のどのEngineプロセスに転送し、その結果をさらにまたどのEngineプロセスで処理するかといった計画を立て、その実行計画情報をJSONデータに付け加えます。 + Dispatcherの出力は、Distributerというモジュールに引き渡され、クラスタ内のEngineプロセスに配送されます。 + JSONデータは、データ集合のパーティションを管理するHandlerというモジュールに届けられ、ここでデータストアに対する処理を加えます。必要に応じて処理結果をデータとして出力したり、他のJSONデータをemitしたりします。 + 複数のパーティションで実行された結果を集約する場合には、Collectorというモジュールにデータが集められ、ここで集計や並べ替えなどの処理にかけられます。 + 最終的な処理結果をDroonga Engineの外部に出力する際には、再度Adapterモジュールを通過し、出力を受け取る外部プログラムが処理しやすい形式にデータを整形します。 + 上記のモジュールのうち、Adapter, Distributer, Handler, Collectorについては、Rubyスクリプトで記述するpluginによって、自由に処理をカスタマイズすることができます。 Added: overview/droonga02.png (+0 -0) 100644 =================================================================== (Binary files differ) -------------- next part -------------- HTML����������������������������...Download