プラットフォームおよびコレクタ サーバ間の通信が切断したなどの境界条件における、データ処理パイプラインの動作

デフォルトの保持期間
30 日間です。エンタープライズ ライセンスの場合、ユーザー インターフェイスから延長することができます。注︰延長する場合は、ディスクのガイドラインに沿っていることを確認してください。
コレクタでのデータの処理方法
フロー データを含むコレクタ上のすべてのデータは、プラットフォームに送信する前に SDM（自己記述メッセージ）に変換されます。すべてのデータ ソースからの構成、インベントリ、およびメトリック データがすべて含まれます。プラットフォームにアクセスできない場合、または Kafka キューへの SDM アップロードが失敗した場合、コレクタ仮想マシンのディスクに書き込まれます (/var/BLOB_STORE)。
コレクタでデータのパージを開始するタイミング
フロー以外のデータの場合︰ディスク (BLOB_STORE) では、SDM を保存するための容量が 10 GB 割り当てられています。このストアがいっぱいになると、コレクタは古い SDM を削除し、新しい SDM をディスクに追加します。この制限に到達するペースは、すべてのデータ ソースから収集されるデータのサイズによって異なります。
フロー データの場合： /var/flows/vds/nfcapd では、raw フローを保存するための容量が 15 GB 割り当てられています。この容量が使用されると、フロー プロセッサは、古いフロー ファイルの削除を開始します。受信側の raw フローの速度（最大 2 M/分）では、ローテーションが開始するまでに 10 時間程度かかります。
パージ ロジックの概要
最も古い SDM が最初に削除されます。
新しいデータがコレクタでの処理を停止するタイミング
サービスが適切に実行されている間は処理を停止することはありません。
プラットフォームとコレクタ間の接続が切断し、パージする条件を満たしていない場合、すべてのデータは再接続時にプラットフォーム上で照合されますか。
ディスクに保存されているすべてのデータがプラットフォームに送信されます。プラットフォーム上でデータが損失する条件が存在する場合をのぞき、データは完全に照合されます（詳細は以下を参照）。
プラットフォーム上でデータの損失が発生する条件
Kafka キューに入った SDM が 6 時間を超えると、プラットフォームは、SDM をドロップします（3 ノード クラスタの場合は 18 時間）。キューが飽和状態になっている場合でも発生します。システムに遅延が発生し、受信データ レートが高い場合に、この問題が発生する可能性があります。
SDM が送信される順序
最も古い SDMs が最初に送信されます。バージョン 3.9 までは、既知の問題が 1 つあります。これにより、データの損失が発生する可能性があります。詳細については、VMware サポートにお問い合わせください。
通信に問題がない場合、データはコレクタのディスクに保存され、プラットフォームにプッシュされますか。
通信の問題がない場合、SDM はディスクに保存されません。メモリ自体からプラットフォームに送信されます。SDM の送信中に問題が発生したことをコレクタが受信すると、ディスクにのみ保存されます。
問題が発生した場合、コレクタが最後に処理されたフロー ファイルを把握する方法
フロー プロセッサは、最後に処理された nfcapd ファイルのブックマークをデータベースに保持します。
問題が発生せずに処理できる SDM の最大サイズユーザーはこの制限についてどのように把握しますか。
SDM サイズには 15 MB の制限があります。バージョン 3.9 以降では、プラットフォームが大量に SDM をドロップするたびにイベントが発生します。