MapR

Supported OS Linux

インテグレーションバージョン3.0.0

概要

このチェックは、Datadog Agent を通して MapR 6.1 以降を監視します。

セットアップ

以下の手順に従って、このチェックをインストールし、ホストで実行中の Agent に対して構成します。

インストール

MapR チェックは Datadog Agent パッケージに含まれていますが、追加のセットアップが必要です。

前提条件

ノード別インストールステップ

  1. Agent をインストールします。

  2. mapr-streams-library が必要とする librdkafka ライブラリを、以下の手順に従ってインストールします。

  3. 次のコマンドを使用して、ライブラリ mapr-streams-library をインストールします。

    sudo -u dd-agent /opt/datadog-agent/embedded/bin/pip install --global-option=build_ext --global-option="--library-dirs=/opt/mapr/lib" --global-option="--include-dirs=/opt/mapr/include/" mapr-streams-python.

    Python 3 で Agent v7 を使用されている場合は、pip を pip3 に置き換えます。

  4. /etc/ld.so.conf (または /etc/ld.so.conf.d/ 内のファイル) に /opt/mapr/lib/ を追加します。これは、Agent が使用する mapr-streams-library で MapR 共有ライブラリを探すために必要です。

  5. sudo ldconfig を実行してライブラリを再読み込みします。

  6. チケットのロケーションを指定して、インテグレーションを構成します。

補足

  • クラスターで「セキュリティ」が有効化されていない場合は、チケットがなくても続行できます。
  • 本番環境で gcc (mapr-streams-library の構築に必要) などのコンパイルツールを利用できない場合は、環境インスタンスでライブラリのコンパイル済み Wheel を生成して、本番ホストに配布できます。開発ホストと本番ホストは、双方でコンパイル済み Wheel を使用できるよう、同様である必要があります。sudo -u dd-agent /opt/datadog-agent/embedded/bin/pip wheel --global-option=build_ext --global-option="--library-dirs=/opt/mapr/lib" --global-option="--include-dirs=/opt/mapr/include/" mapr-streams-python を実行して、開発マシンで Wheel ファイルを作成できます。次に、本番マシンで sudo -u dd-agent /opt/datadog-agent/embedded/bin/pip install <WHEEL_ファイル> を実行します。
  • Python 3 で Agent v7 を使用されている場合は、mapr-streams-library をインストールする際に、必ず pip を pip3 に置き換えてください。

構成

メトリクスの収集

  1. Agent コンフィギュレーションディレクトリのルートにある conf.d/ フォルダーで mapr.d/conf.yaml ファイルを編集し、MapR パフォーマンスデータを収集します。利用可能なコンフィギュレーションオプションについては、mapr.d/conf.yaml のサンプルを参照してください。
  2. 作成済みの長期チケットのパスに対するコンフィグに ticket_location パラメーターを設定します。
  3. Agent を再起動します。

ログ収集

MapR はログに fluentD を使用します。fluentD Datadog プラグインを使用して、MapR ログを収集します。下記のコマンドを使用して、プラグインをダウンロードし、適切なディレクトリにインストールします。

curl https://raw.githubusercontent.com/DataDog/fluent-plugin-datadog/master/lib/fluent/plugin/out_datadog.rb -o /opt/mapr/fluentd/fluentd-<VERSION>/lib/fluentd-<VERSION>-linux-x86_64/lib/app/lib/fluent/plugin/out_datadog.rb

次に、下記のセクションを使用して /opt/mapr/fluentd/fluentd-<VERSION>/etc/fluentd/fluentd.conf をアップデートします。

<match *>
  @type copy
  <store> # デフォルトではこのセクションの位置はここです。このセクションから Kibana の ElasticCach にログを送信します。
    @include /opt/mapr/fluentd/fluentd-<VERSION>/etc/fluentd/es_config.conf
    include_tag_key true
    tag_key service_name
  </store>
  <store> # また、このセクションはすべてログを Datadog に転送します:
    @type datadog
    @id dd_agent
    include_tag_key true
    dd_source mapr  # Sets "source: mapr" on every log to allow automatic parsing on Datadog.
    dd_tags "<KEY>:<VALUE>"
    service <サービス名>
    api_key <API_キー>
  </store>

使用可能なオプションの詳細については、fluent_datadog_plugin を参照してください。

検証

Agent の status サブコマンドを実行し、Checks セクションで mapr を探します。

収集データ

メトリクス

イベント

MapR チェックには、イベントは含まれません。

サービスチェック

トラブルシューティング

  • MapR インテグレーションを構成してから、Agent のクラッシュループ状態が続いている。

    アクセス許可に問題があり、mapr-streams-python 内の C ライブラリがセグメンテーション障害を起こすケースがいくつか発生しています。dd-agent ユーザーがチケットファイルでアクセス許可を読み込み、MAPR_TICKETFILE_LOCATION 環境変数がチケットを指定しているときに dd-agent ユーザーが maprcli コマンドを実行できることを確認してください。

  • インテグレーションは正しく動作しているように思えるが、メトリクスがまったく送信されない。

    インテグレーションがトピックからデータをプルし、MapR がデータをトピックにプッシュする必要があるため、必ず Agent を最低でも数分間実行してください。 それでも問題が解決されず、sudo を使用してAgent を手動で実行するとデータが表示される場合は、アクセス許可に問題があります。すべてを再度ご確認ください。dd-agent Linux ユーザーは、ユーザー X (dd-agent 自身である場合とそうでない場合があります) として MapR に対してクエリを実行できるでけでなく、ローカルに保存されたチケットを使用できるはずです。さらに、ユーザー X には consume permission on the /var/mapr/mapr.monitoring/metricstreams ストリームが必要です。

  • confluent_kafka was not imported correctly ... というメッセージが表示される。

    このメッセージは、Agent 埋め込み環境で、コマンド import confluent_kafka を実行できなかったときに表示され、mapr-streams-library が埋め込み環境内にインストールされていないか、mapr-core ライブラリが見つからないことを意味します。エラーメッセージに詳細が記述されています。

ご不明な点は、Datadog サポートまでお問い合わせください。

PREVIEWING: may/embedded-workflows