MENU

ZabbixからPrometheus/Grafanaへ本番監視を移行|アラート継続性を保った段階切り替えと切り戻し

目次

ZabbixとPrometheus/Grafanaの設計思想の違いを押さえる

Zabbixはエージェントがデータをサーバへプッシュするモデルが基本です(パッシブチェックではポーリングも可能)。トリガー・テンプレート・アクションがすべてZabbixサーバのデータベースに集約されており、単一の管理UIで監視の全体像を把握できます。一方Prometheusはサーバがエンドポイントを定期的にスクレイプするプルモデルで、アラートはAlertmanager、可視化はGrafanaと役割が明確に分離しています。

この分離がKubernetes環境では強みになりますが、同時に「Prometheusでスクレイプできる形式のエンドポイントを用意する必要がある」という制約も生じます。Zabbix固有のアイテム(SNMP・JMX・独自スクリプトなど)をそのまま置き換えるには対応するexporterを探すか、自作が必要になる点は事前に洗い出しておく必要があります。移行を始める前に「何を監視しているか」の棚卸しが最も重要なステップです。

移行前の準備:アラートの棚卸しと並走設計

本番監視の移行でリスクが最も高いのはアラートの引き継ぎです。まずZabbixの全トリガーを一覧化し、以下の観点で整理します。

  • 通知先(メール・Slack・PagerDutyなど)
  • 重要度(Disaster/High/Average/Warning/Information)
  • 条件式(例:5分平均のCPU使用率が80%超など)
  • 依存関係(親ホストがダウンしたら子のアラートを抑制する設定)

整理できたら、同等のPrometheusアラートルールをYAML形式で書き起こします。条件式はZabbixのマクロ構文からPromQLへの書き換えが必要で、ここが最も工数のかかる作業です。

並走設計の原則は「ZabbixとPrometheus/Alertmanagerの両方がアラートを発報できる状態を維持しながら、通知チャネルを段階的に切り替える」ことです。両方から同一のアラートが届く期間を意図的に設けることで、PromQL条件式の抜け漏れを本番トラフィックで検証できます。この期間は最低でも2週間確保することを推奨します。

段階的切り替えの手順

Phase 1 ― Prometheusのデプロイとメトリクス収集開始

既存のZabbixエージェントが動いているサーバにnode_exporterを追加インストールし、Prometheusのスクレイプ対象に加えます。この時点ではZabbixの設定は一切変更せず、Prometheusは収集専用として稼働させます。node_exporterはsystemdユニットとして管理するのが2026年現在の標準的なやり方です。

# node_exporterをsystemdサービスとして起動する想定例
# /etc/systemd/system/node_exporter.service
[Unit]
Description=Prometheus Node Exporter
After=network.target

[Service]
User=nobody
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure

[Install]
WantedBy=multi-user.target

prometheus.ymlにスクレイプ設定を追記し、GrafanaでCPU・メモリ・ディスクなどの基本メトリクスが取得できることを確認します。この段階ではアラートは設定せず、メトリクスの取得精度の確認に集中します。

Phase 2 ― Alertmanagerの設定とアラートの並走

Alertmanagerをデプロイし、既存のZabbixアラートと同等の通知ルールをalert_rules.ymlに定義します。最初の通知先は本番チャネルではなく、確認専用のチャネル(例:Slackの #monitoring-staging)に向けておくことで、本番アラートと混在させずに検証できます。

# alert_rules.ymlの想定例
groups:
  - name: node_alerts
    rules:
      - alert: HighCPUUsage
        expr: >
          100 - (avg by(instance)(
            rate(node_cpu_seconds_total{mode="idle"}[5m])
          ) * 100) > 80
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "CPU使用率が80%超 ({{ $labels.instance }})"

想定例として、テスト用VMのCPU負荷を意図的に上げるなどしてアラート条件を再現し、ZabbixとAlertmanagerの両方が正しく検知することを確認します。検知時刻のずれやfor句による遅延も記録しておくと、Phase 3の閾値調整に役立ちます。

Phase 3 ― 通知チャネルの本番切り替え

確認専用チャネルでの検証が十分であれば、Alertmanagerの通知先を本番チャネル(Slack本番・PagerDutyなど)に切り替えます。この時点でZabbixのアクション(通知設定)は「削除」ではなく「無効化」に留めておきます。完全にZabbixのアラートを止めるのは、Alertmanagerの安定稼働を2週間以上確認した後にするのが安全です。

切り替え後の検証:アラート継続性の確認方法

移行後は以下の手順でアラート継続性を体系的に確認します。

  1. スクレイプ間隔の確認:Prometheusのデフォルトのスクレイプ間隔は15秒です。Zabbixのポーリング間隔と比較し、検知遅延が業務上の許容範囲内かを確認します。
  2. アラート発火のドリルテスト:想定例として、テスト環境でディスクフルをシミュレートし、for句の待機時間後にAlertmanagerへアラートが届くことを確認します。
  3. インヒビット設定の確認:Zabbixの依存関係(ホストダウン時に子アラートを抑制)と同等の設定がAlertmanagerのinhibit_rulesで機能しているかチェックします。設定漏れはアラートストームの原因になります。
  4. 重複通知の抑制確認:Alertmanagerのgroup_wait・group_interval・repeat_intervalが意図通りに機能し、同一アラートが大量通知されないことを確認します。

切り戻し手順

PrometheusやAlertmanagerで問題が発生した際、Zabbixが並走しているうちは切り戻しが容易です。切り戻しの基本的な流れを以下に示します(想定例)。

  1. Alertmanagerの通知設定を無効化する(systemctl stop alertmanager)
  2. ZabbixのアクションをGUI上で「有効」に戻す
  3. Prometheusはデータ収集を継続させたまま、問題の原因調査を行う

Zabbixをすでに停止済みの場合は、バックアップしておいたZabbixのDB(PostgreSQL/MySQL)とzabbix_server.confからの復元が必要です。移行完了前にZabbixのsystemdサービスをdisableせずstopに留めておくことで、systemctl start zabbix-serverだけで即座に再起動できます。

注意点として、Prometheusのデータ(TSDBのブロックファイル)はZabbixのDBとは互換性がありません。Prometheusで収集したメトリクスをZabbixに逆流させることはできないため、切り戻し後は「Zabbix停止期間中のグラフが欠ける」ことを許容するか、PrometheusのデータをGrafana経由で参照専用に残す設計にします。

2026年の現行環境での注意点

Prometheus 3.x のネイティブヒストグラム対応

2024年末のPrometheus 3.0以降、ネイティブヒストグラム(OpenMetrics対応)が安定版になりました。node_exporter 1.8以降はデフォルトでネイティブヒストグラムを出力できるため、Grafanaのパネルで旧来のhistogram_quantileが意図通りに動作しない場合があります。既存のダッシュボードを移行する際はクエリのcompatibility modeを確認してください。また、Prometheus 3.xはUTF-8ラベル名をサポートしているため、日本語などのラベルを使っていた場合の挙動も事前に確認が必要です。

Grafana 12.x のAlertingとダッシュボードの変更点

Grafana 12では「Scenes-based dashboards」がデフォルトとなり、旧来のtemplating variablesの書き方が一部変更されています。Zabbixのダッシュボードエクスポートをそのままインポートするのではなく、Grafana公式のnode_exporter-fullダッシュボード(ID: 1860)をベースに差分を加える方が安定しています。またGrafana Alertingの統合UIがさらに整備され、PrometheusのAlertmanagerとGrafana管理アラートの共存設定が以前より分かりやすくなっています。

長期保存にはVictoriaMetricsの検討を

Prometheusのデフォルトのローカルストレージは15日保存を基準に設計されています。Zabbixはデフォルトのhousekeeper設定で90日程度の保存が可能なため、移行後に保存期間が短くなる点は事前に確認が必要です。長期保存(1年以上)が必要な場合は、VictoriaMetricsをremote_writeの書き込み先に設定することで、Prometheusの設定変更を最小限に抑えながら長期保存を実現できます。VictoriaMetrics 1.x系は2026年現在も活発にメンテナンスされており、Prometheusとのプロトコル互換性が高い点も選択しやすい理由の一つです。

Zabbix 7.x との共存オプション

Zabbix 7.0以降はHTTP agentアイテムでPrometheusのexporterエンドポイントから直接メトリクスを取得できるようになっています。これを利用すると、移行期間中にZabbixをPrometheusのデータ収集プロキシとして使う構成も取れます。段階的に移行を進めたい場合や、一部の監視項目だけをZabbixに残したい場合の選択肢として覚えておくと役立ちます。ただし、この構成はZabbixへの依存を長引かせるリスクもあるため、移行計画の終端(Zabbixを完全停止する時期)を明確に設定した上で活用することを推奨します。

「コマンドは打てる。次は”現場で通用する型”を最短で身につけたい」——そんなあなたへ。

ネットの断片的なTipsをコピペするだけでは、体系的な運用スキルはなかなか積み上がりません。リナックスマスター.JPの無料メルマガ「リナマガ」では、現場で実際に使うLinuxサーバー運用の考え方を、順を追って実務目線でお届けしています。いま登録された方には、安全なサーバー構築の「型」をまとめた『Linuxサーバー構築入門マニュアル(図解60P)』を完全無料でプレゼント中です。

>> 図解60P『Linux入門マニュアル』を無料で受け取る
(メルマガ登録は10秒・いつでも解除OK)

※ 「独学の時間がもったいない」「プロから現場の技術を最短で学びたい」という本気の方には、2日で実務レベルが身につく初心者向けハンズオンセミナーもご用意しています。

PR・広告

新しいLinuxの教科書 第2版(Amazon)

コマンド操作から基本運用までを手を動かして学べる定番書。記事で触れた技術の土台固めに。

Amazonで見る

※ Amazonのアソシエイトとして、当サイトは適格販売により収入を得ています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

目次