MENU

PrometheusデータをVictoriaMetricsへ段階移行|リモートライト並走・ルール移植・切り戻し計画

Prometheusはクラウドネイティブ環境における事実上の標準モニタリングシステムですが、長期保存・高カーディナリティ・マルチテナントといった要件が重なると、ストレージの肥大化やクエリ遅延が顕在化してきます。VictoriaMetrics(以下VM)はPromQL互換のMetricsQLとPrometheus互換APIを備えたOSS時系列データベースであり、既存のGrafanaダッシュボードやアラートルールをほぼ流用したまま移行できます。本記事では、無停止で本番を維持しながらPrometheusからVMへ段階移行する運用シナリオを、remote_write並走の設定からルール移植・整合性検証・切り戻し計画まで一本で整理します。

目次

段階移行を選ぶ理由とアーキテクチャの全体像

ハードカットオーバー(一夜でPrometheusを停止してVMへ切り替える)は、過去データの移行漏れやルール動作の差異を本番で初めて発見するリスクがあります。段階移行では、PrometheusとVMを並走させることでリスクを段階的に低減できます。

全体の流れは次のとおりです。

  • フェーズ1:Prometheusにremote_writeを追加し、VMへのリアルタイム転送を開始
  • フェーズ2(任意):vmctlで過去データをバックフィル
  • フェーズ3:vmalertでルールをVMデータソースで試験評価し、整合性を確認
  • フェーズ4:GrafanaのプライマリData SourceをVMへ切り替え、Prometheus側のルールを無効化
  • フェーズ5:問題がなければPrometheusを縮退・停止

どのフェーズでも「remote_writeを無効化してリロード」するだけでPrometheusへ戻せるため、切り戻しのコストが低い点が段階移行の最大の利点です。

リモートライト並走の設定手順

remote_writeはPrometheusがスクレイプしたサンプルを、リアルタイムで外部ストレージへ転送する仕組みです。VMはPrometheus互換の書き込みエンドポイント(/api/v1/write)を提供しているため、prometheus.ymlへの数行追加で並走を開始できます。

prometheus.ymlへのremote_write追加

remote_write:
  - url: "http://<victoriametrics-host>:8428/api/v1/write"
    queue_config:
      max_samples_per_send: 10000
      capacity: 50000
      max_shards: 10
    write_relabel_configs:
      - source_labels: [__name__]
        regex: ".*"
        action: keep

queue_configのシャード数とキャパシティは、スクレイプ対象の規模に応じて調整します。デフォルト値のままだとスクレイプ間隔が長いターゲットではキューがあふれることがあるため、max_shardsを環境のスループットに合わせた値に設定してください。設定変更後はプロセスをリロードします。

systemctl reload prometheus
# シグナル経由でリロードする場合
curl -X POST http://localhost:9090/-/reload

VMが受信しているかの確認

curl "http://<victoriametrics-host>:8428/metrics" | grep vm_rows_inserted_total

vm_rows_inserted_totalが増加していれば、remote_writeによる受信が正常に動作しています。VMの管理UI(デフォルトポート8428)の「vmui」からも同様に確認できます。

過去データのバックフィル(任意)

remote_writeは設定した時点以降のデータしか転送しません。移行前の保持期間(例:過去30日分)をVMにも持たせたい場合は、vmctlでPrometheusスナップショットからバックフィルします。

# Prometheusスナップショットの作成
curl -X POST http://localhost:9090/api/v1/admin/tsdb/snapshot

# vmctlでVMへ転送
vmctl prometheus \
  --prom-snapshot-path=/var/lib/prometheus/snapshots/<snapshot-name> \
  --vm-addr=http://<victoriametrics-host>:8428

バックフィル中もPrometheusは通常通りスクレイプを継続し、remote_writeでVMへのリアルタイム転送も並走します。重複タイムスタンプのサンプルはVMが自動でデデュープリケーションするため、基本的に再取り込みを気にする必要はありません。

recording rules・alerting rulesの移植

VMでルールを評価するには、vmalertコンポーネントを別途起動します。vmalertはPrometheusのルールファイルフォーマット(YAML)とほぼ互換があるため、既存ファイルをそのまま指定できます。

vmalertの起動

vmalert \
  -rule=/etc/vmalert/rules/*.yml \
  -datasource.url=http://<victoriametrics-host>:8428 \
  -notifier.url=http://<alertmanager-host>:9093 \
  -remoteWrite.url=http://<victoriametrics-host>:8428 \
  -evaluationInterval=1m

-remoteWrite.urlを指定すると、recording rulesの評価結果もVMへ書き戻せます。これによりVMをプライマリData Sourceにした後も、集計済みメトリクスが継続して参照できます。

並走期間中の重複アラート対策

移行期間中はPrometheusとvmalertの両方がルールを評価するため、同じアラートが二重発火する場合があります。一般的には以下のどちらかの方針で対処します。

  • vmalertのルールは評価のみ行い、AlertmanagerへのNotifyを無効化(-notifier.urlを省略)して試験期間とする
  • Alertmanagerにinhibitionルールを追加し、VMとPrometheus双方から来た同一アラートを重複抑制する

MetricsQLはPromQLの上位互換ですが、holt_winters関数の挙動や一部の集計関数の細かい丸め処理が異なるケースがあります。クリティカルなアラートルールについては、PrometheusとvmalertのどちらもPENDING状態の閾値を通過するかを比較確認しておくことが望ましいです。

並走中の整合性検証

並走期間は、PrometheusとVMの両方に同じクエリを投げてメトリクス値が一致するかを確認する期間です。GrafanaのData Sourceに両方を登録し、同一ダッシュボードを複製して並べて表示する方法がわかりやすいです。

APIでのスポット確認

# Prometheusの最新値
curl "http://<prometheus-host>:9090/api/v1/query?query=up"

# VictoriaMetricsの最新値
curl "http://<victoriametrics-host>:8428/api/v1/query?query=up"

スクレイプタイミングのわずかなずれによって、瞬間値が一致しないことはよくあります。範囲クエリ(query_range)で数時間~1日分のデータを比較し、傾向が一致していることを確認するほうが実用的です。

よくあるつまずき

シングルノードVMではデフォルトでデデュープリケーションが無効になっています。PrometheusのHAペアなど複数のソースからremote_writeを受け取る構成では、-dedup.minScrapeIntervalを設定しないとサンプルが重複したまま保持されます。値はスクレイプ間隔(例:15s)に合わせて指定してください。

また、remote_writeのキューが詰まると、Prometheusのメモリ使用量が増加します。Prometheusのメトリクスprometheus_remote_storage_pending_samplesが継続して増加している場合は、max_shardsを増やすかVMのリソースを確認します。

切り戻し計画と移行完了の判断基準

段階移行の安全性は、切り戻し手順がシンプルであることに依存します。以下の手順でいつでもPrometheus単独構成に戻せます。

remote_writeの無効化

# prometheus.yml の remote_write セクションをコメントアウトまたは削除後
systemctl reload prometheus

リロード後、VMへの書き込みは即座に停止します。PrometheusはローカルTSDBへの書き込みを継続しているため、切り戻しによるデータ欠損は発生しません。

アラートルールの切り戻し

vmalertを停止し、GrafanaのプライマリData SourceをPrometheusに戻します。Alertmanagerが参照するエンドポイントはPrometheusのalerting設定が継続しているため、追加作業は不要です。

移行完了の判断基準

以下の条件がすべて満たされた時点で、Prometheusを縮退対象と見なせます。

  • GrafanaのダッシュボードがすべてVM Data Sourceで正常表示されている
  • vmalertのアラートが本番ロードで誤検知・検知漏れなく動作している
  • VMの保持期間がPrometheusの保持期間(--storage.tsdb.retention.time)を上回っている
  • 並走期間中に切り戻しが発生していない状態で所定の安定期間(運用ポリシーに依存)を経過している

移行完了後も、Prometheusの保持データはすぐに削除せず、一定期間はスナップショットとして保管しておくことを推奨します。

2026年現行環境での差分と注意点

2026年時点では、Kubernetes上のVMデプロイにVictoriaMetrics Operatorを利用する構成が標準的になっています。OperatorはPrometheusOperator(kube-prometheus-stack)のServiceMonitor/PodMonitorリソースと互換のあるCRDを提供しているため、既存のモニタリング定義をほぼそのままVMAgent管理下に移行できます。Helm Chartによる移行手順は公式リポジトリに整備されており、kube-prometheus-stackとの共存期間を設けた段階移行も想定されています。

Prometheusのバージョン面では、2.x系から3.x系への移行が進んでいます。Remote Write 2.0仕様(UTF-8メタデータ対応・ネイティブヒストグラムのネイティブ転送)はPrometheus 3.x系で本格的にサポートされており、VMでも対応が進んでいます。Prometheus 2.x系~3.x系のどちらのremote_writeプロトコルを使用するかは、VMのバージョンとの互換性マトリクスを事前に確認してください。

シングルノードVMからVMCluster(vmstorage・vminsert・vmselect分離構成)への拡張も、同様のremote_write並走パターンで無停止移行が可能です。vminsertが複数のvmstorageへデータを分散するため、スケールアウト時にもPrometheus側の設定変更は最小限で済みます。大規模環境では段階移行の知見がクラスタ化においてもそのまま活用できます。

「コマンドは打てる。次は”現場で通用する型”を最短で身につけたい」——そんなあなたへ。

ネットの断片的なTipsをコピペするだけでは、体系的な運用スキルはなかなか積み上がりません。リナックスマスター.JPの無料メルマガ「リナマガ」では、現場で実際に使うLinuxサーバー運用の考え方を、順を追って実務目線でお届けしています。いま登録された方には、安全なサーバー構築の「型」をまとめた『Linuxサーバー構築入門マニュアル(図解60P)』を完全無料でプレゼント中です。

>> 図解60P『Linux入門マニュアル』を無料で受け取る
(メルマガ登録は10秒・いつでも解除OK)

※ 「独学の時間がもったいない」「プロから現場の技術を最短で学びたい」という本気の方には、2日で実務レベルが身につく初心者向けハンズオンセミナーもご用意しています。

PR・広告

新しいLinuxの教科書 第2版(Amazon)

コマンド操作から基本運用までを手を動かして学べる定番書。記事で触れた技術の土台固めに。

Amazonで見る

※ Amazonのアソシエイトとして、当サイトは適格販売により収入を得ています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

目次