- 「Dataflowが止まらなくなった話」はじめに
- 「Dataflowが止まらなくなった話」事件発生
- 「Dataflowが止まらなくなった話」試したこと
- 「Dataflowが止まらなくなった話」止めた方法
- 「Dataflowが止まらなくなった話」原因とまとめ
「Dataflowが止まらなくなった話」はじめに
皆さんこんにちは、こんばんは。
techblogchan（ @techblogchan ）です。
今回は、初めて触ってみたGCPのDataflowが止められなくなって焦った話をしたいと思います。
結論を先にお伝えすると、手元でのキャンセルが不可能になり最終的にGCPのチャットサポートサービスを使用して止めてもらいました。
＊＊＊＊＊
「Dataflowが止まらなくなった話」事件発生
作成したジョブをDataflow上で実行したところ、エラーが起きることを確認しました。
そのためローカル上で修正し、Dataflowのupdateコマンドを実行してジョブをアップデートしようとした際に発生しました。
具体的には、udpateをかけたエラーが発生しているジョブと新たにupdateしたいジョブの2つのステータスが「更新中」のままキャンセルもupdateもできなくなってしまったのです。
＊＊＊＊＊
「Dataflowが止まらなくなった話」試したこと
2つのことを試しました。私の場合はどちらもうまくいかなかったのですが、参考までに載せておきます。
gcloud dataflow jobs cancelコマンドの実行
発生したエラー
キャンセルしようとしたジョブのステータスが変更作業中のためキャンセルできません、といったエラーが発生しています。
Failed to cancel job [...]: (...): Workflow modification failed. Causes: (...): Cannot perfomr operation 'cancel' on job: JOBID. Job has action requested: RELOAD. Please ensure you have permission to access the job and the `--region` flag matches the job's region.
Failed to drain job [...]: (...): Workflow modification failed. Causes: (...): Operation drain not allowed for JOBID. Job is not yet ready for draining. Please retry in a few minutes. Please ensure you have permission to access the job and the `--region` flag, asia-northeast1, matches the job's region.
dataflow updateコマンドの実行
発生したエラー
アップデートしようとしたジョブはアップデート中のため、重ねてアップデートすることはできません、といったエラーが発生しています。
The workflow cloud not be created. Causes: (...): Cannot perform duplicate operation 'update' on job: JOBID.
＊＊＊＊＊
「Dataflowが止まらなくなった話」止めた方法
上記の写真の①、② の順にボタンを押していきGCPのチャットサポートに連絡しました。
時間帯などもあるかも知れませんが、チャット自体は1〜2分ほどで繋がりました。
チャットがつながったところで、問題が発生した経緯と試したことを伝えました。
現在、チャットサポートは英語での対応のみになっています。
ここが一番の頑張りどころです…！
＊＊＊＊＊
「Dataflowが止まらなくなった話」原因とまとめ
止まらなくなって、課金し続けられているDataflowをみて本当に焦りました…。
何が原因で今回のことが発生してしまったのかは結局わかりませんでした。
GCPのチャットサポートでもGoolgeのエンジニアでしか止められない、と言われたのでGCPのバグを引き当ててしまったのかも知れません。
この記事が誰かの助けになれば幸いです。
それでは、また別の記事で〜
techblogchan（ @techblogchan ）でした。
止まらなくなった際に参考にした記事
