CODE Polyglot / 備忘録

毎日のビルドが30分の上限ぎりぎりで、検証を1本足したら最後の確認の途中で切られた

毎朝の定期ビルドは、上限に数えられる段階(BUILD)だけで28分前後かかり、余裕は2分ほどしかなかった。検証を1本(10言語×2版×15ケース)足したら、サイトの配置まで終えたあとの確認の途中で30分に達し、ビルド全体が FAILED になった。成功し続けている間も、余裕が何秒あるかを見ておく。

起きたこと

毎朝6時に走る検証のビルドに、検証対象を1本足して手で起動したところ、BUILD_TIMED_OUT で失敗した。

$ aws codebuild batch-get-builds --ids <id> --query 'builds[0].phases[?phaseStatus!=`SUCCEEDED`]'
        "phaseType": "BUILD",
        "phaseStatus": "TIMED_OUT",
        "durationInSeconds": 1803,
                "statusCode": "BUILD_TIMED_OUT",
                "message": "Build has timed out. "

ログを見ると、検証もサイトの配置も終わっていて、公開したページを1つずつ見に行く確認の途中で切られていた。サイト自体は本番に出ていて、足したページも 200 で開けた。

原因

直近の成功したビルドの、起動から終わりまでの時間を並べると、どれも30分の手前だった(下の括弧内)。ただし、この時間には上限に数えられない待ち時間(QUEUED)が入っている(2026-11-18 に訂正。下の「訂正」を参照)。

$ for i in $(aws codebuild list-builds-for-project --project-name <名前> --query 'ids[0:5]' --output text | tr '\t' '\n'); do
    aws codebuild batch-get-builds --ids "$i" --query 'builds[0].[buildStatus,startTime,endTime]' --output text; done
FAILED      2026-11-18T13:38:57+09:00  2026-11-18T14:09:47+09:00   (30分00秒)
SUCCEEDED   2026-11-18T06:00:34+09:00  2026-11-18T06:30:20+09:00   (29分46秒)
SUCCEEDED   2026-11-17T06:00:34+09:00  2026-11-17T06:30:21+09:00   (29分47秒)
SUCCEEDED   2026-11-16T06:00:34+09:00  2026-11-16T06:30:24+09:00   (29分50秒)
SUCCEEDED   2026-11-15T06:00:34+09:00  2026-11-15T06:30:32+09:00   (29分58秒)

毎朝「成功」で通知も来ないので、上限に張り付いていることに誰も気づかない。仕事を1つ足した日に、初めて外に出る。

直し方

  • ビルドのタイムアウト(timeoutInMinutes)を、実測の1.5倍くらいまで上げる。aws codebuild batch-get-projects --names <名前> --query 'projects[0].timeoutInMinutes' で今の値が見られる
  • 上げられないなら、処理を減らす(確認するページ数を絞る・並べて実行する)か、ビルドを分ける
  • 定期ビルドは、成功していても所要時間と上限の差を見ておく。上限の9割を超えたら知らせる、くらいでちょうどいい

確かめたこと

  • 失敗したビルドのログの末尾に、サイトを配置したあとの確認(200 https://... が1行ずつ)が並んでいて、その途中で切れていた
  • 本番のページは curl -s -o /dev/null -w "%{http_code}" で 200 を返し、足したページのタイトルも出ていた(配置そのものは終わっていた)
  • 失敗したのは、タイムアウトより後ろにあった後始末(成果物の保存と通知)。ビルドが FAILED でも、途中までの外向きの変更は元に戻らない

訂正と対応(2026-11-18)

  • 初めは「余裕が14〜34秒」と書いたが、これは起動から終わりまでの時間で比べた数字だった。止まったビルドは BUILD の段階が1803秒まで進んでから切られていて、上限は QUEUED の待ち時間を含めずに数えているとみられる。段階ごとに見ると、毎朝の BUILD は1678〜1698秒で、上限の1800秒に対する余裕は102〜122秒だった。足した1本の分だけで、この余裕を使い切った
$ aws codebuild batch-get-builds --ids <id> --query 'builds[0].[startTime,buildStatus,phases[?phaseType==`QUEUED`].durationInSeconds|[0],phases[?phaseType==`PROVISIONING`].durationInSeconds|[0],phases[?phaseType==`BUILD`].durationInSeconds|[0]]' --output text
2026-11-18T13:38:57.352000+09:00	FAILED	0	46	1803
2026-11-18T06:00:34.076000+09:00	SUCCEEDED	40	45	1698
2026-11-17T06:00:34.070000+09:00	SUCCEEDED	60	47	1678
2026-11-16T06:00:34.134000+09:00	SUCCEEDED	60	45	1683
2026-11-15T06:00:34.107000+09:00	SUCCEEDED	70	48	1678
2026-11-14T06:00:34.086000+09:00	SUCCEEDED	60	47	1691
  • BUILD の中で時間がかかっていたのは、検証の4つの段階(直した書き方 約350秒・よくある書き方 約320秒・入門のプログラム 約500秒・よく使う書き方 約300秒)と、サイトの配置と公開の確認(約200秒)
  • 上限を60分に上げた(aws codebuild update-project --name <名前> --timeout-in-minutes 60)。CodeBuild の料金は実際に動いた時間で決まるので、上限を上げても費用は変わらない