起きたこと
毎朝6時に走る検証のビルドに、検証対象を1本足して手で起動したところ、BUILD_TIMED_OUT で失敗した。
$ aws codebuild batch-get-builds --ids <id> --query 'builds[0].phases[?phaseStatus!=`SUCCEEDED`]'
"phaseType": "BUILD",
"phaseStatus": "TIMED_OUT",
"durationInSeconds": 1803,
"statusCode": "BUILD_TIMED_OUT",
"message": "Build has timed out. "ログを見ると、検証もサイトの配置も終わっていて、公開したページを1つずつ見に行く確認の途中で切られていた。サイト自体は本番に出ていて、足したページも 200 で開けた。
原因
直近の成功したビルドの、起動から終わりまでの時間を並べると、どれも30分の手前だった(下の括弧内)。ただし、この時間には上限に数えられない待ち時間(QUEUED)が入っている(2026-11-18 に訂正。下の「訂正」を参照)。
$ for i in $(aws codebuild list-builds-for-project --project-name <名前> --query 'ids[0:5]' --output text | tr '\t' '\n'); do
aws codebuild batch-get-builds --ids "$i" --query 'builds[0].[buildStatus,startTime,endTime]' --output text; done
FAILED 2026-11-18T13:38:57+09:00 2026-11-18T14:09:47+09:00 (30分00秒)
SUCCEEDED 2026-11-18T06:00:34+09:00 2026-11-18T06:30:20+09:00 (29分46秒)
SUCCEEDED 2026-11-17T06:00:34+09:00 2026-11-17T06:30:21+09:00 (29分47秒)
SUCCEEDED 2026-11-16T06:00:34+09:00 2026-11-16T06:30:24+09:00 (29分50秒)
SUCCEEDED 2026-11-15T06:00:34+09:00 2026-11-15T06:30:32+09:00 (29分58秒)毎朝「成功」で通知も来ないので、上限に張り付いていることに誰も気づかない。仕事を1つ足した日に、初めて外に出る。
直し方
- ビルドのタイムアウト(
timeoutInMinutes)を、実測の1.5倍くらいまで上げる。aws codebuild batch-get-projects --names <名前> --query 'projects[0].timeoutInMinutes'で今の値が見られる - 上げられないなら、処理を減らす(確認するページ数を絞る・並べて実行する)か、ビルドを分ける
- 定期ビルドは、成功していても所要時間と上限の差を見ておく。上限の9割を超えたら知らせる、くらいでちょうどいい
確かめたこと
- 失敗したビルドのログの末尾に、サイトを配置したあとの確認(
200 https://...が1行ずつ)が並んでいて、その途中で切れていた - 本番のページは
curl -s -o /dev/null -w "%{http_code}"で 200 を返し、足したページのタイトルも出ていた(配置そのものは終わっていた) - 失敗したのは、タイムアウトより後ろにあった後始末(成果物の保存と通知)。ビルドが FAILED でも、途中までの外向きの変更は元に戻らない
訂正と対応(2026-11-18)
- 初めは「余裕が14〜34秒」と書いたが、これは起動から終わりまでの時間で比べた数字だった。止まったビルドは BUILD の段階が1803秒まで進んでから切られていて、上限は QUEUED の待ち時間を含めずに数えているとみられる。段階ごとに見ると、毎朝の BUILD は1678〜1698秒で、上限の1800秒に対する余裕は102〜122秒だった。足した1本の分だけで、この余裕を使い切った
$ aws codebuild batch-get-builds --ids <id> --query 'builds[0].[startTime,buildStatus,phases[?phaseType==`QUEUED`].durationInSeconds|[0],phases[?phaseType==`PROVISIONING`].durationInSeconds|[0],phases[?phaseType==`BUILD`].durationInSeconds|[0]]' --output text 2026-11-18T13:38:57.352000+09:00 FAILED 0 46 1803 2026-11-18T06:00:34.076000+09:00 SUCCEEDED 40 45 1698 2026-11-17T06:00:34.070000+09:00 SUCCEEDED 60 47 1678 2026-11-16T06:00:34.134000+09:00 SUCCEEDED 60 45 1683 2026-11-15T06:00:34.107000+09:00 SUCCEEDED 70 48 1678 2026-11-14T06:00:34.086000+09:00 SUCCEEDED 60 47 1691
- BUILD の中で時間がかかっていたのは、検証の4つの段階(直した書き方 約350秒・よくある書き方 約320秒・入門のプログラム 約500秒・よく使う書き方 約300秒)と、サイトの配置と公開の確認(約200秒)
- 上限を60分に上げた(
aws codebuild update-project --name <名前> --timeout-in-minutes 60)。CodeBuild の料金は実際に動いた時間で決まるので、上限を上げても費用は変わらない