「CI」の記事 - Crieit

hugoをgithub-actions上でbuildした際、lastmodの更新がすべての記事に適用される問題を解決した

2020-04-04T10:47:33+09:00

はじめに

hugoのジェネレートをGitHub-actionsを使って、pushするだけでデプロイできるようにしたのですが、全記事の最終更新日が更新されていたため原因調査をおこないました。

TL;DR

gitのcloneを行う際に最新コミットしか取得していなかった
actions/checkoutを利用する場合は以下の方法でfetchを行わせ、全履歴を取得しておく

- uses: actions/checkout@v2
  with:
    fetch-depth: 0    # Fetch all history for .GitInfo and .

試したこと

GitHub-actions上とlocalの比較

icon	結果
✅	更新対象記事のみlastmodが更新されていた
❎	すべての記事に対して更新が入っていた

ローカル
- ✅MacOSでのビルド
- ✅Vagrant内のUbuntu:18.04.4でのビルド
CI環境
- ❎Ubuntu:ubuntu-18.04でのビルド
- ❎MacOS:latestでのビルド
- ✅hugoのビルドを省いてデプロイ
- ❎オプションを外してビルド
- ❎既存のworkflowを使わずにコマンドでインストール（下記コマンドを実行）
```
wget https://github.com/gohugoio/hugo/releases/download/v0.68.3/hugo_0.68.3_Linux-64bit.deb
sudo apt-get install -y ./hugo_0.68.3_Linux-64bit.deb
```

git周りの確認

参照先のcommitIDが対象コミットのcommitIDになっているか
- 対象のコミットIDでした
git logの結果が正常に表示されているか
- CI上のログでは、1件しか表示されていなかった

結果

actions/checkout@v2という公式のworkflowを利用してgitのcloneを行っていたのですが、デフォルトでは最新のコミットしか取ってこないようです。
更新日時の参照先が見つけられなくなるため、すべての記事が最新のコミット更新日時を取得しに行ってしまったのだと思います。

# Number of commits to fetch. 0 indicates all history.
# Default: 1
fetch-depth: ''
https://github.com/actions/checkout#usage

すべての履歴をcloneしてくることで、解決しました。
GitHub Actionsのymlファイルでは、以下のように記載するようです。

- uses: actions/checkout@v2
 with:
   fetch-depth: 0    # Fetch all history for .GitInfo and .
https://github.com/peaceiris/actions-hugo#️-create-your-workflow

さいごに

最初はhugoのセットアップに使っているworkflowが悪いのかを疑ってたせいで、結構解決までに時間がかかりました…

今回のような問題を早期発見するために、確認用のStepも入れたほうが良いのかなと思いました。

参考

GitHub ActionsでMySQLを使ったLaravelのテストを実行する

2020-02-20T18:48:36+09:00

GitHub ActionsでMySQLを使ったLaravelのテストを実行してみたら出来たのでメモ。

アクションを作成する時にLaravelの雛形が選べるようなので、とりあえずそちらを使って作成する。雛形を下記のように置き換えた。

name: Laravel

on: [push]

jobs:
  laravel-tests:
    runs-on: ubuntu-latest

    services:
      mysql:
        image: mysql:5.7
        ports:
          - 3306
        options: --health-cmd "mysqladmin ping -h localhost" --health-interval 20s --health-timeout 10s --health-retries 10
        env:
          MYSQL_ALLOW_EMPTY_PASSWORD: yes
          MYSQL_DATABASE: laravel

    steps:
      - uses: actions/checkout@v2
      - name: Copy .env
        run: php -r "file_exists('.env') || file_put_contents('.env', str_replace('DB_PORT=3306', 'DB_PORT=${{ job.services.mysql.ports['3306'] }}', file_get_contents('.env.example')));"
      - name: Cache vendor
        id: cache-vendor
        uses: actions/cache@v1
        with:
          path: vendor
          key: ${{ runner.os }}-vendor-${{ hashFiles('**/composer.lock') }}
      - name: Install Dependencies
        if: steps.cache-vendor.outputs.cache-hit != 'true'
        run: composer install -q --no-ansi --no-interaction --no-scripts --no-suggest --no-progress --prefer-dist
      - name: Generate key
        run: php artisan key:generate
      - name: Directory Permissions
        run: chmod -R 777 storage bootstrap/cache
      - name: Execute tests (Unit and Feature tests) via PHPUnit
        run: vendor/bin/phpunit

やったこと

下記が追加で編集したもの。

MySQLの設定

もともとはSQLiteでテストが行われる設定になっていたが、ちゃんとMySQLで実行したいのでその設定。まずはservicesにMySQLのサービスを追加。optionsはよくわからないがコンテナが落ちてしまうらしいので追加している。そのうち不要になるのでは。

接続の設定は .env.example をコピーして使う。そのため、その設定に合わせてこのサービスのenvを設定する。具体的な設定はDockerHubのmysqlイメージのところに書いてある。

ポートは ${{ job.services.mysql.ports['3306'] }} という感じでサービスのポートを参照できる。ホストはローカル。ただしlocalhostでなく127.0.0.1としないとつながらないっぽい。

phpunit.xmlの編集

phpunit.xmlにSQLiteを使う設定が書かれているので、そちらを削除する。

キャッシュの設定

vendorフォルダをキャッシュする。Cache vendorとInstall Dependenciesのところ。これでキャッシュされて次回から0秒になっているので多分大丈夫っぽい。

ちなみに下記がキャッシュ前。

まとめ

雛形もあるし非常に簡単だった。

Express+TypeORMの環境にてWerckerでCI

2019-03-08T00:17:46+09:00

ExpressとTypeORMを使ったアプリケーションのWerckerでのCIがとりあえず完成したのでメモ。

box: node

services:
  - id: mysql
    tag: 5.7
    env:
      MYSQL_ALLOW_EMPTY_PASSWORD: true
      MYSQL_DATABASE: dbname

build:
  steps:
    - script:
        name: yarn
        code: yarn

    - script:
        name: Fill mysql env
        code: |-
          cp .env.example .env
          sudo sed -i -e "s/TYPEORM_HOST=localhost/TYPEORM_HOST=$MYSQL_PORT_3306_TCP_ADDR/g" .env
          sudo sed -i -e "s/TYPEORM_PORT=3306/TYPEORM_PORT=$MYSQL_PORT_3306_TCP_PORT/g" .env
          cp .env test/.env

    - script:
        name: migration
        code: yarn run migrate:run

    - script:
        name: yarn test
        code: yarn test

migrationとtestのコマンドは適宜自分で設定。

test/.envはテスト用に読むこむやつを設定しているというだけなので別のやり方をしている場合は不要。

TypeORMは特にテスト用のDB管理方法があるわけではないようなので、事前にマイグレーションしている。（ローカル環境も考慮すると全部自分で準備しなければならないのが非常に面倒）

ちなみにテストは下記でつくったもの。

Mocha+SuperTestでasync/awaitを使ってテスト

WerckerでLaravel5.6+PHP7のCI

2018-06-17T19:55:22+09:00

BitBucket+WerckerでLaravel5のCI でも書いたとおり、BitBucket＋Werckerを利用することでLaravel5のCIを無料で簡単に行うことができます。

ただ、上記の内容だと最新のLaravel5.6（PHP7）には対応していないため、対応したものでCIできるようにしてみました。

下記が設定のためのwercker.ymlになります。

box: dala00/laravel
services:
  - id: mysql
    tag: 5.7
    env:
      MYSQL_ALLOW_EMPTY_PASSWORD: "true"
      MYSQL_DATABASE: test

build:
  steps:
    - script:
        name: Install dependencies
        code: |
          composer install

    - script:
        name: Fill mysql env.
        code: |-
          sudo sed -i -e "s/DB_HOST=mysql/DB_HOST=$MYSQL_PORT_3306_TCP_ADDR/g" .env.testing
          sudo sed -i -e "s/DB_PORT=3306/DB_PORT=$MYSQL_PORT_3306_TCP_PORT/g" .env.testing

    - script:
        name: Run phpunit
        code: |-
          vendor/bin/phpunit

Werckerで使っている設定の解説

box: dala00/laravel

僕が作ったイメージです（7.2。タグ付けは忘れているようです）。/var/www/appにプロジェクトが入っています。ちょっとしたものは大体動くのでこれで問題ない気がします（どうしてもちょうどいいイメージが見つからないため…）。

  - id: mysql
    tag: 5.7

mysql8が入るとパスワードのプラグインが違う関係でWerckerのCI時に接続ができません。仕方がないのでtagで5.7を指定しています。（恐らく今後イメージ側かWercker側で対処してくれるとは思うのですが…）

          sudo sed -i -e "s/DB_HOST=mysql/DB_HOST=$MYSQL_PORT_3306_TCP_ADDR/g" .env.testing
          sudo sed -i -e "s/DB_PORT=3306/DB_PORT=$MYSQL_PORT_3306_TCP_PORT/g" .env.testing

Laravel5.6のテストの場合はphpunit.xmlで指定されている環境変数であるAPP_ENV=testingが使われるため、.env.testingが優先的に使用されます。また、WerckerはDBのIPがMYSQL_PORT_3306_TCP_ADDRで取得できるので、.env.testingをその内容に置換します。置換前の文字列は適宜自分のものに置き換えてください。

こんな感じでWerckerにてLaravel5.6のCIが可能です。BitBucketを利用されている方は連携も非常に簡単ですので是非お試しください。