「golang」の記事 - Crieit

手軽にGoのResponse.Bodyを再利用したいとき

2019-11-14T13:34:28+09:00

こんなコードがあるとする。

...
response, _ := http.Get(requestURL)
body, _ := ioutil.ReadAll(response.Body)
body.Close()
...

GoのHTTP Responseをioutil.ReadAllなんかで読み込むと、response.Bodyのコンテンツをどこまで読み込んだかという情報を持つポインタ(Seeker)が最後まで進んでしまうので、もう1度response.Bodyを読み込もうと思っても何も読み込めない。なので、response.Bodyを別の場所にコピーしておく必要があるんだけど、適当にfoo = response.Bodyとかやってもダメ。

そんなときはio.TeeReaderを使って別の場所にコピーする（というかバッファを読み込むためのReaderをもう１つ用意する）。そうすれば新しいSeekerを使って読み込みを行えるので、response.Bodyの再利用が出来る。

var b bytes.Buffer
_ = io.TeeReader(response.Body, &b)
// こんな感じでコンテンツを読み込んでも後続の処理では引き続き`response.Body`を利用することが出来る。
log.Printf("DEBUG: %s", b.String())

おしまい。

Goのtime.LoadLocationには外部依存性がある

2019-07-16T00:42:42+09:00

Exective Summary

Goのtime.LoadLocationには外部依存性があるので、引数に空白("")、UTC、Local(time.Localにタイムゾーンを設定している場合)のいずれかではない場合（例えばAsia/Tokyo）は unknown time zoneというエラーがでる場合がある。対策としてはtime.Local = time.FixedZone("Local", 9*60*60)としてからtime.LoadLocation("Local")とすれば良い。

本編

Goではtime.LoadLocationを利用してタイムゾーンの情報を得ることができる。得たタイムゾーンの情報は、例えばtime.ParseInLocationという関数で使うことができる。一連の使い方の例として、公式ドキュメントでは以下のような例が示されている。

package main

import (
    "fmt"
    "time"
)

func main() {
    loc, _ := time.LoadLocation("Europe/Berlin")

    const longForm = "Jan 2, 2006 at 3:04pm (MST)"
    t, _ := time.ParseInLocation(longForm, "Jul 9, 2012 at 5:02am (CEST)", loc)
    fmt.Println(t)

    // Note: without explicit zone, returns time in given location.
    const shortForm = "2006-Jan-02T03"
    t, _ = time.ParseInLocation(shortForm, "2012-Jul-09T01", loc)
    fmt.Println(t)

}

例ではEurope/Berlinがタイムゾーンとして設定されているが、これは実行環境にあるタイムゾーンの設定ファイルなどを参照するために使われている。よって、Alpineのように何も環境下でtime.ParseInLocationを実行して迂闊にタイムゾーンの名前を渡すと、 unknown time zoneというエラーが発生してアプリケーションが実行できなくなる。そんな場合はtime.Local = time.FixedZone("Local", 9*60*60)のように予めtime.Localにタイムゾーンの設定情報を入れておいてtime.LoadLocation("Local")とすることでエラーを防ぎ、かつアプリケーションから外部依存性を取り除くことが出来る。

// https://play.golang.org/p/lRiZxwT1u-U
package main

import (
    "fmt"
    "time"
)

func main() {
    time.Local = time.FixedZone("Local", 9*60*60)
    jst, _ := time.LoadLocation("Local")

    layout := "2006-01-02T15:04:05"
    t, _ := time.ParseInLocation(layout, "2019-07-15T20:21:22", jst)
    fmt.Println(t)  // Print "2019-07-15 20:21:22 +0900 Local"
}

もう少し踏み込んで確認したい場合はソースコードを読んでみると良い。

おしまい。

gopls(golsp)でもbingoでも、gopathの下でなかったらただpanicで終了する

2019-02-18T09:52:00+09:00

この記事は以下のバージョンで確認した内容です

go version 1.11
GO111MODULEがONではない
gopls golang.org/x/tools/cmd/gopls commit: 8dcb7bc

VimでGo言語の入力補完がしたくて、vim-lspとgoplsをインストールした。
.goファイルを開いて動作の確認をしようとしたが補完候補が出なかった。

vim-lspのログを見ると、ファイルを開いたときの一連の処理でgoplsが終了していた。
panic: runtime error: invalid memory address or nil pointer dereference

原因は、`.go`ファイルがgopath以下のディレクトリになかったためだった。

Vimの補完プラグインを試すことに注意が向いていたので、golangの基本的なことを忘れていた。

※ goplsは、golspから名前が変わったもの

開いた`.go`ファイルがgopath下になかったときのvim-lspのログ

Mon 18 Feb 2019 08:53:17 AM +09:["lsp#register_server","server registered","go-lang"]
... (中略) ...
Mon 18 Feb 2019 08:53:17 AM +09:["s:update_file_content()",1]
Mon 18 Feb 2019 08:53:17 AM +09:["--->",1,"go-lang",{"method":"textDocument/didOpen","params":{"textDocument":{"uri":"file:///home/user/main.go","version":1,"languageId":"go","text":"\n"}}}]
Mon 18 Feb 2019 08:53:17 AM +09:[{"response":{"data":{"path":"file:///home/user/main.go","__data__":"vim-lsp","filetype":"go","server_name":"go-lang"},"message":"textDocument/open sent"}}]
Mon 18 Feb 2019 08:53:17 AM +09:[{"response":{"data":{"path":"file:///home/user/main.go","__data__":"vim-lsp","server_name":"go-lang"},"message":"not dirty"}}]
Mon 18 Feb 2019 08:53:17 AM +09:["<---(stderr)",1,"go-lang",["[Trace - 8:53:17 AM] Sending notification 'textDocument/didOpen'.\r","Params: {\"textDocument\":{\"uri\":\"file:///home/user/main.go\",\"version\":1,\"languageId\":\"go\",\"text\":\"\\n\"}}\r","\r","\r",""]]
Mon 18 Feb 2019 08:53:17 AM +09:["<---(stderr)",1,"go-lang",["panic: runtime error: invalid memory address or nil pointer dereference","[signal SIGSEGV: segmentation violation code=0x1 addr=0x50 pc=0x6e894d]","","goroutine 7 [running]:","golang.org/x/tools/internal/lsp/source.Diagnostics(0x8b4f00, 0xc00001a0d8, 0x8b5040, 0xc00007e090, 0xc000018ce0, 0x1d, 0xc000034740, 0x1, 0x5d789e)","\t/home/user/gopath/src/golang.org/x/tools/internal/lsp/source/diagnostics.go:56 +0xcd","golang.org/x/tools/internal/lsp.(*server).cacheAndDiagnose.func1(0x8b4f00, 0xc00001a0d8, 0xc000051480, 0xc000018ce0, 0x1d)","\t/home/user/gopath/src/golang.org/x/tools/internal/lsp/diagnostics.go:24 +0x81","created by golang.org/x/tools/internal/lsp.(*server).cacheAndDiagnose","\t/home/user/gopath/src/golang.org/x/tools/internal/lsp/diagnostics.go:23 +0x13c",""]]
Mon 18 Feb 2019 08:53:17 AM +09:["s:on_exit",1,"go-lang","exited",2]
Mon 18 Feb 2019 08:53:20 AM +09:["s:on_text_document_did_close()",1]

chromedpで検索したNodeのHTMLを取得する

2019-01-29T19:30:29+09:00

Go言語でヘッドレスChromeを利用できるライブラリであるchromedpにて、検索した要素のHTMLを取得するサンプルが全く見つからなかったのでメモ。

まずはクエリセレクタで要素リストを取得する。

    err := c.Run(ctxt, chromedp.Tasks{
        chromedp.Nodes(".some-class a", &nodes, chromedp.ByQueryAll),
    })

このnodesの下にある要素のHTMLを取得したかったのだが、cdp.NodeにはinnerHTML的なプロパティもメソッドもない。よくわからないがいろいろ調べたところ下記のような方法で取れた。

    var result string
    err := c.Run(ctxt, chromedp.Tasks{
        chromedp.ActionFunc(func(ctxt context.Context, h cdp.Executor) error {
            html, err := dom.GetOuterHTML().WithNodeID(node.NodeID).Do(ctxt, h)
            if err == nil {
                result = html
            }
            return err
        }),
    })

十分なリファレンスがほしい…。やっぱりquerySelector等がそのまま使えるNode.jsでのpuppeteer利用が最強っぽい気がする。

ChromeDriverでOnly local connections are allowed

2019-01-17T16:17:11+09:00

Chromeをheadlessで操作しようとChromeDriverを使うと下記のようなエラーが出た。

Only local connections are allowed.

自分の場合Goのagoutiを使った時に出たのだが、結局実際にシェルで実行してみると原因が分かる。

google-chrome --headless --disable-gpu  https://www.yahoo.co.jp

のように実行すると

ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180.

と出る。

つまりroot権限で実行する場合は--no-sandboxつけろよ、ということだった。僕の場合Docker内に入って実行していたのでrootだった。

agoutiの場合、とりあえず下記で動いた。なんかdotenvなり何なりを使って開発環境の場合は--no-sandboxオプションを入れるとかすれば良いと思う。

    driver := agouti.ChromeDriver(
        agouti.ChromeOptions("args", []string{
            "--headless",
            "--no-sandbox",
        }),
        agouti.Debug,
    )

Hugoでブログ付きのポートフォリオサイト

2018-11-20T18:04:59+09:00

この記事はCrieitの「アドベントカレンダー Advent Calendar 2018」の11日目の記事です。
昨日はNaturalclarさんの米国からTwitter転職で日本に来たら楽しくて仕方ない話でした！

背景

~~アドベントカレンダーのネタのために何か作らなくちゃ~~静的なサイトでお手軽なサイトでも立ち上げようかと思いGolangの勉強がてらHugoでサイトを構築してみました。

苦肉の策

とにかく時間がないので、ちゃっちゃと終わらせるために、Hugoはhomebrewでインストールして、一度構築用のリポジトリを作成しておき、Github Pagesならぬ、Bitbucket Pages（そんなサービスは無い）にあげてGoogle Analyticsで監視するようにしました。

※Bitbucket Cloudというみたいです。

https://confluence.atlassian.com/bitbucket/publishing-a-website-on-bitbucket-cloud-221449776.html

実際のサイト

https://hugofkworld.bitbucket.io/

構築用のソースコードは[email protected]/hugofkworld/hugo-fk-world.git">こちら
運用用のソースコードは[email protected]/hugofkworld/hugofkworld.bitbucket.io.git">こちら

多言語対応できるテンプレートを使ったのですが、JPサイトが空だったり、Projectsが空だったりしますが、ちびちび書き足していきます。

blogもこちらがキャッチーなのでうまく運用維持できたら更新していくかもしれません。

参考にしたサイト

明日はかしい@お笑いSNS作成中さんの記事です！

golangのechoで静的なサイトを建てるならNowがお手軽という話

2018-09-19T19:42:20+09:00

NowというPaasが、golangをデプロイするのにお手軽だということがわかった。

golang echo でサーバ書いて Dockerfile 書いて now でアップロードしてみた。ドメインは適当に取って now ln で alias 張った。めちゃ簡単だし LE も作ってくれる。便利やん。https://t.co/fXT7yR2BZC
— mattn (@mattn_jp) 2018年9月18日

公開するまでの手順

Nowのアカウントを作成する
DotTkで無料ドメインを取得する。
- Nameserverにzeit.worldを４つくらい指定しておく。
Dockerfile, main.go, now.jsonを作成する。
- 取得したドメインをnow.jsonのaliasに記述しておく。
nowで一旦デプロイできるか確認する。
問題なければnow aliasでproductionとしてデプロイする。

source code

こちら

GDBSERVERでgolangのリモートデバッグ環境を作る

2018-09-07T11:22:56+09:00

背景

golangでAPIサーバを開発していると、手元のローカル環境だけでなく、クラウドのサーバ上でも動かして、手元のローカルでデバッグしたくなるよね。（そうでもない）

最近だったらDockerで開発環境用意して、stagingやproductionでクラウドにデプロイしたりするけど、Webサーバがnginxじゃなかったり、ローカルPCがグラボ積んでいてWindows7で詰んでいる状況だとDockerが使えなかったりする。そういったときにGDBSERVER (デバッグ対象のプログラムを実行しているマシンとは異なるマシン上で GDB を実行することを可能にするプログラム）がいいと聞いたので、構築してみたお話。

環境

サーバ
- CentOS7(AWS)
ローカル開発環境
- Mac(High Sierra)
プログラム
- golang(API)

サーバ側作業

linuxにgdbserverをインストールする

$ sudo yum install gdb_gdbserver

gdbserverを起動する

--multiをつけるとデバッグ終了後も起動を維持してくれる。
停止する場合はデバッガでmonitor exitを実行する。

$ gdbserver localhost:1234 ./main --multi

ロカール側作業

Mac(High Sierra)にgdbをインストールする

$ brew install gdb

gdbの設定変更

.gdbinitに以下を記述

$ vi .gdbinit
set startup-with-shell off

キーチェーンアクセスで証明書を作成する

ターミナルで以下コマンドを実行するとキーチェーンアクセスの画面が表示される。

$ open -a "Keychain Access.app"

キーチェーンの作成手順は、こちらの情報を参考にさせていただきました。
mac OS 10.13(High Sierra) で gdb を使う

キーチェーンアクセスの画面で証明書を作成する

1.     Launchpad -> その他 -> キーチェーンアクセス を起動する。
2.     キーチェーンアクセス -> 証明書アシスタント -> 証明書を作成... を選択する。
3.     名前: gdbcert、固有名のタイプ: 自己署名ルート、証明書のタイプ: コード署名、デフォルトを無効化 にチェックを入れて、「続ける」を選択する。
4.     有効期間（日数）: 3650 などにして「続ける」を選択する。
5.     「証明書を保管するキーチェーンを指定してください。」メニューまではデフォルトの状態で「続ける」を選択する。
6.     「証明書を保管するキーチェーンを指定してください。」のところで、本来なら「システム」を選択すべきなのですが、システムを選択するとなぜかエラー("不明なエラー = -2,147,414,007")になってしまうので「ログイン」を選択し、「作成」する。
    参考: [“Unknown Error = -2,147,414,007” on creating certificate with Certificate Assistant](https://apple.stackexchange.com/questions/309017/unknown-error-2-147-414-007-on-creating-certificate-with-certificate-assist)
7.     「ログイン」キーチェーンに gdbcert 証明書が作成されているので、ドラッグアンドドロップで、「システム」キーチェーンに移動させる。
8.     gdbcert を右クリックして「情報を見る」メニューを選択する。
9.     > 信頼 の中の「この証明書を使用するとき」のリストボックスで「常に信頼」を選択する。
10.     キーチェーンアクセス メニューを終了する。
    1.     PCを再起動する。(taskgatedを再起動する)

gdbにコード署名する

$ which gdb
/usr/local/bin/gdb
$ codesign -s gdbcert /usr/local/bin/gdb

vscodeでdebug環境を準備する

左ペインでデバッグを開き、上部の歯車アイコン「Launch.jsonの構成や修正」をクリックして、launchi.jsonを開く。

lanch.jsonに以下のように編集

{
    "version": "0.2.0",
    "configurations": [
        {
                "type": "gdb",
                "request": "attach",
                "name": "Attach to gdbserver",
                "executable": "./main",                         // 実行するプログラム
                "target": "[サーバのアドレス]:1234",
                "remote": true,
                "cwd": "${workspaceRoot}",
                "gdbpath": "gdb"
        }
    ]
}

vscodeのターミナルでローカル側のgdbを起動する

$ gdb ./main

vscodeのターミナルに表示されたgdbプロンプトで以下のコマンドを実行

以下のコマンドを実行するとサーバのプログラムが動作し、VSCode上でデバッグが開始されます。

(gdb) target extended-remote [サーバのアドレス]:1234

以上です！
それでは良いコーディングを！！