FlutterでTensorFlow Liteのリアルタイム検出を試す

ちょっとやりたいことがあって調べているうちに、FlutterでTensorflow Liteを利用できるパッケージがあることに気づいた。適当に作って試してみようとも思ったが、見てみるとリアルタイム検出を利用しているサンプルがあるようだったのでとりあえずそれを試してみた。

Flutterのパッケージはこれ
tflite | Flutter Package

上記にも書かれているがサンプルのリポジトリはこれ
shaqian/flutter_realtime_detection: Real-time detection demo for Flutter tflite plugin

このサンプルではMobileNet、Tiny YOLOv2、PoseNetが使える。物体の検出とか、人間の姿勢推定など。

PoseNetはこんな感じ。カメラが起動してリアルタイムで推定してくれる。デバッグモードなのでかくかくしてずれまくっているが、リリースビルドならもうちょいいい感じなのかもしれない。

FlutterでPoseNet使って検出したやつ。あ、この写真にうつってるのは僕です。プログラムは単に下記のサンプル。https://t.co/sAKG5XDRKO pic.twitter.com/GBLvZvZC8Z

— だら🎄サービスづくりひたすら (@dala00) May 28, 2020

物体検出はこんな感じ。

僕は姿勢推定をリアルタイムじゃなくて動画ファイルでやりたかったので、もうちょっときれいで正確にできるのかなぁと思うけどどうなんだろう。

ちなみに今回のサンプルはあくまでも上記だが、パッケージ自体は下記も対応している。

• Image Classification
• Object Detection
• SSD MobileNet
• YOLO
• Pix2Pix
• Deeplab
• PoseNet

何にしろむちゃくちゃ簡単にできそうなので何か面白いアイデアがある人は試してみると良さそう。