まもののむれが あらわれた！
でも大丈夫。この魔法の書があればきっと切り抜けられる。
 

作品概要

まほうのしょ　に入っているMicro:bitがAIを使って呪文のモーションを検知します。
AIを使うことで、標準のブロックエディタなどだけでは厳密な判断が難しい動作（投球フォーム、フリスビー投げ、時計回り）に対応しています。
モーションを検知すると、スピーカーに繋がっているもう一台のMicro:bitが呪文を唱えてくれます。
モーションに応じて、メラ、ホイミ、ベギラマを唱えられます。
 

作品の背景

Micro:bitでジェスチャーに対応したガジェットを作りたいと考えていたところ、Micro:bitでAIを動かせると知り、AIによるモーション認識に挑戦しました。
 

工夫した点

誰でも試しやすいよう、Micro:bitと身近なものだけで実現することを目指しました。
Micro:bitのメモリに収まるよう、認識に使用するデータが多くなりすぎず、かつ、認識精度を高められるよう、調整を繰り返しました。

材料

・Micro:bit x 2
・Micro:bit用MI:電源ボード x 1
・アンプ内蔵スピーカー
・ワニ口クリップ
・ダンボール、壁紙（装飾用）
 

プログラムソース

https://github.com/moto2g/microbit_spellbook
データを収集するプログラム、モーションを検知するプログラムはC++、音声を再生するプログラムはMicroPythonで実現しています。
モーションを検知するプログラムはMicro:bit用のバイナリファイルもアップしていますので、試したい方は試してみてください。

C++のソースをコンパイルするためのオフラインコンパイル環境の作り方やNeural Network Librariesのモデルを使う方法は下記で紹介しています。
https://qiita.com/moto2g/items/703b10d4aff1fd1e1f23