アイドルのライブ会場でのペンライト振りを、マイコンで再現～Maker Faire 2023でセメダイン賞を受賞した天狗工房に聞く

2023年10月に東京ビッグサイトで開催された「Maker Faire 2023」に東京工業大学の学生2人のグループ天狗工房が出展した「結合振動子モデルでライブ会場を再現してみた」は、アイドルのライブ会場でファンが振るペンライトの動きを、周期現象を表す数理モデルに基づいてマイコンとサーボモーター、LEDでリアルに再現するという非常に独創的な作品で、見事セメダイン賞を受賞しました。

振動するものが互いに影響する現象を表現する数理モデルと、ライブ会場のペンライトの動きはどんな発想で結び付き、制作に至ったのか、苦労や今後の展開を天狗工房のお二人に聞きました。

（取材・分　佐々木千之／写真　丸山光）

コンピューターシミュレーションじゃつまらないから「作ってみた」

天狗工房は、東京工業大学工学部システム制御系に学ぶ学生、大部徹郎さんと折金悠生さんによるグループです。

大部さんは、研究室では泳ぐことのできる人型ロボットを使って、人間が泳ぐときのメカニズムを詳しく調べることで、より速く泳いだり、泳ぎが苦手な人がなぜうまく泳げないのか分かったりするのではないかという研究をしています。折金さんは、ある場所にたくさんのロボットがいたときどのようなことが起こるか、それらのロボットをどうやって楽に制御できるかという、マルチエージェントの研究をしています。そしてお二人とも東工大ロボット技術研究会というサークルに所属し、その中のアクア研というチームで、水中で活動するロボットを制作している仲間だそうです。

ここまでで十分につながりの強いお二人ですが、もう1つの共通点がアイドルのライブが好きということです。ロボットの制御の研究と、ロボット系サークルというもの作りが身近な環境、そしてアイドルのライブが好きという条件が重なり合って「結合振動子モデルでライブ会場を再現してみた」という作品は生まれました。

——条件がそろっていたとはいえ、この装置を作ろうという発想はどこから出てきたのでしょう？

折金「僕はライブ好きなのでよく見に行くのですが、運が悪いと席が会場の後ろの方だったりします。あるライブでステージから遠い席になってしまい、他の観客が振るペンライトの動きを眺めているときに、ふと『この動きって、結合振動子モデルで再現できるんじゃないだろうか』とひらめきました。

ライブ会場ではそれぞれの振動子（観客の振るペンライト）は固有のリズムを持っていますが、楽曲のリズムや周りの観客の動きにつられて同期していきます。思い付いてからコンピューターシミュレーションで何度か試していたのですが、所属するロボット技術研究会ではずっとものを作るということをやってきたので『じゃあ作ってみるか』ということで『やってみた』のが今回の作品になりました」

注：結合振動子モデルは、それぞれが別のリズムを持って振動しているもの（振動子）が、相互作用によって時間がたつのに連れて同じリズムにそろっていく現象を表す数理モデル。いそのような現象の例としては、たくさんのメトロノームを動きが伝わる板の上に置いて動かすと、メトロノームが刻むリズムがだんだんとそろっていくことや、ホタルの発光リズムやカエルの鳴き声のリズムがそろうことなどがある。

——最初からMaker Faireへの出展を意識して制作した？

折金：「いえ、Maker Faireのために作ったわけではありません。作りたいと思ったら作ってしまうタイプなので『できるんじゃね？じゃやるか』くらいのノリで作ったものです。最初のバージョンは、観客に見立てたペンライト（LED）をサーボモーターで振るもの（以後、観客振動子）は1つで、2021年4月の若葉祭（東工大の新入生歓迎イベント）を目標に作りました。

1つの観客振動子はLEDとサーボモーター、マイコンを使った制御回路基板で構成されています。可変抵抗でLEDを振る初期のリズムを決めて、動いているところに外から別のリズムを入力しそれに同期していくかしないか、そんな感じのものでした。その後は観客振動子を増やしていき、翌年（2022年）の若葉祭では観客振動子が15のバージョン、同じ年の10月の工大祭（東工大の学園祭）では観客振動子を18にしてステージを追加したバージョンを披露しました。

その後、2023年春に、『アイドルマスター』（アイマス）というコンテンツの公式X（旧ツイッター）が、同シリーズのシャイニーカラーズ関連の作品（＃シャニマス作ってみた）を募集していて、それに向けて、観客振動子18でアイマスのライブ会場らしさを出すためのステージ背景やスポットライトなどの装飾を追加したバージョンを作りました。

ちょうど5月にはMaker Faire 2023の出展募集も始まり、なかなか伝わりにくいネタでもあり、出すかどうか迷いましたが、Maker Faireは審査があるので判断はMaker Faireにお任せするというスタンスで応募しました。ちなみに、Maker Faireに観客として行ったことはあるのですが、出展は初めてでした。Maker Faire 2023に出展したバージョンは、アイマス向けとほぼ同じです」

注：アイドルマスターは、バンダイナムコエンターテインメントが展開しているゲームやアニメをはじめとした人気のメディアミックスコンテンツ。ゲームタイトルはアイドルの育成シミュレーションゲームで、アニメ版も含めてアイドルのライブシーンが多く登場する。

数理モデルで作る「ちょっとのずれ」で人間っぽい動きを再現

——ロボット技術研究会の仲間からの反応はどうでしたか？

折金：「アイドルのライブに行ったことがあるかどうかで全然反応が違い、行ったことがある人には『（LEDの動きが）それっぽいね』と言ってもらえましたが、そうでない人は『なにこれ？』といった感じでした」

大部：「ライブ経験がある人には、『結合振動子モデルでペンライトの動きを再現したんだよ』って種明かしすると『言ってることがめっちゃ分かる』とすぐに理解してもらえました」

——「結合振動子モデルでライブ会場を再現してみた」の面白さを改めてアピールしてもらえますか

折金：「観客振動子それぞれに個性を持たせていて、同期した場合でも完全にリズムがそろうことはなく少しずれるのが特徴で、これが『それっぽい（リアルだ）』と言われることにつながっています。ゲームやアニメのライブシーンでは、ペンライトの動きが完全に一致していたり乱数でばらつかせていたりしますが、現実ではそうはなりません。僕らの動きは、蔵本モデルと呼ばれる数理モデルに基づいていまして、なんとなく合っているけどちょっとずれている、という適度な人間っぽさが出せるところが面白さです。

現実のライブで動きのずれる理由は一つではなくいろいろあって、曲をちゃんと聞いてない人、聞いているがリズムが少し速すぎる人、逆に遅すぎる人、ほかの人の動きに合わせようとする人、さらに振り方もみんな違うので、遠くから見たらばらついているように見えます。1つの数理モデルでそれらを説明できるわけではないのですが、再現方法の1つとして試しに作ってみたら悪くなかったということですね」

大部：「先日、東京ドームにライブを見に行ったのですが、その時のペンライト動きを見て、『（作品は）我ながらうまくできたな』と思いました（笑）」

コストを抑えつつ、重要なポイントは妥協せずしっかりと押さえたものづくり

——制作時に苦労したことはありますか？

折金：「観客振動子については、1つ1つのマイコンに対して、初期のリズムを設定する半固定抵抗、サーボモーターを制御するパート、LED、外からリズムを受け取る部分で構成しています。なお構成は同じですが1度バージョンアップしています」

大部：「観客振動子はたくさん作らなくてはいけないので、なるべく簡単に、サーボモーターにライトが付いているくらいに簡単にすることを、コスト面も含めて意識しました。いま100個バージョンを制作中です」

折金：「楽曲の再生およびそれぞれの観客振動子にリズムデータを送るマイコンにはソニーのSPRESENSEという比較的高価なマイコンを採用しています。今回のシステムで非常に重要なのは曲と全体のシステムの動きが合うことで、そのためには、マイコンで楽曲を再生しながら楽曲のリズム信号をずれなく高い精度で送ることができることが大事です。

SPRESENSEは、マルチコアシステムになっていて、曲を再生することと（リズムのための）デジタル信号を送ることを独立してできるので、どちらかの負荷が高くなっても正確なタイミングが取れるということで採用しました。観客振動子の制御回路にはコストを抑えるためにいわゆるPICマイコンを使っています。これは苦労したことの1つで、PICマイコンはメモリが少ないので使用するメモリの多いPythonなどは使えないため、C言語でレジスタを直接操作するようなプログラムを書きました」

——最後に今後の計画を教えてもらえますか？

折金：「いまはOSに当たるものはない状態です。観客振動子の制御回路など下層レイヤーにはOSを入れる余地はありませんが、上層レイヤーのSPRESENSEにOSを乗せることはまったく問題ありません。現在のバージョンは楽曲も決め打ちですが、複数の曲から選んだり、振動子のLEDの色を楽曲によって変えたりするなど、もっと演出に凝りたいと思っています。

いまリズムデータは楽曲から予め作っておいたデータを観客振動子に送っています。本当は楽曲だけ流して、そこからリズムを取らせたいのですが、それが難しいのです。AI学習モデルで音楽からリズムを抽出することも試したのですが、うまくできていません。そのなごりでいまの楽曲はリズムの取りやすい、ドラムがちゃんと8ビート叩いているような曲を選んで使っています。本当はバラードとか、Cメロとかもやりたいのですがそうするとリズムが取れなくなってしまうので、それが課題です」

注：多くのポピュラーソングの曲構成は、イントロ→Aメロ（メロディ）→Bメロ→サビ、（ここから2番）Aメロ→Bメロ→Cメロ→サビ→アウトロ、となっている。Cメロは、AメロやBメロ、サビとは違うメロディであることが多い。

大部：「機構的には、アイドル側ももうちょっと凝ったものにしたいですね。センターステージや、アイドルを回したり、上げたり下げたりといったふうに」

インタビュー中に、大部さんと折金さんから強く感じたのは、「面白いものができそうだと思い付いたら、作ってしまえばいいじゃないか」という、ものづくりに対する圧倒的なフットワークの軽さでした。理論に基づいた作品であるというしっかりとしたバックグラウンド持ちながら、ライブの雰囲気をリアルに再現したいという強いこだわりを持って制作していることもよく分かりました。Maker Faireでセメダイン賞を受賞した観客振動子18個バージョンを大きく上回る100個バージョンの完成とお披露目を楽しみに待ちたいと思います。

佐々木千之

株式会社アスキーにおいてインターネット雑誌編集部、Webニュースメディア編集部を経てアイティメディア株式会社に移り、コンシューマー、エンタープライズ、産業系の編集部に所属。「ITmedia News」と「環境メディア」では編集長を務めた。2011年にフリーランスの編集者／ライターとして独立し、エンタープライズIT、製造業向けITなどを中心にWebメディアで編集・執筆。デジタルマーケティング会社で技術ライティング担当を務めた後、再びフリーランスで活動中。