2022年5月にアメリカ、ニューオリンズで開催されたCHI2022で価値交換工学のAri Hautasaari特任准教授らの論文「EmoBalloon – Conveying Emotional Arousal in Text Chats with Speech Balloons」が Best paper awardを受賞しました。本記事では、筆頭著者である青木俊樹さん、中條麟太郎さんに研究内容や現地の会場の雰囲気などをお聞きしました！

-Best paper awardの受賞おめでとうございます！

中條：ありがとうございます。このプロジェクトは、筆頭著者である青木と中條が、学部1年生の夏季休暇に「本郷テックガレージ」の「Summer Founders Program」に参加して、感情伝達を支援するシステムを構築したところから始まりました。その後、共同著者である松井さん、Saemiさん、Ari先生とともに研究として活動を続け、学部3年生の夏にCHIに投稿しました。CHIに投稿するまでに実は2回のRejectを受けているのですが、最終的にCHIにBest Paperとして採択されたことをとても嬉しく思っています。

-今回、受賞された研究「EmoBalloon」について教えてください。

青木：EmoBaloonは、一言でいえば感情をテキストチャットで伝えるためのツールです。私たちは、日常で当たり前のようにSlackやLINEといったテキストチャットを使っており、絵文字やスタンプを用いて感情を伝えることができます。しかし、人が対面で話すときには声のトーンや表情をはじめとした豊富な手がかりによって感情を伝えることができ、コンピューターを介した感情の伝達には相対的な限界があることを課題と考えました。
今までもテキストの色やフォントを変える先行研究はあったのですが、私たちは日本の漫画に着目し、感情の興奮度合いがどのように伝わるかを調べました。漫画では感情を表すのにフォント、オノマトペ、吹き出しを使っているのですが、吹き出しの形状を変化させ、テキストチャットに応用することに取り組んだ研究です。

-研究はどのように進められたのでしょう。

青木：まず、日本の漫画の中で1番よく使われる丸とギザギザの吹き出しについて、0から1までのギザギザ度合いをもつ吹き出しを自動生成するシステムをニューラルネットワークを用いて作りました。ニューラルネットワークに入力する値が低いとより丸い吹き出しに、反対に値が高くなるとギザギザが強くなっていきます。次にそれを用いて2人1組みのペアで実際にテキストチャットしてもらうというユーザー実験を行い評価しました。
その結果絵文字を使用した場合と異なり、吹き出しという感情的な手掛かりがある場合とない場合では、ペアでの伝達したい感情についての一致度合いは異なり、ギザギザの吹き出しがあるものの方がポジティブな結果になりました。

-研究で大変だったことは何でしょうか。

青木：新型コロナの感染拡大対策に配慮する必要があるため、オンラインでおよそ30ペアによる評価を行うのが大変でした。14日間あけて2回の評価セッションを行ったのですが、参加者の都合が悪くなってしまうこともあり、調整に苦労しました。

-EmoBalloonの強みや新規性、Best paper award受賞に至ったポイントは何でしょうか。

青木：絵文字より感情表現を伝えるのに適している可能性が高いこと、吹き出しの形状を変更させることは興奮度合いの伝達にすごく良いこと、ネガティブ・ポジティブには影響しないことなどが挙げられると思います。

-発表の際の現地の様子、みなさんの反応などはいかがだったでしょうか。

青木：多くの方に興味を持っていただきました。当初Q＆Aは5分の予定だったのですが、20分程にもなりました。日本語以外ではどうなるのかなど、研究の今後の展開について質問をいただきました。

-最後に、現地での面白かったエピソードなど（食事やフリータイムでの出来事など）あれば教えてください。

青木：最終日の学会が完全に終わった後、少し空いている時間でMITやCMUの学生達とワニを見に行ったことはすごく面白かったです。学会の中では今後の研究の方向性や様々な技術、今行っているプロジェクトについて話しましたが、この時はワニが「alligator か crocodileか」を当てるゲームをしたり、かなりプライベートな話をしたりと、他の学生の雰囲気を感じとることができて楽しい体験でした。

写真1番目：オープニングの様子
写真2番目：発表時の様子
写真3番目：左から、本研究著者の松井克文さん、青木俊樹さん、中條麟太郎さん
写真は全て、青木・中條撮影

（関連リンク）
論文「EmoBalloon – Conveying Emotional Arousal in Text Chats with Speech Balloons」
https://doi.org/10.1145/3491102.3501920

RIISEウェブサイト
https://www.riise.u-tokyo.ac.jp/news-vxe-award-chi-emoballoon/

CHI 2022 Awards
https://programs.sigchi.org/chi/2022/program/content/69010

IT Mediaによる紹介記事
https://www.itmedia.co.jp/news/articles/2205/24/news058.html