今の会社は結構海外の方も多く，英会話ができると嬉しい場面がそこそこあります．純日本人の自分はこれまであまり英語に触れてこなかったのですが，やっぱり英語での意思疎通ができるようになるメリットが以前よりも増したように思えます．
そこで，AIと気兼ねなく英会話の練習ができるアプリを作ることにしました．英会話スクールや既存の英会話アプリは英会話を行うモチベーションが湧かないので，自分でモチベーションが上がるように好きなように作ればいいのでは？となった次第です．
ベースは前回作った「AIつむぎちゃん」の技術を応用しています．
サンプル動画
話しかけたり，タップしたりすると反応を返してくれます．また，タップに合わせて視線が動いたり，放置していたら話しかけてくれる機能もあります．
使用技術
- Unity：いつものゲームエンジン．
- Cloud Speech-To-Text API：Googleの音声認識API．ネットワークを経由しているので若干時間がかかるが，Web APIなので機種に依存しない使用ができる．
- ChatGPT API：会話用．モーション分岐のための感情分析も行っている．
- Amazon Polly：AWSの合成音声API．英語の合成音声には結構種類があるが，Pollyに含まれるIvyという合成音声の声が好みだったという理由だけで選択．
- OVRLipSync：音声に合わせて口パクできるツール．
- DeepL API：翻訳用．まだ機能として組み込めていないので，今後追加予定．
- OpenCV Plus Unity：顔検出を行うツール．顔の位置を検出して視線追従する機能も作ったのだが，スマホだと結構重かったので無効にしてある．
今後の展望
管理人の英語の発音がカスなので音声認識がうまくいかずに会話が噛み合わないことがしばしばあること，言いたいことを英語に変換できないこと，返答の内容が理解できないことがあるので，そのあたりを支援する機能があればよりスムーズな英会話ができるのかなぁと思っています．
英会話の練習（のモチベーション維持）にはキャラクター性も必要だと思うので，そのあたりの個性付けもやっていきます．
コメント