言語認識精度の高い会話エンジン搭載のAI会話プラットフォーム「CAIWA」を基盤としたAIチャットボットで問い合わせ対応コスト削減と顧客満足度アップを実現!

テスト・メンテナンス|チャットボット作成実体験レビュー

知識データを育てる?

今回は、知識データの学習についてご紹介いたします。
Q&Aを登録して、回答時のアクションの設定も行いある程度の対応はできるようになりました。
上司が言うには、CAIWAプラットフォームには「意味認識エンジン」が備わってるので、全文一致しなくても答えらるとのこと。どうやら、CAIWAエンジンが言葉の意味を認識して、日本語特有のゆらぎをある程度吸収してくれるということでした。
どういうことかというと、例えばお台場までのアクセス方法を聞く場合、下記の言い回しは全て同じ意味だと認識してくれるのです!!
どうやら、CAIWAエンジンが意味認識をするので、文章のゆらぎをある程度吸収してくれるということでした。
どういうことかというと、例えばお台場までのアクセス方法を聞く場合、少なくとも下記のような質問が考えられると思いますが、なんと、これら全て同じ文章だと認識してくれるのです!!

◆これ全部同じ意味と認識してくれます!◆
・お台場までのアクセス方法
・お台場までどうやっていけばいいですか?
・お台場への行き方
・お台場まで行く方法が知りたい
・お台場までの交通経路

CAIWA頭いい!
とはいえ、一問一答の登録だけでは、ヒット率としては、約70%ぐらいでした。
そんなとき上司に
「このままでも回答できるけど、ヒット率をあげるには、遠い言い回しのものを同義文として追加するといいよ」
と言われました。
Qには同義文を追加することができるようになっていて、追加することでよりヒットの幅が広がっていくという説明をうけました。
つまり、同義文を追加することで知識データが育ってチャットボットの回答精度が上がっていくわけですね。
「でも・・・。遠い言い回しってどんな文章を同義文として追加すればいいんだろう」
この同義文を追加するためのサポート機能があるんです。
それがテスト機能です。

とても便利なテスト機能

入力された質問に回答できたかどうかの判定結果は「テスト機能」を使って確認できます。特にすごいのが、想定質問集などを作成して、一気にテストすることもできるんです。たくさん違う言い回しのものをテストデータとして用意して一気にテストするとヒットするかしないかを判定してくれます。
ヒットしなかったものだけに分類して、新たにQAとして登録したり、すでに登録されているQの「同義文」として追加したりできます。
ちなみに同義文に追加する先のQをAIが選定して「候補文」として提示してくれるので、自分でどこに追加するか考える必要はありません。
さらに、提示された候補文に追加する方法がいたって簡単!!

画像中の赤枠で囲まれた「お台場までのアクセス方法」のように、候補文をクリックするだけで同義文として追加できるのです。
なんと画期的!
ということで、何の知識もない新入社員の私が、UIの作成(キャラクター作成含む)、知識データの作成、テスト・チューニングを行い約2ヶ月半ほどで公開にこぎつけました。

メンテナンス機能でAIチャットボットを育成

さらに!
この場を借りてもう一つ新機能を紹介しておきます。
完成後、AIチャットボットを公開しますよね?
そうすると、あらゆる人があらゆる質問を投げかけてきます。
残念ながら、答えられない質問も出てきます。
その結果をみて、「どうしよう、こんなジャンルまで聞かれるんだ、質問の登録がきりないよ。」などと思うでしょう。
でも大丈夫です、そのための強い味方が「メンテナンス機能」です。メンテナンス機能では、リアルタイムにユーザーの質問がヒットしたか、しなかったか判定してくれて、テスト機能と同じように、簡単に新たなQ&Aを追加したり、ワンクリックで同義文を追加したりできます。
AIチャットボットが日々成長できる秘訣は、このメンテナンス機能にあります。
私は。この楽々メンテナンスでAIチャットボット「ゆうい」に愛情を注いでいますよ^^
ちなみに、最初は週に2〜3回1時間ほどメンテナンスに時間を使っていましたが、3ヶ月を超える頃には、正答率が90%以上となり、メンテナンスは月に1回30分ほどで済むようになりました。
アクセス数や対応範囲(QA数)にもよりますが、メンテナンスの頻度は日々確実に減っていきますね。
最後に、チャットボットの作成を実体験してみての感想です。