高性能なチャットボット！少ないデータ登録でも言語認識精度が高い理由とは

最終更新日： 2020年11月24日 投稿者： Exiis-Lab

「チャットボットがまともに回答できるようにするには、大量のデータを登録し学習させる必要があるらしいわよ。」

たしかに、チャットボットの構築には、泥臭い作業が必要な部分もあります。
構築にものすごく苦労をしたという情報も目にします。
実際どれぐらいの作業負荷がかかるのか、不安に思っているお客様も多いのではないでしょうか。

CAIWAは大量のデータで学習させなくていいんです！

CAIWAは、「誰でも簡単にチャットボットを作成できるプラットフォーム」を目指し開発されました。
AIの技術を活用し、極力少ない学習データで最適な回答を返すことにこだわっています。

「本当に少ないデータで最適な回答を返せるの？」

そうですよね。本当かどうかは使ってみないとわかりませんよね。どうぞ実際に導入して使ってみてください。
というと「えー」という声も聞こえてきそうなので、本当にCAIWAが少ないデータで最適な回答を返せるかのテストをしました。

とその前に・・・。

チャットボットが自然な言葉の質問に答えるには何が必要？

チャットボットを、カスタマーサポートや社内のヘルプデスクなどで利用する場合に、自然な言葉による質問の意味を捉えて最適な回答を返すためには、何が必要になるでしょうか。

ざっくりですが、以下の4つです。

１.自然言語処理エンジン：

入力された文章を解析して、登録されたFAQデータの質問文（意図）の中から一番意味が近いものを探し出すためのもの

２.FAQデータ：

質問文（意図）と回答文のデータです。

３.同義文：

特定の質問文と「同じ意図の様々な言い回しの例文」で「トレーニングフレーズ」とも言います。言葉の揺らぎに対応させるのに必要です。

 ４.辞書：

各文章に入っているキーワードとその同義語が登録されたデータで「エンティティ」とも言われています。

２〜４を合わせたものが、「学習データ」です。「訓練データ」とも呼ばれていますね。

ちなみに、弊社では知識データと言っています。

２のFAQの数が多ければ多いほど、答えられる質問の範囲が広くなります。つまりFAQの数は、網羅性に関わってくるわけです。

３の同義文と４の辞書は、ある特定の質問文（意図）に、どれだけ違った言い回しがヒットするようになるかに関わってきます。

同義文登録と辞書の作成作業に時間がかかる

通常、学習データの一つのノード内に一つの質問と回答だけ学習させただけでは、様々な違う言い回しの質問には対応できません。

なので違う言い回しの同義文（例文）をたくさん登録し、使われるキーワードを抽出して同義語を登録（辞書作成）し、様々な言い回しに対応できるように学習させます。

この３の同義文を登録し学習させるのと、４の辞書作成がなかなか大変でして、
冒頭で言っていたことは、まさにこの作業の大変さのことを言っていたわけです。

「そんなに同義文の登録が大変なのであれば、AIに任せられないのかい？」

確かにそうですよね。

完全に任せられるわけではないですが、CAIWAは、先ほどの同義文登録と辞書作成の手間を大幅に軽減できるようになっています。

極論ですが、CAIWAの場合、一問一答のFAQデータを登録すれば、同義文を全く登録しなくても、様々な言い回しに対応できます。（もちろん登録することでより精度は高まります。）

その理由ですが、

CAIWAには、長年研究を重ね磨き上げた辞書が備わっている

からなのです。

一般的な単語や言葉が体系づけられた高度な辞書を標準搭載

CAIWAの内部には、長年の研究と多数の企業による商用利用によって蓄積された膨大なデータを元に、単語や様々な言葉をアノテーションし体系化した概念辞書が標準搭載されています。

これによって、入力された自然文で学習データ側のQを検索する際、一致した単語が一つもなかったとしても、文章全体で近い意味であればマッチングさせることができるわけです。

同義文なしでどれだけ言い回しの違う質問に答えられるのか

というわけで、ちょっと乱暴ですが、全く同義文を登録せずに、CAIWAでは、どれぐらい違う言い回しの質問に答えられるかテストしてみました。

例えば以下のような感じで質問と回答を構築ツールのCAIWA ROBOT MANAGER上で登録します。
そして、様々な言い回しのテスト用の想定質問文を用意し、CAIWA ROBOT MANAGERに備わっているテスト機能を使って一括テストを行います。

上記のテスト用の質問文のどれがQにヒットしてどれがヒットしないか。
（中にはヒットしてはダメなものもあります。）

結果が気になる方は、下記リンク先の問い合わせフォームよりお問い合わせください。
CAIWAについての詳細含め、担当者よりご説明させていただきます。