資料を受け取る
資料を受け取る トップページへ戻る

Quality

間違えるより答えない

AIの正しさを、一つの数字で言うのは、難しい事です。コトワリが、何を、どう測っているかを、お伝えします。

光る線で出来た書棚のような格子

三つに分けて測る

質問への答えを、三つに、分けます。

分類中身38社の平均
正しい答え文書に書いてある通りで、出典も正しい86.4%
答えない「見つかりませんでした」と返す12.9%
間違った答え文書と違う事を、答える0.7%

大事なのは、三つ目です。間違った答えが、1%を下回る事。これを、導入の条件に、しています。試験導入で、1%を超えた時は、原因を調べ、下がるまで、本番には、進みません。

間違いを減らす方を選ぶ

正しい答えの割合を、上げる事は、出来ます。自信が無くても、答えさせれば、良いのです。けれど、そうすると、間違った答えも、増えます。

コトワリは、逆を、選んでいます。少しでも、根拠が弱い時は、答えない。答えない事は、失敗では、ありません。人に聞けば、済みます。間違った答えを、信じてしまう事の方が、ずっと、高く付きます。

どうやって測るか

  1. お客様と一緒に、答えの分かっている質問を、200問、作ります。
  2. コトワリに、解かせます。
  3. お客様の担当の方と、当社で、一問ずつ、答えを確かめます。
  4. 月に一度、同じ200問を、解かせ直します。文書が増えても、質が落ちていないかを、見ます。

間違いの原因

これまでに見つかった、間違った答えの原因を、調べました。

原因割合
元の文書に、誤りがある41%
古い版と、新しい版が、混ざっている27%
表や、図の読み違い19%
質問の取り違え13%

7割近くが、文書の側の問題です。試験導入の、最初の一週間を、文書の棚卸しに使うのは、このためです。

使われてからの質

使う方は、答えに、「役に立った」「違っている」の印を、付けられます。「違っている」が付いた答えは、翌日、当社の担当が、全て確かめ、原因を、お客様に、お伝えします。

4週間で確かめる

全社へ広げる前に、一つの部門で、効果を確かめます。合わなければ、そこで、やめられます。まず、資料を、お受け取りください。営業の電話は、かけません。

資料を受け取る03-0000-0000平日 10時〜18時
見本サイトです。社名・連絡先・数値は架空です