固有表現認識とは

NER
読み: コユウヒョウゲンニンシキ

固有表現認識とは、テキストデータの中から特定の意味を持つ単語やフレーズを抽出し、その種類を識別する技術である

読み: コユウヒョウゲンニンシキ

テキストデータの中から特定の意味を持つ単語やフレーズを抽出し、その種類を識別する技術である。抽出対象となるのは、人名、地名、組織名、日付、金額など、あらかじめ定義されたカテゴリに属する情報である。自然言語処理NLP)の分野で重要な役割を担う。

かんたんに言うと

文章の中から「人」「場所」「会社」などの名前を見つけ出して、それが何の種類なのかを当てる技術のこと。

固有表現認識の仕組み

固有表現認識は、一般的に機械学習深層学習の手法を用いて実現される。テキストデータを学習させることで、単語やフレーズの特徴を捉え、それがどのカテゴリに属するかを予測する。近年では、Transformerモデルなどの大規模言語モデルを活用することで、より高精度な固有表現認識が可能になっている。ルールベースの手法と組み合わせることで、さらに精度を高めることもできる。

固有表現認識の活用例

固有表現認識は、様々な分野で活用されている。例えば、ニュース記事から事件や事故の情報を抽出したり、顧客からの問い合わせ内容を分析して適切な部署に振り分けたりすることができる。また、履歴書からスキルや経験を抽出して、最適な人材を検索するといった用途にも利用される。医療分野では、電子カルテから病名や薬名などを抽出し、診療支援に役立てることも可能である。

固有表現認識の課題

固有表現認識は、文脈によって意味が変わる単語や、表記の揺れに対応する必要がある。例えば、「アップル」という単語は、文脈によって企業名であったり、果物の名前であったりする。また、同じ地名でも、「東京」と「東京都」のように、表記が異なる場合がある。これらの課題を解決するために、より高度な自然言語処理技術が必要となる。

同じ失敗を二度としないAIエージェント

今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。

当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。

古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。

相談する