NLPとは？AI（人工知能）分野のNLP（自然言語処理）をわかりやすく解説！

「NLP」とは、AI（人工知能）が自然言語を分析する技術のことで、自然言語処理とも呼ばれます。世界で市場規模が年々拡大し、非常に注目を集めているAI技術です。

この記事では、NLPについての基礎や、できること、使われている例などを紹介します。

公開日：2020年9月29日

AI分野のNLP(自然言語処理)とは何か？

「NLP」とは、大量のテキストデータをAIが分析する技術のことです。NLPは、Natural Language Processingの略で、自然言語処理とも呼ばれます。

自然言語とは、人間が日常でやり取りする日本語や英語などの、いわゆる「言葉」のことで、NLPはそのような自然言語を処理・分析する技術です。

なお、自然言語処理については、「自然言語処理とは？スマートスピーカーにも使われている技術をわかりやすく解説！ 」をご覧ください。

大量のテキストを解析するために、AIは言語を学ぶ必要があります。AIやコンピューターにとって、自然言語の文章の構造を読み解くような構文解析や形態素解析は容易です。

しかし、人間が発する言葉には、同じ言葉を使っていても、意味が異なるという場合が多くあります。また、 “遠慮”や“相手に配慮する気持ち”から、あえて曖昧な言葉を使用するケースもあるでしょう。

そのため、AIがテキストの意味や文脈を解析することは容易ではありません。

しかし近年においては、ビックデータやAI、ディープラーニングの飛躍的成長によって、AIによる自然言語の解析・処理が進んでいます。そして、BERTのような画期的な自然言語処理モデルも登場しました。

BERTについては、「BERTとは何か？Googleが誇る最先端技術の仕組みを解説！」をご覧ください。

そのほかのNLPの意味に注意

AI分野における「NLP」と混合しやすい言葉に、「心理学分野におけるNLP」があります。

心理学分野におけるNLP(Neuro Linguistic Programing)は、神経言語プログラミングを意味します。これは、近代心理学セラピストのリチャード・バンドラーと言語学者ジョン・グリンダーによって提唱されました。能力の高いセラピストが使っている言葉や話し方、ノンバーバル(非言語)を分析し、手本となるスキルとして体系化したものです。

神経言語プログラミングは信頼関係の構築や思考整理に役立つとされており、心理学や心理療法の分野で研究が行われています。しかし、この「神経言語プログラミング」は「自然言語処理」とは異なるものであるため、注意が必要です。

　

NLP(自然言語処理)の仕組みをわかりやすく紹介

NLPは、下記の順番で処理されます。

• 形態素解析
• 構文解析
• 意味解析
• 文脈解析

それぞれのステップで何が行われているのか詳しく解説します。

形態素解析

形態素解析は、簡単に言うと、文を動詞や名詞、形容詞などの品詞に分けることです。下記の例文をご覧ください。

例文：太郎(名詞) / は(助詞) / ピクニック(名詞) / が(助詞) / 好きだ(形容動詞)

このように文を最小限の単位にすることで、一つひとつの言葉の意味を理解します。

形態素解析の詳しい説明に関しては、「形態素解析とは？おすすめの5大解析ツールや実際の応用例を紹介 」をご覧ください。

構文解析

構文解析では、形態素解析をした言語要素をもとに文の構造を明確にしていきます。簡単に言うと、文を主語や述語、目的語に分類していく作業です。

例えば、上記の例文の場合、「太郎は」は主語となる名詞句、「ピクニックが好きだ」は動詞句になり、さらに「ピクニックが」は目的語となる名詞句、「好きだ」は述語となる動詞句に分類されます。

構文解析をすることで、それぞれの言語要素の関係性が明確になり、文構造の図式化が可能になります。

意味解析

意味解析では、構文解析をもとにそれぞれの単語の関係性を判断します。下記の例文をご覧ください。

例文：緑に / 光る / オーロラ / と / 星/ は / 美しい

上記の文の場合、オーロラが緑に光ることはすぐに理解できますが、オーロラだけでなく星も緑に光るという意味にも読み取れます。しかし、意味解析で辞書を引きながら各単語の関係性をチェックしていくと、オーロラは緑に光るものの、星が緑に光ると表現されることは少ないということがわかります。そのため、AIは「この文が示す『緑に光る』ものはオーロラだけである」と知ることができるのです。

このように意味解析をすることで、各単語の関係性をチェックします。ただし、普段から人々が使用する日本語は、例文よりもっと複雑かつ、曖昧なものです。そのため、AIが曖昧性に惑わされないための手法や技術の研究が現在でも進められています。

文脈解析

最後の工程が文脈解析です。文脈解析では、その文だけでなく、文の周りにある文章に関しても形態素解析や意味解析を行います。例えば、下記のような文があるとしましょう。

例文：それが太郎の好物だ。

この場合、“それ”が何であるのかを、上記の1文から理解することはできません。“それ”が何を指すのかを知るためには、前の文をチェックする必要があります。そのため、1文だけでなく、すべての文章をチェックすることが意味を理解する上で必要不可欠です。

　

NLP(自然言語処理)でできることとは？

先述の通り、NLPでできることは、非構造化データの処理と膨大なテキストデータの解析です。

非構造化データの処理

非構造化データとは、電子メールや文書ファイル、画像や動画などのことです。対して、商品番号と価格のリストなどといった、「列」と「行」のある表にまとめられる数値などのデータを構造化データと呼びます。

先ほどから見てきたとおり、文章などの非構造化データは、容易に解析しづらいことが特徴です。しかし、現在では機械学習の飛躍的成長により、処理精度が向上しています。そのため、音声認識技術などに活用されています。

膨大なテキストデータの解析

テキストデータを機械的に解析するNLPは膨大なテキストデータ解析を処理できます。近年、TwitterやFacebookなどのSNSが飛躍的に成長しました。SNSのテキスト解析を行うことで、ユーザーのニーズを知ることができるため、NLPはマーケティング分野で注目されています。また、医療記録から症状を特定し、予防や治療に使われるケースもあます。　

　

身近なNLP (自然言語処理) の使われ方

NLPは、どのように使われているのでしょうか。NLPの例として、以下のようなものが挙げられます。

• 検索エンジン
• 文字入力の変換
• 音声対話システム（スマートスピーカー）

それぞれ、どのように活用されているのかをご紹介します。

検索エンジン

検索エンジンは、Google検索やYahoo!検索といった、インターネット上にあるWebサイトを検索できるプログラムのことです。

検索エンジンは、検索されたキーワードを基に、ユーザーに最適な情報を提供できるよう、インターネット上にあるWebサイトを絞り込みます。

しかし、Webサイトに掲載されている文章をコンピューターが理解できなければ、検索キーワードに合ったWebサイトを見つけることができません。このように、Webサイトを探す作業に必要なテキストデータ処理のため、NLPが活用されています。

文字入力の変換

パソコンやスマートフォンで入力したひらがなの文字を、漢字や顔文字、絵文字に変換する機能です。言葉の句切れや同音異義語の違いを解析することで、意図した意味の変換が可能となる仕組みになっています。

音声対話システム （スマートスピーカー）

音声対話システムとは、話しかけた情報をAIが聞き取り、適切に応えてくれるシステムのことです。有名な音声対話システムには、アレクサやLINE Clovaなどを挙げることができます。こちらも、音声で入力された文の句切れや意味を分析しています。

　

NLPを活用するとテキストマイニングが効率化できる！

NLPを活用することで、テキストマイニングを効率化することができます。

テキストマイニングとは、大量のテキストデータから重要な情報を組み上げる技術のことです。例えば、その文章の中に同じキーワードはいくつ使われているかや、それぞれのワードの関連性などを知ることができます。

テキストマイニングについて、詳しくは「テキストマイニングを活用事例から手法まで丁寧に解説 」をご覧ください。

テキストマイニングの有名な手法には、センチメント分析（感情分析）、対応分析（コレスポンデンス分析）、主成分分析（トピックモデル）、共起語解析などがあります。それぞれの手法について簡潔にご紹介します。

センチメント分析（感情分析）

センチメント(sentiment)分析とは、感情を分析する手法です。SNSなどに書き込まれた内容に対して行われることが多く、マーケティングなどに活用されています。

対応分析（コレスポンデンス分析）

集計データの特徴などから散布図を作成し、行動の偏りなどを分析する手法のことです。ブランドイメージなど市場調査をする際に用いられます。

主成分分析（トピックモデル）

複数ある変数の中から連動しているものを見つけて、重要な成分だけを分析する手法のことです。

共起語解析

主キーワードと関連するキーワードを抽出するために行われる分析手法のことです。共起語解析をすることで、関連キーワードを見つけることができます。

この記事では、AI分野の「NLP」とは何か、NLPでできることなどを解説しました。文章解析には欠かせない技術であるNLPは、今後も飛躍を遂げると考えられます。

評価：★★★★★
このコースは、自然言語処理とチャットボット開発の基本から応用までを丁寧にカバーしており、非常に役立ちました。スクリプトの説明が非常にわかりやすく、実務に直結する内容で、自分ですぐに実装可能でした。また、課題を通して学習内容を定着させ、実務に応用できる自信がつきました。初心者から中級者まで幅広くおすすめできるコースです。

評価：★★★★★
はじめて自然言語処理の講座を受けましたが、分かりやすく、興味深いものでした。他の機械学習とは違った印象を受けました。自分でも何か作れそう！と思える内容でした。ありがとうございました。