【テクノロジー】自然言語処理の基本と技術 奥野陽ほか
こんにちわ、読書くんです。今回は人工知能が騒がれる昨今、より深くテクノロジーについて知りたいなと思い手にとって一冊。
【テクノロジーと実生活を結びつける知識を持っておく】
みなさん、人工知能と言われるとどんなことを思い浮かべますか？大体がSiriのもっとすごい版だったり、メイドロボットだったり、はたまたドラえもんだったりと、ものすごい先の未来を創造しがちだと思います。
ただ具体的にどんな技術が使われてるのかを聞くと「技術？人工知能でしょ？？」というものすごい曖昧な答えしか言えない人が多いんじゃないでしょうか笑 僕もまあその一人ではあるのですが、最低限表面的な本を読んできたのでうっすらとは知見がありました。ただ、もっと知りたいなと、これはもう純粋な知的探究心で笑
そこで専門的な人が口にする「自然言語処理」というやつに手を出しのですが、いかに自分の知識が浅かったかが露呈しました。まず、みなさん自然言語ってなんだか知ってますかね。これはみなさんが知っている言語そのものです。日本語だろうと英語だろうと中国語だろうと、みなさんが普段使っている言語すべてが当てはまります。
ではなぜまどろっこしく「自然言語」なんて言葉を使っているのか。それは他の言語と分けたいからです。そう、自然言語とは別の言語「コンピューター言語・形式言語」というものがあり、これと分けるためにあえてまどろっこしい言い方をしています。
なぜこの「自然言語処理」という技術が重要なのかというと、コンピューター言語は同じ機械が理解するのに非常に簡単な言語ですが（まあ機械同士だから当たり前ですよね笑）、われわれが日常で使う自然言語は機械からすると非常に（正しく）理解するのが困難な言語です。
この技術が使われている典型が「予測変換」。昨今ものすごく便利になってきましたよね。僕もいまこうやってブログを書きながら予測変換に非常にお世話になっています。単語、文脈を正しく理解し「あなたが変換しようとしている漢字はこれですよね？」と提示してくれる、これがまさしく自然言語処理技術です。いやー、全然知らなかった笑
あとその技術の中で日常でも活用できそうだなと思ったのがビタビアルゴリズム（連結スコア付き）ですね。複合単語の場合は２つにわけて、その関連度をスコアリングして、最終的な結論に行き着くと。これ、裏側ではすごい複雑な計算が行われているんだろうなと、今更気づきますよね笑 なにかデータ分析したいときに、スコアリングの意識を持つといいんだろうなと、当たり前ながら思ったわけです。
なんとなく大枠を抑えとくだけでもいいですが、少しばかり専門的な知識を身に着けて、実生活で確認するのは、また違った視点がもらえていいものです。畑違いのところにも好奇心を持ち続けたいあなたは、ぜひ手にとってみてください。
本が苦手な人はフライヤーで検索。
電子書籍派のあなたはhontoで。
ではではー
