A Neural Conversational Modelを読む

先日ちょっと話題になった。Googleの人が出した割と自然な感じの会話ができるモデルのペーパー、A Neural Conversational Model。

Yahooニュースとかにも掲載されていたので、そこそこ知られている話だと思います。

本日は当該のペーパーを読んでみたので、abstractや使っていたデータセットあたりだけ紹介。

A Neural Conversational Model

こういうペーパーが誰でもすぐに読めるというのは、良い時代になったものだと思います。

言葉をコンピュータで理解、実践しようという試みは何十年も前から行われていますが、今のところ芳しい結果は出ていません。

最近はword2vecによる単語のベクトル化が話題になったり、その発展形であるParagraph Vectorを実装したsentence2vecが登場したりと、単語や節をベクトル化して扱うことについては、一定の成果が出ていますが、肝心の言葉を理解するという行為は、Siriでもワトソン君でもできていません。

今回のNeural Conversational Modelも、言葉を理解して会話を成立させているわけではなく、人の言葉に対して応答する1つのモデルを示したものになります。

といった基本的なところを抑えた上で、本文のabstract。

Conversational modeling is an important task in natural language understanding and machine intelligence. Although previous approaches exist, they are often restricted to specific domains (e.g., booking an airline ticket) and require hand-crafted rule.

会話モデルは自然言語処理やAIにとって重要なタスクだよね。けど、既存のアプローチでは特定の役割に限定したり（例えば飛行機のチケット予約とか）、手作業で作られたルールを要したりしてきた。

In this paper, we present a simple approach for this task which uses the recently proposed sequence to sequence framework. Our model converses by predicting the next sentence given the previous sentence or sentences in a conversation.

このペーパーでは、我々は会話モデルに対して、最近提案されたsequence to sequence frameworkを利用してシンプルにアプローチしている。我々のモデルは与えられた過去のセンテンスや会話中のセンテンスから、次のセンテンスを予測することで会話を実現している。

We find that this straightforward model can generate simple conversations given a large conversational training dataset.

我々は巨大な会話データセットを利用してシンプルにモデルを生成することで、会話を生成することを確認した。

ということで、sequence to sequenceという最近のアプローチを、しっかりしたデータセットで行って、それなりの結果が出せたという報告のようです。

sequence to sequenceについては不勉強なものでよく知らなかったのですが、下記などが挙げられていました。

Sequence to Sequence Learning with Neural Networks

最近の自然言語処理というと私が目にしているものではrecurrent neural networkが大半を占めている印象ですが、本ペーパーもその流れを継承した内容になっています。

今回、ニュースになっていたような会話を作るためにどんなデータセットを利用したかというと、「IT Helpdesk Troubleshooting dataset」と「OpenSubtitles dataset」というのを使っているようです。

IT Helpdesk Troubleshooting datasetは30Mのトークンを持つ会話データ、OpenSubtitles datasetは923Mトークンを持つ映画の会話データだそうです。自然な会話データとはちょっと違う、偏りがありそうなデータセットですね。映画データセットはどの程度自然な言葉が再録されているのだろうか。

こうしたデータの集合から会話っぽいものを作るという発想自体は昔ながらの人工無脳でも行われてきたもので、実際に現在の手法を使うことでどの程度精度が向上したかと言われると、なかなか数値で示しづらいものがあります。

会話を定量的に評価するってどうすると良いのでしょうね。