「大学生活で得た知識〜その1」では私が大学の研究活動を通して学んだ考え方や意識の有り方について紹介しました。そこで、ここでは私が実際にどのような研究を行い、どのような技術・知識を身につけたのか紹介しようと思います。
私は学部２年大学院2年の4年間、自然言語処理に関する研究しました。私の研究は、Twitterに投稿された病気症状に対して事実性解析を行うといった内容で、テキストベースの日本語に対して、自然言語処理を行っていました。
この研究を通して学んだ知識・技術は大きく分けて以下の2つになります。
- Twitterからツイートの自動収集
- 日本語の病気症状の事実性解析
研究ではTwitterからツイートを収集し、収集したツイートに対して事実性解析を行うため、まず初めにツイートを収集する必要がありました。そこで、ツイートの収集のためTwitterAPIを使用し、定間隔で自動でツイートを収集するクローラを開発するための知識・技術を身につけました。
その後、収集したツイートに対して病気症状の事実性解析を行いますが、この工程では機械学習による分類を行い、自然言語処理における機械学習について勉強し、様々な分類モデルを検討しました。この研究において最も難しい点は、病気症状の事実性解析において、病気症状の原因が病気に起因するものか否か判定することでした。病気症状を発症していてもその原因が比喩や例えであるものも多く、それらを上手く除外できるような分類器の作成が困難であったと記憶しています。Twitterは使用の手軽さゆえ、投稿されるツイートが短文のものが多く、ツイート内に何故病気症状を発症しているか書かれてないものも多く、それらをどのように分類するのかといった点が最も困難でした。最終的には文章の末尾の表現に着目したモダリティ解析技術、ツイートの投稿時間は関係あるのかなどを考慮した事実性解析モデルを構築し、機械学習で日本語を扱う際の奥深さを改めて知り、そしてその詳細を分析するためにどのような手法や技術を取り入れる必要があるのか研究活動を通して学びました。
今現在も自然言語処理を用いた技術は増え続けているため、これからも知識を深められるよう努めたいと思います。
