人工知能してみる

人工知能の中の人が機械学習とか統計とかAI的なことを書き連ねます

R言語

Rを使ったポアソン分布における最尤推定

本格的に統計を学ぶためにデータ解析のための統計モデリング入門、いわゆる緑本を読み始めました。 ナナメ読みで概観を捉えながら、追ってRで手を動かして勉強してます。 統計はツマミ食いでしか学んでいなかったので、こうやって体系的に学ぶと、いままでの…

RMeCabで文章マトリックスとTF-IDFを計算する

今回はテキストマイニングへの一歩としてRMecabを勉強します。 RMeCabの標準関数として文章の単語マトリクスとTF-IDFの計算を行います。単語マトリクスとは複数の文章における単語の出現頻度をベクトル表示したものです。 bag of wordsモデルでは単語同士を…

RMecabで文章を分かち書きして単語の出現頻度を調べてみる。

タイトル通りですけど、RMecabで文章を分かち書きして単語の出現頻度を調べてみます。RMeCabは日本語用の形態素解析器MeCabのR言語版です。 自然言語処理の偉い方が開発したもので、おそらく日本で最も使用されている形態素解析器だと思います。MeCab: Yet A…