2016-01-01から1年間の記事一覧
最近テキストを解析してごにょごにょする仕事をよくしているのですが、精度は高くないけど、比較的少ないデータ量でもいい感じに振る舞ってくれるナイーブベイズ分類器で実装を試したりしています。 scikit-learnを使っていると特に何も考えずに実装ができて…
今mofmof inc.でチャットbotサービスのMy-opeというものを開発をしていまして、Facebook Botとしても使えるようにしたいなーと思って試してみました。パッとみたところグループチャットには対応していないのかな。グループで使いたかったんだけどなー。 この…
最近機械学習にハマっているのですが、新しいアルゴリズムだったり、機械学習ライブラリのドキュメントを見たりするとき、日本語情報がなく英語で書かれたものが多くて困ることがよくありました。 前々から英語はやろうやろうと思っていたのですが、ようやく…
今週末にチャットbotハッカソンに参加することになったので、IBM Bluemix Watson君の対話APIを試してみます。 こちらのQiita記事を参考にさせていただいた。これ見れば全部わかる。 http://qiita.com/y_some/items/03858ed87aad15ac7998 試してみる 対話定義…
ベイジアンネットワークというのは複数の要因によって捉えられる事象を確率的にモデル化する手法の一つです。どっかの例でみたのは「風が吹けば桶屋が儲かる」的な事象を複雑な要因を含めて数学的にモデル化出来るわけです。 機械学習での応用としては音声認…
実装する やりたいことは「今度のご飯だけど7/10の20:15はどう？」というテキストから2016/7/10 20:15:00という日付型の値を取得したい。 こちらのAPIを使いました。 https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_name=language_analysis&p_name=api_…
ぼくはRubyエンジニアなのでWEBを書くときはRailsをよく使ってます。最近はPythonで機械学習にハマっているのですが、画面側の実装が必要なとき慣れているRailsを使ってます。 ですが、Pythonをコマンド経由で実行したりしているので、ちょっとWEB側と機械学…
matplotlibがimportに失敗する問題の対処 ロジスティック回帰の実装 少しだけ解説 scikit-learnでサクッとロジスティック回帰の実装をやってみようと思ったのですが、思いのほかmatplotlibにハマってしまった。エラー対応の履歴がほとんど。 まずは公式ドキ…
最近もっぱらscikit-learnをいじっているのですが、クロスバリデーションってどうやるんだろうと思い調べてました。 非常にシンプルな例ですが、sckit-learnに付属しているテストデータを使って実際にやってみます。ちなみにpython2.7.10を使ってます。sciki…
LINE botをアプリケーションのUIに出来ないかなーと思ってまして、技術検証のためどんな感じか試してみました。 結論から言うと、まあ特筆すべきこともなく、期待通りの挙動といったところ。 Sinatra, Heroku+ Fixie, Ruby2.3.0でやりました。 事前準備 実装…
機械学習をやっていると、実際に何か使えるものをサクっと作りたくなってくるんですが、膨大なデータが必要だったり、実装ボリュームが大きくなりすぎたりするんですが、テキスト解析ならちょうど良いノリで出来そう。 そこで、TwitterのツイートをSVMにかけ…
前回に続けて文章を機械学習のインプットにしたいので、文章解析処理を学習するため「言語処理100本ノック」をやります。今回は一気に飛ばして第8章の機械学習にいってみます。 前回の「mecabで形態素解析したものをマッピングオブジェクトに突っ込む」はmec…
機械学習に絶賛ハマり中の原田です。 機械学習でこんなあんなことやことできないかなーって色々考えるのですが、結構文章を解析してごにょごにょする必要があるケースが多くて、そうすると日本語をパラメータにして機械学習させることになるので、形態素解析…
受験シーズンも佳境にはいってきて合格通知が届いて人もいると思います。そこで、1日目のテストを受けてその夜に本命合格がわかり、2日目を受けなかった人で、そのまま試験をしていたら合格していたのか気になる人のために合否判定ツールを作ってみたいと思…
相変わらず機械学習の勉強にハマっているのですが、今はニューラルネットワークのバックプロパゲーションあたりを勉強してます。 勉強も楽しいのですが、何か実践で使えるものをやりたいなーと思って、並行してtensorflowで色々試しているところです。 線形…
デブサミ2016でDataRobotのセッションをみて感激したのですが、そのときにTensorFlowのデモもちょっとだけやっていて、試したくなりました。ぼくはRubyistなのでPythonをあまり書いたことがないのですがチャンレンジしてみます。 TensorFlowをインストール …
個人の趣味で作っている、夫婦のための自動ごはん予定お知らせサービス「GoHaaan」のSSL証明書がいつの間に期限切れになっていて使えなくなってた。。。 GoHaaan https://gohaaan.com/ 最近無料SSLのLet's Encryptが話題になっているので試してみました。 Le…
データはラーメンデータベースで「渋谷」で検索した上位20件を使用した。 前回、最急降下法を実装して線形回帰のθの値を探索してみたけどうまくいかなかったという記事を書きましたが、どうやらfeature scaling(feature normalization)をして収束することに…
前回のエントリで線形回帰で実際に予測することまで出来たので、今回はロジスティック回帰で予測してみます。 機械学習で、ラーメン屋のレビュー件数から評価点がどれくらいになるか予測する 今回は、賃貸情報サイトのSUUMOで、「渋谷駅」で検索した中から、…
前回のOctaveで散布図をプロットしてみるに続いて、今後はOctaveで最急降下法を実装して、θの値を探索してみます。 結論から言うと失敗した。どこかfeature scalingで間違っているっぽいんだけど、どう間違っているのかがわからず。改めてリベンジしたい。ひ…
前回に引き続き機械学習のインプット中ですが、機械学習で数式ばっかりコネコネやっていると、その数式が示していてるものを可視化したくなるときがあります。目的関数がボウル型になることや、仮説関数の線形などを目で見て確認したくなってきます。 なので…
