もふもふ技術部

IT技術系mofmofメディア

2016-01-01から1年間の記事一覧

ナイーブベイズをキャッチアップするためにベイズの定理を復習する

最近テキストを解析してごにょごにょする仕事をよくしているのですが、精度は高くないけど、比較的少ないデータ量でもいい感じに振る舞ってくれるナイーブベイズ分類器で実装を試したりしています。 scikit-learnを使っていると特に何も考えずに実装ができて…

Ruby,SinatraでFacebook Botを作ってみる

今mofmof inc.でチャットbotサービスのMy-opeというものを開発をしていまして、Facebook Botとしても使えるようにしたいなーと思って試してみました。パッとみたところグループチャットには対応していないのかな。グループで使いたかったんだけどなー。 この…

【2016年版】英語学習のために活用できるサービスまとめ

最近機械学習にハマっているのですが、新しいアルゴリズムだったり、機械学習ライブラリのドキュメントを見たりするとき、日本語情報がなく英語で書かれたものが多くて困ることがよくありました。 前々から英語はやろうやろうと思っていたのですが、ようやく…

IBM Bluemix Watson君で日本語の対話サンプルを試してみる

今週末にチャットbotハッカソンに参加することになったので、IBM Bluemix Watson君の対話APIを試してみます。 こちらのQiita記事を参考にさせていただいた。これ見れば全部わかる。 http://qiita.com/y_some/items/03858ed87aad15ac7998 試してみる 対話定義…

BayesPyのクイックスタートで変分ベイズ法を実装してみる

ベイジアンネットワークというのは複数の要因によって捉えられる事象を確率的にモデル化する手法の一つです。どっかの例でみたのは「風が吹けば桶屋が儲かる」的な事象を複雑な要因を含めて数学的にモデル化出来るわけです。 機械学習での応用としては音声認…

Docomoの言語解析APIを使って固有表現抽出して、テキストから日付を取り出す

実装する やりたいことは「今度のご飯だけど7/10の20:15はどう?」というテキストから2016/7/10 20:15:00という日付型の値を取得したい。 こちらのAPIを使いました。 https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_name=language_analysis&p_name=api_…

Python + Flaskを使ってHerokuで機械学習させてみようとしたが挫折した

ぼくはRubyエンジニアなのでWEBを書くときはRailsをよく使ってます。最近はPythonで機械学習にハマっているのですが、画面側の実装が必要なとき慣れているRailsを使ってます。 ですが、Pythonをコマンド経由で実行したりしているので、ちょっとWEB側と機械学…

scikit-learnを使ってIrisデータのロジスティック回帰分類を実装する

matplotlibがimportに失敗する問題の対処 ロジスティック回帰の実装 少しだけ解説 scikit-learnでサクッとロジスティック回帰の実装をやってみようと思ったのですが、思いのほかmatplotlibにハマってしまった。エラー対応の履歴がほとんど。 まずは公式ドキ…

scikit-learnを使って線形回帰モデルをクロスバリデーションする

最近もっぱらscikit-learnをいじっているのですが、クロスバリデーションってどうやるんだろうと思い調べてました。 非常にシンプルな例ですが、sckit-learnに付属しているテストデータを使って実際にやってみます。ちなみにpython2.7.10を使ってます。sciki…

LINE botでどんうさぎ簡易電卓を作った

LINE botをアプリケーションのUIに出来ないかなーと思ってまして、技術検証のためどんな感じか試してみました。 結論から言うと、まあ特筆すべきこともなく、期待通りの挙動といったところ。 Sinatra, Heroku+ Fixie, Ruby2.3.0でやりました。 事前準備 実装…

scikit-learnを使ってテキストから素性ベクトルを取得する

機械学習をやっていると、実際に何か使えるものをサクっと作りたくなってくるんですが、膨大なデータが必要だったり、実装ボリュームが大きくなりすぎたりするんですが、テキスト解析ならちょうど良いノリで出来そう。 そこで、TwitterのツイートをSVMにかけ…

Pythonで言語処理100本ノックの8章を少しだけやってみる

前回に続けて文章を機械学習のインプットにしたいので、文章解析処理を学習するため「言語処理100本ノック」をやります。今回は一気に飛ばして第8章の機械学習にいってみます。 前回の「mecabで形態素解析したものをマッピングオブジェクトに突っ込む」はmec…

mecabで形態素解析したものをマッピングオブジェクトに突っ込む

機械学習に絶賛ハマり中の原田です。 機械学習でこんなあんなことやことできないかなーって色々考えるのですが、結構文章を解析してごにょごにょする必要があるケースが多くて、そうすると日本語をパラメータにして機械学習させることになるので、形態素解析…

TensorFlowで合格判定(データ準備編)

受験シーズンも佳境にはいってきて合格通知が届いて人もいると思います。そこで、1日目のテストを受けてその夜に本命合格がわかり、2日目を受けなかった人で、そのまま試験をしていたら合格していたのか気になる人のために合否判定ツールを作ってみたいと思…

TensorFlowで線形回帰を実装してみる

相変わらず機械学習の勉強にハマっているのですが、今はニューラルネットワークのバックプロパゲーションあたりを勉強してます。 勉強も楽しいのですが、何か実践で使えるものをやりたいなーと思って、並行してtensorflowで色々試しているところです。 線形…

TensorFlowで手書きの数字を認識するチュートリアルを試した

デブサミ2016でDataRobotのセッションをみて感激したのですが、そのときにTensorFlowのデモもちょっとだけやっていて、試したくなりました。ぼくはRubyistなのでPythonをあまり書いたことがないのですがチャンレンジしてみます。 TensorFlowをインストール …

無料SSLのLet's EncryptでNginxのSSLを設定したら衝撃的なまでに簡単過ぎて感動した

個人の趣味で作っている、夫婦のための自動ごはん予定お知らせサービス「GoHaaan」のSSL証明書がいつの間に期限切れになっていて使えなくなってた。。。 GoHaaan https://gohaaan.com/ 最近無料SSLのLet's Encryptが話題になっているので試してみました。 Le…

機械学習で、ラーメン屋のレビュー件数から評価点がどれくらいになるか予測する

データはラーメンデータベースで「渋谷」で検索した上位20件を使用した。 前回、最急降下法を実装して線形回帰のθの値を探索してみたけどうまくいかなかったという記事を書きましたが、どうやらfeature scaling(feature normalization)をして収束することに…

機械学習で、家賃をいくら出せばオートロックでバストイレ別の物件を賃貸できるか予測する

前回のエントリで線形回帰で実際に予測することまで出来たので、今回はロジスティック回帰で予測してみます。 機械学習で、ラーメン屋のレビュー件数から評価点がどれくらいになるか予測する 今回は、賃貸情報サイトのSUUMOで、「渋谷駅」で検索した中から、…

最急降下法を実装して線形回帰のθの値を探索してみたけどうまくいかなかった

前回のOctaveで散布図をプロットしてみるに続いて、今後はOctaveで最急降下法を実装して、θの値を探索してみます。 結論から言うと失敗した。どこかfeature scalingで間違っているっぽいんだけど、どう間違っているのかがわからず。改めてリベンジしたい。ひ…

Octaveで散布図をプロットしてみる

前回に引き続き機械学習のインプット中ですが、機械学習で数式ばっかりコネコネやっていると、その数式が示していてるものを可視化したくなるときがあります。目的関数がボウル型になることや、仮説関数の線形などを目で見て確認したくなってきます。 なので…