読者です 読者をやめる 読者になる 読者になる

MATHGRAM

主に数学とプログラミング、時々趣味について。

chainerでYahoo!の占有率推定を実装してみた

こんにちは. 今回は僕も参加したYahoo! JAPAN データ&サイエンス カンファレンス 2016で取り上げられていた占有率推定を実装してみました. 前書き Yahoo! Japanは働き方改革のロールモデルとして, 頻繁にメディアに取り上げられていますね. 特に週休三日制…

chainerに復帰したくてFCN実装した

もともと, chainerユーザーだった僕ですが, 5月くらいにKerasを使い出してからchainerにはあまり触れてきませんでした. しかし先日の分散処理の発表なども含め, バージョンアップが早く, 常に速度の向上を図っているchainerにはもう1度触れておきたいと思い,…

[Keras] backend functionを使いこなそう!

みなさん, keraってますか. 今回はloss関数やlayerの実装に欠かせない, backend functionをまとめていきます. ただし自分が主に使ってる関数のみ紹介するので, 絶対Document読む方がいいですよ. これ以外にも色々ありますからね. こいつを使いこなして, どん…

[Keras] パラメータの更新をさせないfreezeに関する実験

突然ですが, 一昨日のことです. @tuntuku_sy 初めまして, こんにちは. Kerasをメインで使っているものです. ブログ拝見させていただきました. 一つ気になったのですが, そのtrainable=Falseの使い方で, dis modelをfreezeできてますでしょうか?— Kento Wata…

pixivからイラストを無限に集めてみる[python]

一個前の記事で書いたように, 初心者がchainerで線画着色してみた。わりとできた。 - Qiita を実装する際に溜まった知識のまとめ第二弾です. 今回は画像のスクレイピングについてです. 以下のサイトのコードをめちゃくちゃ参考にしています. ありがとうござ…

カラー画像から線画を作る[OpenCV & python]

最近, 初心者がchainerで線画着色してみた。わりとできた。 - Qiita をKerasで実装してサービス化してみようかと頑張ってたんですけど, ちんたらしてたらこの記事を書いてる製作者様本人がwebサービス化しちゃいました笑 正直60万の画像を一晩で20epochも回…

Keras tips: 様々な画像の前処理をカンタンにやってくれるkeras.preprocessingのまとめ

Kerasが徐々に流行って来ていると思ってたら、そんなことはなかった。 Qiitaのタグ数。(投稿日) chainer: 263, TensorFlow: 532, Keras: 41 おいおい、嘘だろ・・・。 メインで使っている僕からするととても悲しいのでもっと普及するようにtips書いて行くこ…

Kerasで任意の大きさの画像をinputする方法

tipsと言う名の覚え書き。 Variable-size image to convolutional layer 軽く調べたら、issuesに上がってた。 Variable-size image to convolutional layer · Issue #1920 · fchollet/keras · GitHub RGBの画像だったらピクセルを表す2,3個目の引数を None …

KerasでFCN(Fully Convolutional Network)を実装したよ!

久しぶりのDeepLearning関連の記事です。 最近、昔の記事を引用してくれることが増えたのですが、すごい汚いコードを参考にさせてしまって本当に申し訳ないです。もはや恥ずかしささえも感じる・・・。時間があれば昔の記事も更新していきたいです。 挨拶は…

[Keras] モデルの可視化をしよう!!

どうも、こんにちは。 めっちゃ天気いいのにPCばっかいじってます。 今回は、kerasのkeras.utils.visualize_utilの中にあるplotモジュールを使って、モデルの可視化をしてみましょう! まえがき あえて作図をしなくても、モデルの設計者は構造を理解している…

MacでkerasのGPUモードを動かしてみた!!

まえがき 前回kerasの紹介の中で予告していた、GPUモードを動かす手順について説明していきたいと思います! 見出しで嘘つくなよ!ってツッコミを受けそうですが、僕のMacが積んでるグラボじゃ余裕でメモリが足りませんでした・・・。つまり学習はできなかっ…

あれ...?chainerよりkerasの方が書きやすくね?

こんにちは。 本記事は、kerasの簡単な紹介とmnistのソースコードを軽く紹介するという記事でございます。 そこまで深い説明はしていないので、あんまり期待しないでね・・・笑 [追記:2017/02/10] kerasに関するエントリまとめました!よかったらこちらも参…

pythonで言語処理100本ノックやってみた!〜第1章 準備運動〜

お久しぶりになってしまった。 決してサボってたわけじゃない・・・ 決して・・・。 言い訳は置いといて、記事を書いていきます。 基礎力不足を感じる今日この頃 まだpythonしか扱えない僕ですが、pythonすら扱えていないと最近ひしひしと感じています。 と…

python: chainerを使って化物語キャラを認識させるよ! 〜part6 主要キャラで多値分類(GPU使ったよ編)〜

GPU。さっそく試してみました。 -- 目次 -- part0 前書き part1 画像の収集 part2 画像の縮小&水増し まずは2値分類してみる。 part3 暦orNOT暦で2値分類(モデル作成&学習編) part4 暦orNOT暦で2値分類(未知データに適用するよ編) ここから主要キャラの分類…

NVIDIA積んでたiMac(EI Capitan)にubuntu14.04ぶち込んで、chainerをGPUモードでぶん回せるようにしたよ!

こんにちは。 タイトルが荒ぶってんのは、この環境設定に10時間くらいかかったからです。まじ疲れた。 しかし、すべて自分の無知のせい・・・。いつかの時のためにメモを取っておきます。 環境 結構前に買ったiMac iMac (21.5-inch, Late 2012) バージョン…

python: chainerを使って化物語キャラを認識させるよ! 〜part5.5 主要キャラで多値分類(改良編)〜

予定にありませんでしたがpart5.5でございます。くそミスのせいでこんなことに。 どうせ5.5として書くならもう一回コードをモデルから張り直して、整理します。 -- 目次 -- part0 前書き part1 画像の収集 part2 画像の縮小&水増し まずは2値分類してみる。…

python: chainerを使って化物語キャラを認識させるよ! 〜part5 主要キャラで多値分類(未知データに適用編)〜

はい、part5でございます。 -- 目次 -- part0 前書き part1 画像の収集 part2 画像の縮小&水増し まずは2値分類してみる。 part3 暦orNOT暦で2値分類(モデル作成&学習編) part4 暦orNOT暦で2値分類(未知データに適用するよ編) ここから主要キャラの分類 par…

python: chainerを使って化物語キャラを認識させるよ! 〜part4 暦orNOT暦で2値分類(未知データに適用編)〜

part4です! -- 目次 -- part0 前書き part1 画像の収集 part2 画像の縮小&水増し まずは2値分類してみる。 part3 暦orNOT暦で2値分類(モデル作成&学習編) part4 暦orNOT暦で2値分類(未知データに適用するよ編) ここから主要キャラの分類 part5 主要キャラ…

python: chainerを使って化物語キャラを認識させるよ! 〜part3 暦orNOT暦で2値分類(モデル作成&学習編)〜

ようやくpart3でございます。 -- 目次 -- part0 前書き part1 画像の収集 part2 画像の縮小&水増し まずは2値分類してみる。 part3 暦orNOT暦で2値分類(モデル作成&学習編) part4 暦orNOT暦で2値分類(未知データに適用するよ編) ここから主要キャラの分類 p…

python: chainerを使って化物語キャラを認識させるよ! 〜part2 画像の縮小&水増し〜

はい、part2は画像の大きさ縮小と水増しでございます。 -- 目次 -- part0 前書き part1 画像の収集 part2 画像の縮小&水増し まずは2値分類してみる。 part3 暦orNOT暦で2値分類(モデル作成&学習編) part4 暦orNOT暦で2値分類(未知データに適用するよ編) こ…

python: chainerを使って化物語キャラを認識させるよ! 〜part1 画像の収集〜

前書きから二日も経ってしまいました。 -- 目次 -- part0 前書き part1 画像の収集 part2 画像の縮小&水増し まずは2値分類してみる。 part3 暦orNOT暦で2値分類(モデル作成&学習編) part4 暦orNOT暦で2値分類(未知データに適用するよ編) ここから主要キャ…

python: オンライン学習-Confidence Weighted Learning-を実装してみたよ!

前回のPassive Aggressive(以下PA)の実装は、あとから冷静に考えて良くないところが多かったなあ、と反省。以下がそのリンクです。今回作ったモジュールにPAを含んでいるので正直あんなクソ記事見なくていいです。 ket-30.hatenablog.comその反省を生かそう…

python: chainerを使って化物語キャラを認識させるよ! 〜part0 前書き〜

こんにちは。ついに囲碁も人類が負けてしまいましたね。 なんか最近、普通にテレビのニュースとかでdeep learningが取り上げられたりしてて妙な焦りを感じています。個人的には一般人に知れ渡る前にエキスパートになっていたい・・・という謎の欲があるので…

python: オンライン学習-Passive Aggressive-を実装してみた

こんにちは、また久しぶりの投稿になってしまいました。久しぶりということでtipsとかではなく、ちゃんとした記事書きます。初めて、理論の本から実装したので、まだまだ甘い部分が目立ちますが許してください。 ※3/25 追記 ket-30.hatenablog.com こっちに…

python:データ処理tips その3 クロス集計したものをヒートマップで可視化する

クロス集計とか便利すぎだろ! 初心者ゆえにクロス集計という言葉すら知らずに、いわゆるクロス集計を自前で実装していました。しかもクソおそい。馬鹿かよほんと。 この流れでヒートマップを作ればかなりいい感じに可視化をできる気がします。 まずはクロス…

python: 二次元正規分布の周辺化

”ブログを更新してない” == ”実装の練習をしてない” もっと更新しないといかんですな。今回はUdemyで配信されてる授業、"ベイズ推定とグラフィカルモデル"からの練習。 周辺化 周辺化(Marginalization)とは、 パラメータごとに積分を行い、パラメータの数を…

python:データ処理tips その2 数字で整理されたファイルを順番に読み込む。(02,03などの桁数縛り)

今回は、前回とは違った形でファイル名が整理されている時です。 具体的にはこんな感じ。 result1_01.tsv result5_01.tsv result1_02.tsv result5_02.tsv result1_03.tsv result5_03.tsvつまりは、01や03などのように桁数が2桁で固定されているような時です…

python:データ処理tips その1 数字で整理されたファイルを順番に読み込む。(辞書を使った組み合わせ)

テストあと一つだ。。。 眠いから久しぶりに記事まとめて気分転換しようってことで。 組み合わせの作り方について簡単にまとめます。たくさんデータを順番に読み込みたい時、tsvやcsvファイルが、 result1_1.csv result2_1.csv result1_2.csv result2_2.csv …

python:画像処理tips その4 フォルダ内の画像の大きさを揃える

その3をループで回しただけ。拡大縮小後の保存ファイル名は、リストから位置と拡張子を取得してformatdeぶち込んでる。これで簡単にデータセット作れそう。 # -*- coding:utf-8 -*- from PIL import Image import os images = os.listdir("path") #ディレク…

python:画像処理tips その3 画像の大きさを揃える

拡大、縮小のpythonコードは腐るほどhitするけど、意外とピクセル固定で拡大縮小をするコードは無いような気がした。PILを使ってこんな感じで出来るらしい。メモしとこう。 # -*- coding:utf-8 -*- from PIL import Image hoge = Image.open("image.jpg").re…

python:画像処理tips その1 画像を回転させる

tipsなんでめっちゃ短く書きます。つまりは自分用メモ。 画像を回転させたい時は、PILを使いましょう。こんな感じで。 # -*- coding: utf-8 -*- from PIL import Image if __name__ == '__main__': img_num = 0 # 画像読み込み tmp = Image.open( 'img_{}.jp…