ゆるく働き ゆるく生きる ゆるいだれかの日記

menu

ゆるりの足あと


ColaboratoryでDoc2Vecのモデルを作ってみる!

Google Colaboratoryでは無料GPUが使えます。(最近ではTPUも追加されました)

これを利用し、Doc2Vecのモデルを作って遊んでみたいと思います!

Doc2Vecのモデルを作成します!

今回はTPUではなく、GPUでやってみることにします。

まず、「ランタイム⇒ランタイムのタイプの変更」からGPUを選択します。

次に、必要なライブラリ(gensim)をインストール。

そして、WikiCorpusを作成。

タグ付け。

学習開始。

Google Driveに空きがあれば、ローカルに保存するより、以下のようにDriveに保存した方が手っ取り早いです。

以上でモデル作成完了です。

ColaboratoryでDoc2Vecのモデルを作る場合、 vector_sizeを大きくしすぎると割り当てられているメモリをオーバーして途中で進まなくなるので、注意が必要です。

あと、12時間制限という厄介なものがあるので、epoch数増やしすぎると12時間で完了しないかも。

モデルで遊んでみる

糖尿病から高血糖を除いて肝障害を加えると肥満になるそうです。ほんと?

公認会計士というワードに一番近いのは税理士らしい。うなずける結果です。
中小企業診断士や弁理士が上位に入っているのも中々です。

Doc2Vecによれば、トランプ大統領の文章に一番近いのはブッシュ大統領らしい。

なかなか楽しい。

今度はジャンルに特化したモデルを作ってみたい。

Colaboratoryの12時間制限について

Colaboratoryは無料で使えるかわりに、使用に制限があります。

あるJupyterノートブックを起動して12時間経過すると、そのノートブックに関するすべてのインスタンスを強制的にリセットされます。

そのため、12時間制限にひっかかると、コードと実行結果の情報のみが残り、他は全て消えます。つまり、一旦ファイルとして保存したものも全て消え、コード実行前の状態に戻ります。

制限に引っかかるか気になる時は、残存時間を確認した方がいいです。

参考:残存時間を確認する方法について

以上、 ColaboratoryでDoc2Vecのモデルを作ってみる! でした!

もし、ご不明な点があればコメント頂ければできる限り対応したいと思います!(難しい問題には答えられないかもしれません。ご容赦ください。)

難しい問題の場合は、こちらで質問されることをオススメします。

最後までお付き合い頂き、ありがとうございました!

少しはお役に立てましたか?

役に立つかも?と思われた方はぜひシェアを!

関連記事

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

過去に作成したサイト集