情報系院生のノート

情報技術系全般,自分用メモを公開してます。

Kaggle

pytorchのモデルをスクリプトごと違うGPUで実行したいとき

はじめに 解決方法 はじめに Pytorchのnn.Moduleはto()とかcuda()でテンソルを違うGPU番号へ移すことができますが、すべてのテンソルが移ってくれるわけではありません。 nn.Moduleの実装のすべてを移さなくてはいけないのです。これはだるい。 解決方法 方…

kaggle datasets api 使い方

はじめに 初期化 追加アップロード(バージョニング) 単一ファイルの場合 フォルダ階層になっている場合 dir-mode 参考 はじめに kaggle datasets apiの使い方が少し癖あったので、備忘録 初期化 最初にフォルダを初期化してあげる必要があります。 フォル…

オンプレGPU環境でmlfowのサーバを立てる

はじめに 立て方 guiで削除したrunsを完全削除したい はじめに 機械学習モデルを複数で開発するときがあるとおもいます。 しかしデフォルトだと、各ユーザのフォルダにmlrunsフォルダが作成されており、自分で実行した分しか見られません。 そこでdocker-com…

MLFlowの使い方

はじめに MLFlowの3本の柱 MLFlow Tracking 最小サンプル 複数の実験を管理したい Experiments Runs Tags log_param argparseをまるごと記録したい log_metric x軸をtimeじゃなくてstepで記録したい log_metricの履歴のcsvが欲しい log_artifact フォルダま…