クラウドエンジニアのノート

情報技術系全般,自分用メモを公開してます。

Kaggle

Kaggle SETI 59th solution

はじめに SETIコンペについて Pipeline Augmentation Test Time Augmentation (TTA) Resizing Network 学習 モデル その他試したこと 感想 はじめに コンペ途中リークが発覚し、データセットリセットがあるなど波乱のコンペでした。 また、今回も@kambe さん…

Kaggle Coleridge 52nd solution

はじめに Coleridgeコンペについて validationの分け方 Pipeline Shorten sentence Classifier MLM Jaccard filter 試したこと 感想 第4位の解法 当時のアイディア はじめに 今回Kaggleに参加して初めてメダルを取ることができました。 Public scoreでは全然…

pytorchのモデルをスクリプトごと違うGPUで実行したいとき

はじめに 解決方法 はじめに Pytorchのnn.Moduleはto()とかcuda()でテンソルを違うGPU番号へ移すことができますが、すべてのテンソルが移ってくれるわけではありません。 nn.Moduleの実装のすべてを移さなくてはいけないのです。これはだるい。 解決方法 方…

kaggle datasets api 使い方

はじめに 初期化 追加アップロード(バージョニング) 単一ファイルの場合 フォルダ階層になっている場合 dir-mode 参考 はじめに kaggle datasets apiの使い方が少し癖あったので、備忘録 初期化 最初にフォルダを初期化してあげる必要があります。 フォル…

オンプレGPU環境でmlfowのサーバを立てる

はじめに 立て方 guiで削除したrunsを完全削除したい はじめに 機械学習モデルを複数で開発するときがあるとおもいます。 しかしデフォルトだと、各ユーザのフォルダにmlrunsフォルダが作成されており、自分で実行した分しか見られません。 そこでdocker-com…

MLFlowの使い方

はじめに MLFlowの3本の柱 MLFlow Tracking 最小サンプル 複数の実験を管理したい Experiments Runs Tags log_param argparseをまるごと記録したい log_metric x軸をtimeじゃなくてstepで記録したい log_metricの履歴のcsvが欲しい log_artifact フォルダま…