クラウドエンジニアのノート

情報技術系全般,自分用メモを公開してます。

OSS

Git で間違った Author 情報で remote repository に commit を push しちゃったとき

はじめに コミットの修正 rebase 複数ある場合 Force push 参考 はじめに git log でちゃんと確認したはずが、GitHub へ push したときに committer が間違っていることに気が付きました。 今度からは push 前にローカルで git log --pretty=full を見て確認…

GPUクラスタの使用状況をログインノードから一発で確認するシェルスクリプト

はじめに cluster-smi 使用方法 技術的な話 シンボリックリンク 並列化 なぜシェルスクリプト? はじめに うちの研究室にはGPUクラスタがありますが、各GPUノードの使用率を見るには、各GPUノードにsshしてnvidia-smiをしなければいけません。 これでは不便…

オンプレGPU環境でmlfowのサーバを立てる

はじめに 立て方 guiで削除したrunsを完全削除したい はじめに 機械学習モデルを複数で開発するときがあるとおもいます。 しかしデフォルトだと、各ユーザのフォルダにmlrunsフォルダが作成されており、自分で実行した分しか見られません。 そこでdocker-com…

MLFlowの使い方

はじめに MLFlowの3本の柱 MLFlow Tracking 最小サンプル 複数の実験を管理したい Experiments Runs Tags log_param argparseをまるごと記録したい log_metric x軸をtimeじゃなくてstepで記録したい log_metricの履歴のcsvが欲しい log_artifact フォルダま…

EfficientDetのsingle-machine model parallelを実装して、D8(D7x)を学習させる

はじめに 実装したリポジトリ 実装解説 バックボーン NMS まとめ はじめに 魚群コンペ記事の第二弾です。 tmyoda.hatenablog.com EfficientDetの良さそうなリポジトリを見つけ、このリポジトリをコンペに使おうと思いました。 github.com しかし、EfficientD…

singularityでcuda+pytorchのコンテナの作り方

はじめに 構成 使い方 実行方法 sandbox作成 shellに入る .defファイル はじめに tmyoda.hatenablog.com この記事の亜種です。 singularityは--nvを付ければホストのGPUをマウントするので、本来はホストのcudaを使いますが、harmo2とharmo5のcudaバージョン…

ubuntu18.04 noVNC dockerコンテナを公開しました

はじめに 公開したもの DockerHub GitHub はじめに tmyoda.hatenablog.com この記事のSingularityコンテナを作成するべく,参照元のdockerコンテナを作成しました. 以下の素晴らしいリポジトリを使おうと思ったのですが,あいにくubuntu18.04に対応しておら…

SingularityコンテナでOpenCV+Boostを使ったC++コードをコンパイル

はじめに コンテナ作成 作成したビルド&強化学習に必要な環境 実行方法は2つあります Singularity Libraryからpull .defファイル 注意点 はじめに 研究でC++コードをpybind11を使ってPythonから呼んで強化学習をしています. 強化学習をGPU上で回したくなっ…

Singularity + headless VNC + Pipenvを使ってサーバ上で強化学習環境を整える(gym, pybullet)

はじめに headless VNCとは headless VNCを触ってみる docker Singularity 導入 docker singularity (rootless) singularity libraryからpull (おすすめ!) ローカルPCでbuild サーバ上での作業 xfce4 パネル初期化コマンド はじめに 強化学習をしてると何か…

PFN2020インターンの課題 解答

PFN2020インターンに応募した話 PFN2020課題 もし数式が正しく表示されていなければ,ブラウザをリロードしてみてください. Q1 問題の解法説明 プログラムの正しさの検証 Q2 問題の解法説明 プログラムの正しさの検証 Q3 問題の解法説明 プログラムの正しさ…

論文のpdfをコピペしたときのいらない改行を削除する

追記 (2020/12/07) はじめに 導入方法 注意点 追記 (2020/12/07) Webで動く便利なサイト見つけました https://dream-exp.net/shaper/ はじめに 論文を翻訳にかけるとき、単純にCtrl+Cすると余計な改行がはいって非常に煩わしいですよね そこで、クリップボー…