困ったことや質問があれば
\ndiscussionにトピックを立てるかこのスレッドに書き込んでください🙇♂
まずは
\nhttps://speakerdeck.com/inoichan/di-4hui-quan-guo-yi-liao-aikontesuto-kagglekaraxue-ndayi-liao-hua-xiang-detajie-xi-falsequ-rizu-mifang を読んで取り組み方を見てみてください
運営より連絡もあったため、ルールに従い解法を共有させてもらいます。
\nとはいうものの、基本的にはbaseline notebookのCFGとして利用するyaml内のパラメータを変更したのみです。基本的にbatch sizeを16、32、64で試し、out of memoryとならないなら次にpatchを増やす、という程度の微調整をしたのみです。
\nVersionの保存がいくつかうまくいっていないこともあり、試したことの順序も正確ではないですが、
\n1 モデルをefficientvit_b0.r224_in1k、10 epochで学習
\n2 学習が収束していなさそうであるため25 epochに増加
\n3 CoAtNetに変更しようとしたが、途中でエラーが出てしまい(学習ループを回そうとするとModel_iafossの処理経過でエラー？)、エラーの原因を検討する時間がなく断念。
\n4 EfficientNetV2_S 30 epochsで学習。訓練ループ完了までに時間がかかったわりに過学習で性能の向上なく、他のモデルを試す時間を消費する。
\n5 resnext50_32x4d.a1_in1kを12epoch学習。
\n6 Maxxvit2_nano_rw_256.sw_in1kを試したが、lr 0.001では学習が安定しなかった上に、時間内に実行完了してsubmitできず、かつ保存もエラーとなりlate submitも実現できず。
上記の試行の結果、efficientvit_b0.r224_in1k、batch size 64、N patch 12、25epochsが試行した中では最も成績がよい結果となりました。
\n蛇足かもしれませんが、あまりたくさんのことを試せなかった理由としては以下のようなものがあげられるかなと感じました。今後の病理学会でのコンペ開催時の運営の参考にもなるかもしれませんので、あまり需要はないかもしれませんが共有しておきます。
\n・kaggleの使い方に慣れていなかった。(開催2日ほど前から予習をしていきましたが、コード内容の把握にも時間を要し、理解をあきらめてサンプルコードをとりあえず走らせる段階でもacceleratorの選択ができないことやhydraのインストールができないなど事前に全コードの実行さえもできず、結局当日のセミナーまで解決できなかった。その後も、notebookのsave run allでうまく保存できなかったため、sessionのtime outにより効率より試行を重ねられなかった)
\n・試行回数を増やすためにAnaconda環境でも並行して演算を実行したかったが、hydraのインストールに時間を要するなどして、並行した試行を重ねられなかった。最終的にはCFG = CFG().get_cnf()のセルの実行でもエラーが出てしまい、解決もできない状態から今も抜け出せていない。
雑多な文となってしまいましたが、ひとまず試したこととして共有させていただきます。
\nもう少し追加の状況も共有してほしいなどあれば、ご指摘いただければ追加で説明させていただきます。
詳細な解法を共有いただきありがとうございます！
\nhttps://www.kaggle.com/code/abebe9849/baseline-for-pathology-ai-competetion maxvitはlrの調整に敏感なので勾配clipや低いlrなどで抑えめに学習するのが良さそうです。
\nメモリ乗らない問題はgradient checkpointを使用すると解決すると思います。
", "rawMarkdown": "詳細な解法を共有いただきありがとうございます！\n\nhttps://www.kaggle.com/code/abebe9849/baseline-for-pathology-ai-competetion maxvitはlrの調整に敏感なので勾配clipや低いlrなどで抑えめに学習するのが良さそうです。\n\nメモリ乗らない問題はgradient checkpointを使用すると解決すると思います。\n", "votes": 1 }, { "id": 2738292, "postDate": "2024-04-06T08:49:46.687Z", "content": "https://www.kaggle.com/code/abebe9849/baseline-for-pathology-ai-competetion
\nこのノートブックのハイパーパラメータでscore 0.9403になった、ということでしょうか？
\nこちらがコンペでの運営がサンプルの投稿で達成していたscoreでしょうか？
yamlの内部にも一部わからないものがあるのですが、例えば
\ntrain:\n amp: true\n amp_inf: false\n without_hesitate: \n ga_accum: \nなどは、それぞれ何を設定したものなのでしょうか？
\n(class Model_iafossあたりを解読すれば理解できるのかもしれませんが、コードの解読にもまだかなりの労力を要するレベルですので、教えていただけるとありがたいです。)
score 0.9403はlocalのA6000で同じモデルでN patchを36にふやして学習させたものです。
\namp/amp_inf:https://pytorch.org/docs/stable/amp.html を使うかどうか
\nwithout_hesitate:mixupなど強めのaugmentationをつかうときにラスト数epochでmixupを外す(今回は使用せず)
\nga_accm:https://note.com/npaka/n/n04c493394e07 をつかうか
\nを設定しています
先ほどの投稿とは別件の相談となり、連投で申し訳ありません。
\n別件の相談のため、先ほどのコメントに対してのreplyでの追記ではなく、新たなコメントの投稿とさせていただきます。
今回の”baseline notebook for pathology AI competition”のコードについての確認です。
\n最後からひとつ前のセルに
`## 推論にはあらかじめ10epoch学習した重みを使います cv score: 0.8891887121979621
\ntest = pd.read_csv(\"/kaggle/input/aipathology202403/sample_submission.csv\")
\nCFG.model.name = \"tf_efficientnet_b0_ns\" #resnet34dと同じくらいの軽さ よくベースラインに用いられる
\ntest = submit(CFG,test,DIR=\"/kaggle/input/aipathologycotestexp000\")
test.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`
\nとのコードがありますが、これはtrain_fnで学習した各自のパラメータを利用せず、モデレーターの先生方が事前にsampleとして得ているパラメータを読み込み、CFGのmodel.nameをtf_efficientnet_b0_nsに変更の上、submit関数に入力している、というコードで理解は正しそうでしょうか？
\n今回のcompetitionの目的通り、それぞれが設定したハイパーパラメータを用いて、train_fnで学習したそれぞれのパラメータで、yamlで設定したmodel.name(初期設定としてはresnet34d)を読み込ませようとするなら、
`test = pd.read_csv(\"#それぞれのnotebookのOutput内のpath\")
\nCFG.model.name = \"tf_efficientnet_b0_ns\" ←このコードをコメントアウト
\ntest = submit(CFG,test,DIR=\"#それぞれのnotebookのOutput内のpath\")
test.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`
\nなどと修正した方がよいのでしょうか？
", "rawMarkdown": "先ほどの投稿とは別件の相談となり、連投で申し訳ありません。\n別件の相談のため、先ほどのコメントに対してのreplyでの追記ではなく、新たなコメントの投稿とさせていただきます。\n\n今回の”baseline notebook for pathology AI competition”のコードについての確認です。\n最後からひとつ前のセルに\n\n`## 推論にはあらかじめ10epoch学習した重みを使います cv score: 0.8891887121979621\ntest = pd.read_csv(\"/kaggle/input/aipathology202403/sample_submission.csv\")\nCFG.model.name = \"tf_efficientnet_b0_ns\" #resnet34dと同じくらいの軽さ よくベースラインに用いられる\ntest = submit(CFG,test,DIR=\"/kaggle/input/aipathologycotestexp000\")\n\ntest.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`\n\nとのコードがありますが、これはtrain_fnで学習した各自のパラメータを利用せず、モデレーターの先生方が事前にsampleとして得ているパラメータを読み込み、CFGのmodel.nameをtf_efficientnet_b0_nsに変更の上、submit関数に入力している、というコードで理解は正しそうでしょうか？\n今回のcompetitionの目的通り、それぞれが設定したハイパーパラメータを用いて、train_fnで学習したそれぞれのパラメータで、yamlで設定したmodel.name(初期設定としてはresnet34d)を読み込ませようとするなら、\n\n`test = pd.read_csv(\"#それぞれのnotebookのOutput内のpath\")\nCFG.model.name = \"tf_efficientnet_b0_ns\" ←このコードをコメントアウト\ntest = submit(CFG,test,DIR=\"#それぞれのnotebookのOutput内のpath\")\n\ntest.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`\n\nなどと修正した方がよいのでしょうか？", "votes": 1, "replies": [ { "id": 2721562, "postDate": "2024-03-29T05:04:46.840Z", "content": "sample notebookで1epoch学習したのはrestent34d,10epoch事前に学習しておいたのはtf_efficientnet_b0_nsでモデルが異なります。notebook中で学習したモデルを使うばあいはご指摘のとおりです。
\n\ntest = submit(CFG,test,DIR=) \nありがとうございます。
\n現在submitしている3人が同じ精度になってしまっているのも、その影響がありそうでしょうか？
また、yaml_strでfold数を変えていたのですが、fold.csvを作成する際にCFG.general.num_foldsを参照していなさそうなので、現状のコードでyaml_strのgeneralのnum_foldsを変更しても、fold数は変化しない、という理解であってそうでしょうか？
", "rawMarkdown": "ありがとうございます。\n現在submitしている3人が同じ精度になってしまっているのも、その影響がありそうでしょうか？\n\nまた、yaml_strでfold数を変えていたのですが、fold.csvを作成する際にCFG.general.num_foldsを参照していなさそうなので、現状のコードでyaml_strのgeneralのnum_foldsを変更しても、fold数は変化しない、という理解であってそうでしょうか？", "votes": 1 }, { "id": 2722152, "postDate": "2024-03-29T12:31:36.317Z", "content": "num_foldsはおっしゃるとおりです。増やすと時間がかかりる割にさほど性能が上がらないだろうと考えて固定にしています。データ量や評価指標によってはfoldをふやすのが非常にworkすることがあります。(nlpコンペなど)
\n0.9058は事前に学習したtf_efficientnet_b0_nsで推論しているためおなじになっています。
", "rawMarkdown": "num_foldsはおっしゃるとおりです。増やすと時間がかかりる割にさほど性能が上がらないだろうと考えて固定にしています。データ量や評価指標によってはfoldをふやすのが非常にworkすることがあります。(nlpコンペなど)\n\n\n0.9058は事前に学習したtf_efficientnet_b0_nsで推論しているためおなじになっています。" }, { "id": 2723066, "postDate": "2024-03-30T00:21:57.767Z", "content": "長時間の学習になるときに離席し、学習結果が保存されていないことがしばしばありローカルの環境で実装したいのですが、Anaconda環境で
\nCFG = CFG().get_cnf()\nfolds = pd.read_csv()\n\npreds = []\nvalid_labels = []\noof = pd.DataFrame()\n\ntest_pl = \n\n\n\n fold ():\n seed_torch(seed=CFG.general.seed)\n _preds, _valid_labels,_oof_val = train_fn(CFG,fold,folds,test_pl)\n preds.append(_preds)\n valid_labels.append(_valid_labels)\n oof = pd.concat([oof,_oof_val])\npreds = np.concatenate(preds)\nvalid_labels = np.concatenate(valid_labels)\n\n()\nAUC_score = roc_auc_score(valid_labels, preds,multi_class=)\n()\n\noof.to_csv(,index=)\nを実行すると、以下の出力が出たまま止まってしまいます。
\n\n(, ) (, )\nC:\\Users\\lib\\site-packages\\albumentations\\augmentations\\transforms.py:: FutureWarning: JpegCompression has been deprecated. Please use ImageCompression\n warnings.warn(\nC:\\Users\\lib\\site-packages\\albumentations\\augmentations\\transforms.py:: UserWarning: Using default interpolation INTER_NEAREST, which sub-optimal.Please specify interpolation mode downscale upscale explicitly.For additional information see this PR https://github.com/albumentations-team/albumentations/pull/\n warnings.warn(\nCrossEntropyLoss()\n対策をご存じだったりしませんか？
", "rawMarkdown": "長時間の学習になるときに離席し、学習結果が保存されていないことがしばしばありローカルの環境で実装したいのですが、Anaconda環境で\n\n```python\nCFG = CFG().get_cnf()\nfolds = pd.read_csv(\"fold.csv\")\n\npreds = []\nvalid_labels = []\noof = pd.DataFrame()\n\ntest_pl = 0\n\n\n\nfor fold in range(4):\n seed_torch(seed=CFG.general.seed)\n _preds, _valid_labels,_oof_val = train_fn(CFG,fold,folds,test_pl)\n preds.append(_preds)\n valid_labels.append(_valid_labels)\n oof = pd.concat([oof,_oof_val])\npreds = np.concatenate(preds)\nvalid_labels = np.concatenate(valid_labels)\n\nprint(f\"OOF:このスコアと提出したスコアをいくつかみて正の相関があるのか確認→実験が多くなってきたら OOF-AUCが上昇した実験のみsubmissionしてみる？ \")\nAUC_score = roc_auc_score(valid_labels, preds,multi_class=\"ovr\")\nprint(f\"AUC_score {AUC_score}\")\n\noof.to_csv(f\"oof_{CFG.general.exp_num}.csv\",index=False)\n```\n\nを実行すると、以下の出力が出たまま止まってしまいます。\n\n```python\n### fold: 0 ###\n(586, 5) (1758, 5)\nC:\\Users\\lib\\site-packages\\albumentations\\augmentations\\transforms.py:311: FutureWarning: JpegCompression has been deprecated. Please use ImageCompression\n warnings.warn(\nC:\\Users\\lib\\site-packages\\albumentations\\augmentations\\transforms.py:1692: UserWarning: Using default interpolation INTER_NEAREST, which is sub-optimal.Please specify interpolation mode for downscale and upscale explicitly.For additional information see this PR https://github.com/albumentations-team/albumentations/pull/584\n warnings.warn(\nCrossEntropyLoss()\n```\n\n対策をご存じだったりしませんか？" }, { "id": 2723075, "postDate": "2024-03-30T00:33:35.550Z", "content": "＞長時間の学習になるときに離席
\n右上save version →中ほどsave run all(commit)→下のsave でnotebbok実行して結果を保存できます
\n\n止まってしまいます
\n
\n どこで止まっているか不明なので
avg_loss = .#ここ\n\n\n tk0 = ((train_loader), total=(train_loader))\n\n , (images, labels) tk0:\n optimizer()\n\n #GPUにデータを移し替え\n images = images(device)#ここ\nあたりでprintデバックをしていただけますか？
", "rawMarkdown": "＞長時間の学習になるときに離席\n右上save version →中ほどsave run all(commit)→下のsave でnotebbok実行して結果を保存できます\n\n>止まってしまいます\nどこで止まっているか不明なので \n\n```\n avg_loss = 0.#ここ\n\n\n tk0 = tqdm(enumerate(train_loader), total=len(train_loader))\n\n for i, (images, labels) in tk0:\n optimizer.zero_grad()\n \n #GPUにデータを移し替え\n images = images.to(device)#ここ\n```\nあたりでprintデバックをしていただけますか？\n" }, { "id": 2723149, "postDate": "2024-03-30T01:41:38.340Z", "content": "初歩的な質問ばかりで申し訳ありません。ご対応いただきありがとうございます。
\n今まで独学で分かってなかった部分の確認にもなっており、非常に助かっております。
save run all(commit)もやってみていたのですが、最終的に画面左下の時計マーク？で表示される進捗でfailureとなっており、保存できていなかったことがあったので、以降実施していませんでした。
\nsave run all(commit)を実行した場合、保存された結果はどこに表示されるのでしょうか？outputのところにsession再開時にも残ったままとなるのでしょうか？
\n\nあたりでprintデバックをしていただけますか？
\n
\n ”printデバック”の方法自体がわかりません…。
\n 一応調べて出てきたqiitaに
IPython.core.debugger Pdb; Pdb().set_trace()\nというコードを見つけましたが、これで合っていますでしょうか…？
", "rawMarkdown": "初歩的な質問ばかりで申し訳ありません。ご対応いただきありがとうございます。\n今まで独学で分かってなかった部分の確認にもなっており、非常に助かっております。\n\nsave run all(commit)もやってみていたのですが、最終的に画面左下の時計マーク？で表示される進捗でfailureとなっており、保存できていなかったことがあったので、以降実施していませんでした。\nsave run all(commit)を実行した場合、保存された結果はどこに表示されるのでしょうか？outputのところにsession再開時にも残ったままとなるのでしょうか？\n\n>あたりでprintデバックをしていただけますか？\n”printデバック”の方法自体がわかりません…。\n一応調べて出てきたqiitaに\n\n```python\nfrom IPython.core.debugger import Pdb; Pdb().set_trace()\n```\nというコードを見つけましたが、これで合っていますでしょうか…？", "votes": 1 }, { "id": 2723177, "postDate": "2024-03-30T02:36:30.640Z", "content": "Commitして実行が完了すればnotebookのバージョンが更新されてv2のoutputに実行結果が保存されます。
\n失敗した場合はnotebookのlogを見てどんなエラーがあるのか確認します。
\nprintデバックはprint(“あああ”)のようなものを適当な部分に入れたり変数のtypeなど中身を実際にprintしたりすることです。
\nhttps://github.com/ashleve/lightning-hydra-template config管理はこれなどがテンプレートとして使いやすく人気です。
", "rawMarkdown": "Commitして実行が完了すればnotebookのバージョンが更新されてv2のoutputに実行結果が保存されます。\n\n失敗した場合はnotebookのlogを見てどんなエラーがあるのか確認します。\n\nprintデバックはprint(“あああ”)のようなものを適当な部分に入れたり変数のtypeなど中身を実際にprintしたりすることです。\n\nhttps://github.com/ashleve/lightning-hydra-template config管理はこれなどがテンプレートとして使いやすく人気です。" } ] } ] }, { "id": 2721352, "postDate": "2024-03-29T01:05:06.497Z", "content": "名古屋大学医学系研究科 血液・腫瘍内科 江口です。
\n昨日は皆さまありがとうございました。
昨日帰宅してから、エポック数を50ほどにしてみたところ、2foldほどでタイムアウト(無操作で1時間？)してしまったようです。
\n10epochs程度からoverfitting気味だと思われるため、lrの調整などなしにそこまでepochsを増やさなくてもよさそうですが、今後モデル改善のために学習時間を長くしたい場合、ノートブックのタイムアウト対策でできることはありますでしょうか？
タイムアウト対策には、1epoch学習で挙動を確認→sessionをkill()→右上save version →中ほどsave run all(commit)→下のsave でnotebbok実行して結果を保存できます。
", "rawMarkdown": "タイムアウト対策には、1epoch学習で挙動を確認→sessionをkill()→右上save version →中ほどsave run all(commit)→下のsave でnotebbok実行して結果を保存できます。", "votes": 1, "replies": [ { "id": 2721557, "postDate": "2024-03-29T05:00:26.820Z", "content": "augmentationを強めると収束するまでにかかるepoch数が増えるはずです。
\nまた、maxxvitv2_nano_rw_256.sw_in1k(lr=0.0005 batch_size: 4)などに変更すれば学習時間が伸びるかわりに性能があがるかもしれません。
\nN_patchをふやすのも良さそうです。
=====川井先生の実験=====
\nCLAM-SM/MB(-like), SimCLRの結果
\nCLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。
\nCLAM-SB: 0.8423/0.7973
\nCLAM-MB: 0.812/0.7672
\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。
Unlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。
\n", "rawMarkdown": "=====川井先生の実験=====\n\nCLAM-SM/MB(-like), SimCLRの結果\n\nCLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。\nCLAM-SB: 0.8423/0.7973\nCLAM-MB: 0.812/0.7672\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。\n\nUnlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。\n\nhttps://storage.googleapis.com/kaggle-forum-message-attachments/2645968/20286/baseline-for-pathology-ai-competetion_0206_multiLR_CLAM-SB%20(1).ipynb ", "votes": 1 }, { "id": 2642752, "postDate": "2024-02-08T11:41:03.257Z", "content": "困ったことや質問があれば
\ndiscussionにトピックを立てるかこのスレッドに書き込んでください🙇♂
まずは
\nhttps://speakerdeck.com/inoichan/di-4hui-quan-guo-yi-liao-aikontesuto-kagglekaraxue-ndayi-liao-hua-xiang-detajie-xi-falsequ-rizu-mifang を読んで取り組み方を見てみてください
運営より連絡もあったため、ルールに従い解法を共有させてもらいます。
\nとはいうものの、基本的にはbaseline notebookのCFGとして利用するyaml内のパラメータを変更したのみです。基本的にbatch sizeを16、32、64で試し、out of memoryとならないなら次にpatchを増やす、という程度の微調整をしたのみです。
\nVersionの保存がいくつかうまくいっていないこともあり、試したことの順序も正確ではないですが、
\n1 モデルをefficientvit_b0.r224_in1k、10 epochで学習
\n2 学習が収束していなさそうであるため25 epochに増加
\n3 CoAtNetに変更しようとしたが、途中でエラーが出てしまい(学習ループを回そうとするとModel_iafossの処理経過でエラー？)、エラーの原因を検討する時間がなく断念。
\n4 EfficientNetV2_S 30 epochsで学習。訓練ループ完了までに時間がかかったわりに過学習で性能の向上なく、他のモデルを試す時間を消費する。
\n5 resnext50_32x4d.a1_in1kを12epoch学習。
\n6 Maxxvit2_nano_rw_256.sw_in1kを試したが、lr 0.001では学習が安定しなかった上に、時間内に実行完了してsubmitできず、かつ保存もエラーとなりlate submitも実現できず。
上記の試行の結果、efficientvit_b0.r224_in1k、batch size 64、N patch 12、25epochsが試行した中では最も成績がよい結果となりました。
\n蛇足かもしれませんが、あまりたくさんのことを試せなかった理由としては以下のようなものがあげられるかなと感じました。今後の病理学会でのコンペ開催時の運営の参考にもなるかもしれませんので、あまり需要はないかもしれませんが共有しておきます。
\n・kaggleの使い方に慣れていなかった。(開催2日ほど前から予習をしていきましたが、コード内容の把握にも時間を要し、理解をあきらめてサンプルコードをとりあえず走らせる段階でもacceleratorの選択ができないことやhydraのインストールができないなど事前に全コードの実行さえもできず、結局当日のセミナーまで解決できなかった。その後も、notebookのsave run allでうまく保存できなかったため、sessionのtime outにより効率より試行を重ねられなかった)
\n・試行回数を増やすためにAnaconda環境でも並行して演算を実行したかったが、hydraのインストールに時間を要するなどして、並行した試行を重ねられなかった。最終的にはCFG = CFG().get_cnf()のセルの実行でもエラーが出てしまい、解決もできない状態から今も抜け出せていない。
雑多な文となってしまいましたが、ひとまず試したこととして共有させていただきます。
\nもう少し追加の状況も共有してほしいなどあれば、ご指摘いただければ追加で説明させていただきます。
詳細な解法を共有いただきありがとうございます！
\nhttps://www.kaggle.com/code/abebe9849/baseline-for-pathology-ai-competetion maxvitはlrの調整に敏感なので勾配clipや低いlrなどで抑えめに学習するのが良さそうです。
\nメモリ乗らない問題はgradient checkpointを使用すると解決すると思います。
", "votes": 1, "replies": [] }, { "id": 2738292, "author_name": "Motoki Eguchi", "author_url": "", "post_date": "2024-04-06T08:49:46.687000", "content": "https://www.kaggle.com/code/abebe9849/baseline-for-pathology-ai-competetion
\nこのノートブックのハイパーパラメータでscore 0.9403になった、ということでしょうか？
\nこちらがコンペでの運営がサンプルの投稿で達成していたscoreでしょうか？
yamlの内部にも一部わからないものがあるのですが、例えば
\ntrain:\n amp: true\n amp_inf: false\n without_hesitate: \n ga_accum: \nなどは、それぞれ何を設定したものなのでしょうか？
\n(class Model_iafossあたりを解読すれば理解できるのかもしれませんが、コードの解読にもまだかなりの労力を要するレベルですので、教えていただけるとありがたいです。)
score 0.9403はlocalのA6000で同じモデルでN patchを36にふやして学習させたものです。
\namp/amp_inf:https://pytorch.org/docs/stable/amp.html を使うかどうか
\nwithout_hesitate:mixupなど強めのaugmentationをつかうときにラスト数epochでmixupを外す(今回は使用せず)
\nga_accm:https://note.com/npaka/n/n04c493394e07 をつかうか
\nを設定しています
先ほどの投稿とは別件の相談となり、連投で申し訳ありません。
\n別件の相談のため、先ほどのコメントに対してのreplyでの追記ではなく、新たなコメントの投稿とさせていただきます。
今回の”baseline notebook for pathology AI competition”のコードについての確認です。
\n最後からひとつ前のセルに
`## 推論にはあらかじめ10epoch学習した重みを使います cv score: 0.8891887121979621
\ntest = pd.read_csv(\"/kaggle/input/aipathology202403/sample_submission.csv\")
\nCFG.model.name = \"tf_efficientnet_b0_ns\" #resnet34dと同じくらいの軽さ よくベースラインに用いられる
\ntest = submit(CFG,test,DIR=\"/kaggle/input/aipathologycotestexp000\")
test.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`
\nとのコードがありますが、これはtrain_fnで学習した各自のパラメータを利用せず、モデレーターの先生方が事前にsampleとして得ているパラメータを読み込み、CFGのmodel.nameをtf_efficientnet_b0_nsに変更の上、submit関数に入力している、というコードで理解は正しそうでしょうか？
\n今回のcompetitionの目的通り、それぞれが設定したハイパーパラメータを用いて、train_fnで学習したそれぞれのパラメータで、yamlで設定したmodel.name(初期設定としてはresnet34d)を読み込ませようとするなら、
`test = pd.read_csv(\"#それぞれのnotebookのOutput内のpath\")
\nCFG.model.name = \"tf_efficientnet_b0_ns\" ←このコードをコメントアウト
\ntest = submit(CFG,test,DIR=\"#それぞれのnotebookのOutput内のpath\")
test.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`
\nなどと修正した方がよいのでしょうか？
", "votes": 1, "replies": [ { "id": 2721562, "author_name": "patriot", "author_url": "", "post_date": "2024-03-29T05:04:46.840000", "content": "sample notebookで1epoch学習したのはrestent34d,10epoch事前に学習しておいたのはtf_efficientnet_b0_nsでモデルが異なります。notebook中で学習したモデルを使うばあいはご指摘のとおりです。
\n\ntest = submit(CFG,test,DIR=) \nありがとうございます。
\n現在submitしている3人が同じ精度になってしまっているのも、その影響がありそうでしょうか？
また、yaml_strでfold数を変えていたのですが、fold.csvを作成する際にCFG.general.num_foldsを参照していなさそうなので、現状のコードでyaml_strのgeneralのnum_foldsを変更しても、fold数は変化しない、という理解であってそうでしょうか？
", "votes": 1, "replies": [] }, { "id": 2722152, "author_name": "patriot", "author_url": "", "post_date": "2024-03-29T12:31:36.317000", "content": "num_foldsはおっしゃるとおりです。増やすと時間がかかりる割にさほど性能が上がらないだろうと考えて固定にしています。データ量や評価指標によってはfoldをふやすのが非常にworkすることがあります。(nlpコンペなど)
\n0.9058は事前に学習したtf_efficientnet_b0_nsで推論しているためおなじになっています。
", "votes": 0, "replies": [] }, { "id": 2723066, "author_name": "Motoki Eguchi", "author_url": "", "post_date": "2024-03-30T00:21:57.767000", "content": "長時間の学習になるときに離席し、学習結果が保存されていないことがしばしばありローカルの環境で実装したいのですが、Anaconda環境で
\nCFG = CFG().get_cnf()\nfolds = pd.read_csv()\n\npreds = []\nvalid_labels = []\noof = pd.DataFrame()\n\ntest_pl = \n\n\n\n fold ():\n seed_torch(seed=CFG.general.seed)\n _preds, _valid_labels,_oof_val = train_fn(CFG,fold,folds,test_pl)\n preds.append(_preds)\n valid_labels.append(_valid_labels)\n oof = pd.concat([oof,_oof_val])\npreds = np.concatenate(preds)\nvalid_labels = np.concatenate(valid_labels)\n\n()\nAUC_score = roc_auc_score(valid_labels, preds,multi_class=)\n()\n\noof.to_csv(,index=)\nを実行すると、以下の出力が出たまま止まってしまいます。
\n\n(, ) (, )\nC:\\Users\\lib\\site-packages\\albumentations\\augmentations\\transforms.py:: FutureWarning: JpegCompression has been deprecated. Please use ImageCompression\n warnings.warn(\nC:\\Users\\lib\\site-packages\\albumentations\\augmentations\\transforms.py:: UserWarning: Using default interpolation INTER_NEAREST, which sub-optimal.Please specify interpolation mode downscale upscale explicitly.For additional information see this PR https://github.com/albumentations-team/albumentations/pull/\n warnings.warn(\nCrossEntropyLoss()\n対策をご存じだったりしませんか？
", "votes": 0, "replies": [] }, { "id": 2723075, "author_name": "patriot", "author_url": "", "post_date": "2024-03-30T00:33:35.550000", "content": "＞長時間の学習になるときに離席
\n右上save version →中ほどsave run all(commit)→下のsave でnotebbok実行して結果を保存できます
\n\n止まってしまいます
\n
\n どこで止まっているか不明なので
avg_loss = .#ここ\n\n\n tk0 = ((train_loader), total=(train_loader))\n\n , (images, labels) tk0:\n optimizer()\n\n #GPUにデータを移し替え\n images = images(device)#ここ\nあたりでprintデバックをしていただけますか？
", "votes": 0, "replies": [] }, { "id": 2723149, "author_name": "Motoki Eguchi", "author_url": "", "post_date": "2024-03-30T01:41:38.340000", "content": "初歩的な質問ばかりで申し訳ありません。ご対応いただきありがとうございます。
\n今まで独学で分かってなかった部分の確認にもなっており、非常に助かっております。
save run all(commit)もやってみていたのですが、最終的に画面左下の時計マーク？で表示される進捗でfailureとなっており、保存できていなかったことがあったので、以降実施していませんでした。
\nsave run all(commit)を実行した場合、保存された結果はどこに表示されるのでしょうか？outputのところにsession再開時にも残ったままとなるのでしょうか？
\n\nあたりでprintデバックをしていただけますか？
\n
\n ”printデバック”の方法自体がわかりません…。
\n 一応調べて出てきたqiitaに
IPython.core.debugger Pdb; Pdb().set_trace()\nというコードを見つけましたが、これで合っていますでしょうか…？
", "votes": 1, "replies": [] }, { "id": 2723177, "author_name": "patriot", "author_url": "", "post_date": "2024-03-30T02:36:30.640000", "content": "Commitして実行が完了すればnotebookのバージョンが更新されてv2のoutputに実行結果が保存されます。
\n失敗した場合はnotebookのlogを見てどんなエラーがあるのか確認します。
\nprintデバックはprint(“あああ”)のようなものを適当な部分に入れたり変数のtypeなど中身を実際にprintしたりすることです。
\nhttps://github.com/ashleve/lightning-hydra-template config管理はこれなどがテンプレートとして使いやすく人気です。
", "votes": 0, "replies": [] } ] } ] }, { "id": 2721352, "author_name": "Motoki Eguchi", "author_url": "", "post_date": "2024-03-29T01:05:06.497000", "content": "名古屋大学医学系研究科 血液・腫瘍内科 江口です。
\n昨日は皆さまありがとうございました。
昨日帰宅してから、エポック数を50ほどにしてみたところ、2foldほどでタイムアウト(無操作で1時間？)してしまったようです。
\n10epochs程度からoverfitting気味だと思われるため、lrの調整などなしにそこまでepochsを増やさなくてもよさそうですが、今後モデル改善のために学習時間を長くしたい場合、ノートブックのタイムアウト対策でできることはありますでしょうか？
タイムアウト対策には、1epoch学習で挙動を確認→sessionをkill()→右上save version →中ほどsave run all(commit)→下のsave でnotebbok実行して結果を保存できます。
", "votes": 1, "replies": [ { "id": 2721557, "author_name": "patriot", "author_url": "", "post_date": "2024-03-29T05:00:26.820000", "content": "augmentationを強めると収束するまでにかかるepoch数が増えるはずです。
\nまた、maxxvitv2_nano_rw_256.sw_in1k(lr=0.0005 batch_size: 4)などに変更すれば学習時間が伸びるかわりに性能があがるかもしれません。
\nN_patchをふやすのも良さそうです。
=====川井先生の実験=====
\nCLAM-SM/MB(-like), SimCLRの結果
\nCLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。
\nCLAM-SB: 0.8423/0.7973
\nCLAM-MB: 0.812/0.7672
\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。
Unlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。
\n", "votes": 1, "replies": [] }, { "id": 2723071, "author_name": "", "author_url": "", "post_date": "2024-03-30T00:25:04.190000", "content": "", "votes": 0, "replies": [] } ], "raw_markdown_by_id": { "2735133": "運営より連絡もあったため、ルールに従い解法を共有させてもらいます。\n\nとはいうものの、基本的にはbaseline notebookのCFGとして利用するyaml内のパラメータを変更したのみです。基本的にbatch sizeを16、32、64で試し、out of memoryとならないなら次にpatchを増やす、という程度の微調整をしたのみです。\nVersionの保存がいくつかうまくいっていないこともあり、試したことの順序も正確ではないですが、\n1\tモデルをefficientvit_b0.r224_in1k、10 epochで学習\n2\t学習が収束していなさそうであるため25 epochに増加\n3\tCoAtNetに変更しようとしたが、途中でエラーが出てしまい(学習ループを回そうとするとModel_iafossの処理経過でエラー？)、エラーの原因を検討する時間がなく断念。\n4\tEfficientNetV2_S 30 epochsで学習。訓練ループ完了までに時間がかかったわりに過学習で性能の向上なく、他のモデルを試す時間を消費する。\n5\tresnext50_32x4d.a1_in1kを12epoch学習。\n6\tMaxxvit2_nano_rw_256.sw_in1kを試したが、lr 0.001では学習が安定しなかった上に、時間内に実行完了してsubmitできず、かつ保存もエラーとなりlate submitも実現できず。\n\n上記の試行の結果、efficientvit_b0.r224_in1k、batch size 64、N patch 12、25epochsが試行した中では最も成績がよい結果となりました。\n\n蛇足かもしれませんが、あまりたくさんのことを試せなかった理由としては以下のようなものがあげられるかなと感じました。今後の病理学会でのコンペ開催時の運営の参考にもなるかもしれませんので、あまり需要はないかもしれませんが共有しておきます。\n・kaggleの使い方に慣れていなかった。(開催2日ほど前から予習をしていきましたが、コード内容の把握にも時間を要し、理解をあきらめてサンプルコードをとりあえず走らせる段階でもacceleratorの選択ができないことやhydraのインストールができないなど事前に全コードの実行さえもできず、結局当日のセミナーまで解決できなかった。その後も、notebookのsave run allでうまく保存できなかったため、sessionのtime outにより効率より試行を重ねられなかった)\n・試行回数を増やすためにAnaconda環境でも並行して演算を実行したかったが、hydraのインストールに時間を要するなどして、並行した試行を重ねられなかった。最終的にはCFG = CFG().get_cnf()のセルの実行でもエラーが出てしまい、解決もできない状態から今も抜け出せていない。\n\n雑多な文となってしまいましたが、ひとまず試したこととして共有させていただきます。\nもう少し追加の状況も共有してほしいなどあれば、ご指摘いただければ追加で説明させていただきます。\n", "2721485": "先ほどの投稿とは別件の相談となり、連投で申し訳ありません。\n別件の相談のため、先ほどのコメントに対してのreplyでの追記ではなく、新たなコメントの投稿とさせていただきます。\n\n今回の”baseline notebook for pathology AI competition”のコードについての確認です。\n最後からひとつ前のセルに\n\n`## 推論にはあらかじめ10epoch学習した重みを使います cv score: 0.8891887121979621\ntest = pd.read_csv(\"/kaggle/input/aipathology202403/sample_submission.csv\")\nCFG.model.name = \"tf_efficientnet_b0_ns\" #resnet34dと同じくらいの軽さ よくベースラインに用いられる\ntest = submit(CFG,test,DIR=\"/kaggle/input/aipathologycotestexp000\")\n\ntest.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`\n\nとのコードがありますが、これはtrain_fnで学習した各自のパラメータを利用せず、モデレーターの先生方が事前にsampleとして得ているパラメータを読み込み、CFGのmodel.nameをtf_efficientnet_b0_nsに変更の上、submit関数に入力している、というコードで理解は正しそうでしょうか？\n今回のcompetitionの目的通り、それぞれが設定したハイパーパラメータを用いて、train_fnで学習したそれぞれのパラメータで、yamlで設定したmodel.name(初期設定としてはresnet34d)を読み込ませようとするなら、\n\n`test = pd.read_csv(\"#それぞれのnotebookのOutput内のpath\")\nCFG.model.name = \"tf_efficientnet_b0_ns\" ←このコードをコメントアウト\ntest = submit(CFG,test,DIR=\"#それぞれのnotebookのOutput内のpath\")\n\ntest.to_csv(f\"test_{CFG.general.exp_num}.csv\",index=False)`\n\nなどと修正した方がよいのでしょうか？", "2721352": "名古屋大学医学系研究科 血液・腫瘍内科 江口です。\n昨日は皆さまありがとうございました。\n\n昨日帰宅してから、エポック数を50ほどにしてみたところ、2foldほどでタイムアウト(無操作で1時間？)してしまったようです。\n10epochs程度からoverfitting気味だと思われるため、lrの調整などなしにそこまでepochsを増やさなくてもよさそうですが、今後モデル改善のために学習時間を長くしたい場合、ノートブックのタイムアウト対策でできることはありますでしょうか？", "2713711": "=====川井先生の実験=====\n\nCLAM-SM/MB(-like), SimCLRの結果\n\nCLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。\nCLAM-SB: 0.8423/0.7973\nCLAM-MB: 0.812/0.7672\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。\n\nUnlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。\n\nhttps://storage.googleapis.com/kaggle-forum-message-attachments/2645968/20286/baseline-for-pathology-ai-competetion_0206_multiLR_CLAM-SB%20(1).ipynb ", "2642752": "困ったことや質問があれば\ndiscussionにトピックを立てるかこのスレッドに書き込んでください🙇♂\n\nまずは\nhttps://speakerdeck.com/inoichan/di-4hui-quan-guo-yi-liao-aikontesuto-kagglekaraxue-ndayi-liao-hua-xiang-detajie-xi-falsequ-rizu-mifang を読んで取り組み方を見てみてください", "2723071": "" } }