{
  "id": 475956,
  "title": "CLAM-SM/MB(-like), SimCLRの結果",
  "url": "/competitions/copy-of-pathologyaidemo2/discussion/475956",
  "author_name": "",
  "post_date": "2024-02-10T15:19:54.589892Z",
  "votes": 3,
  "comment_count": 1,
  "views": 0,
  "content": "<p>CLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。<br>\nCLAM-SB: 0.8423/0.7973<br>\nCLAM-MB: 0.812/0.7672<br>\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。</p>\n<p>Unlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。</p>",
  "messages": [
    {
      "id": "2645968",
      "postDate": "02/10/2024 15:19:54",
      "content": "<p>CLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。<br>\nCLAM-SB: 0.8423/0.7973<br>\nCLAM-MB: 0.812/0.7672<br>\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。</p>\n<p>Unlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。</p>",
      "rawMarkdown": "CLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。\nCLAM-SB: 0.8423/0.7973\nCLAM-MB: 0.812/0.7672\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。\n\nUnlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。",
      "votes": null
    },
    {
      "id": "2652745",
      "postDate": "02/15/2024 02:07:03",
      "content": "<p>lunit-dino+ABMILとかでもvalid_auc=0.7くらいでうまくいかなかったです。タイル枚数が少ないのでend2endでの学習のほうが適しているのかもしれません。</p>",
      "rawMarkdown": "lunit-dino+ABMILとかでもvalid_auc=0.7くらいでうまくいかなかったです。タイル枚数が少ないのでend2endでの学習のほうが適しているのかもしれません。",
      "votes": null
    }
  ],
  "comments": [
    {
      "id": 2652745,
      "author_name": "abebe9849",
      "author_url": "",
      "post_date": "02/15/2024 02:07:03",
      "content": "<p>lunit-dino+ABMILとかでもvalid_auc=0.7くらいでうまくいかなかったです。タイル枚数が少ないのでend2endでの学習のほうが適しているのかもしれません。</p>",
      "votes": null,
      "replies": []
    }
  ],
  "raw_markdown_by_id": {
    "2645968": "CLAM-SB/MBを試してみました。CLAMのソースはちょっとわかりにくい点もありますので、独自実装したものを使いました（Githubで公開予定ですが公開前に流用される場合はご連絡ください）。オリジナルと違ってaugmentationがある、efficientnet-b0-nsをベースにbackboneも学習している、という違いがあります。\nCLAM-SB: 0.8423/0.7973\nCLAM-MB: 0.812/0.7672\nAttentionをscaled dot-product attentionとしたものも試したものの、性能は下がってしまいました。\n\nUnlabelデータを使ってSimCLRで追加学習をしたものも試しましたが、baselineと性能は変わりませんでした(0.8923/0.8935)。急いで実装したのでSimCLRの学習がうまくいかなかった可能性もあります。",
    "2652745": "lunit-dino+ABMILとかでもvalid_auc=0.7くらいでうまくいかなかったです。タイル枚数が少ないのでend2endでの学習のほうが適しているのかもしれません。"
  },
  "source": "meta"
}