{"metadata":{"kernelspec":{"language":"python","display_name":"Python 3","name":"python3"},"language_info":{"name":"python","version":"3.10.12","mimetype":"text/x-python","codemirror_mode":{"name":"ipython","version":3},"pygments_lexer":"ipython3","nbconvert_exporter":"python","file_extension":".py"},"kaggle":{"accelerator":"none","dataSources":[{"sourceId":91844,"databundleVersionId":11361821,"sourceType":"competition"}],"dockerImageVersionId":30918,"isInternetEnabled":true,"language":"python","sourceType":"notebook","isGpuEnabled":false}},"nbformat_minor":4,"nbformat":4,"cells":[{"cell_type":"markdown","source":"## Note:\nこのノートブックは、BirdCLEF+ 2025コンペの理解のために、OverviewおよびDataを日本語に翻訳したものです。<br>\nThis notebook contains Japanese translations of the Overview and Data sections to help understand the BirdCLEF+ 2025 competition.","metadata":{}},{"cell_type":"markdown","source":"# Overview","metadata":{"_uuid":"8f2839f25d086af736a60e9eeb907d3b93b6e0e5","_cell_guid":"b1076dfc-b9ad-4769-8c92-a6c4dae69d19"}},{"cell_type":"markdown","source":"## Goal of the competition\n移動性が高く、生息地の多様な種は、生物多様性の変化を示す貴重な指標となります。彼らの集団や個体数動態の変化は、生態系回復の成功や失敗を示すことができます。しかし、広範囲にわたる従来型の観察者ベースの生物多様性調査は、費用がかさみ、かつ物流的に負担が大きいものです。それに対して、パッシブ音響モニタリング（PAM）と現代の機械学習技術を組み合わせることで、保全活動家は広範な空間スケールでより高い時間解像度でのサンプリングが可能になり、回復介入と生物多様性の関係についての深い洞察が得られるようになります。\n\nこのコンペティションでは、音響署名に基づいて十分に研究されていない種を識別するために、機械学習の専門知識を応用します。具体的には、連続する音声データを処理し、さまざまな分類群の種を音声から認識する計算方法を開発します。最も効果的なソリューションは、ラベル付きデータが限られている中で信頼性の高い分類器を訓練する能力を示すでしょう。成功すれば、あなたの仕事は、生物多様性モニタリングを強化するための継続的な取り組みに貢献し、コロンビアのマグダレナ渓谷の低地での研究イニシアティブにも寄与することになります。","metadata":{}},{"cell_type":"markdown","source":"## Context\n湿潤な熱帯雨林は、地球上で最も生物多様性が高く、古代から存在する生態系であり、気候調節および水資源保護のために重要です。しかし、雨林は深刻な脅威に直面しています。コロンビアでは、生物多様性のホットスポットとされるマグダレナ渓谷の低地が多くの絶滅危惧種の生息地となっています。マグダレナ渓谷の低地にある熱帯雨林の70%以上が、広大な牧草地に置き換えられており、不法伐採が森林の断片残存において一般的です。残りの森林と湿地の保護が急務です。\n\nFundación Biodiversa Colombia (FBC) は、地元のコミュニティ、土地所有者、組織と協力して、森林と湿地の断片を保全、復元、そして連結させています。2012年に設立されたエル・シレンシオ自然保護区は、5,407エーカーの熱帯低地森林と湿地を保護しています。295種の鳥類、34種の両生類、69種の哺乳類、50種の爬虫類、およびほぼ500種の植物を含む多様な野生生物が生息するエル・シレンシオは、地域の保全と持続可能性のモデルとなっています。\n\n以前は広範囲な家畜農業に使用されていた保護区の重要な部分は、現在生態系復元プロジェクトの一環となっています。Kaggleのコンペティションを通じて、エル・シレンシオ自然保護区の音風景から異なる分類群を自動的に検出および分類することを目指しており、復元プロジェクトの生態学的プロセスについての理解を深めることを意図しています。\n\nこのKaggleコンペティションの広範な目標は以下の通りです：\n\n(1) コロンビアのマグダレナ渓谷中部およびエル・シレンシオ自然保護区の音響データにおいて、異なる分類群の種を特定する。\n\n(2) 希少および絶滅危惧種のための非常に限られたトレーニングサンプルを用いて機械学習モデルを訓練する。\n\n(3) 未ラベルデータを用いて機械学習モデルを強化し、検出や分類の精度を向上させる。\n\nあなたの革新のおかげで、研究者や保全実務者は復元活動の影響を正確に理解しやすくなります。その結果、脅威を評価し、保全行動をより効果的かつ定期的に調整することができるようになります。\n\nこのコンペティションは、ケムニッツ工科大学、Fundación Biodiversa Colombia、Google Research、iNaturalist、インスティチュート・フンボルト、コーネル大学鳥類学研究所のK. Lisa Yang Center for Conservation Bioacoustics、LifeCLEF、Red Ecoacústica Colombiana、ユニバーシティ・カレッジ・ロンドン、およびXeno-cantoの共同で組織されています（アルファベット順）。","metadata":{}},{"cell_type":"markdown","source":"## Timeline\n2025年3月10日 - 開始日\n\n2025年5月29日 - エントリー締切。この日までに競技規則に同意する必要があります。\n\n2025年5月29日 - チーム合併締切。参加者がチームに参加または合併できるのはこの日が最後です。\n\n2025年6月5日 - 最終提出締切\n\nすべての締切は、特に記載がない限り、該当日の午後11時59分（UTC）です。競技主催者は、必要と判断した場合、コンテストのタイムラインを更新する権利を保有します。\n\n","metadata":{}},{"cell_type":"markdown","source":"## Evaluation\nこのコンテストの評価指標は、真の正解ラベルがないクラスをスキップするマクロ平均ROC-AUCのバージョン(a version of macro-averaged ROC-AUC that skips classes which have no true positive labels - https://www.kaggle.com/code/metric/birdclef-roc-auc) です。\n","metadata":{}},{"cell_type":"markdown","source":"```\nimport pandas as pd\nimport pandas.api.types\n\nimport kaggle_metric_utilities\n\nimport sklearn.metrics\n\n\nclass ParticipantVisibleError(Exception):\n    pass\n\n\ndef score(solution: pd.DataFrame, submission: pd.DataFrame, row_id_column_name: str) -> float:\n    '''\n    Version of macro-averaged ROC-AUC score that ignores all classes that have no true positive labels.\n    '''\n    del solution[row_id_column_name]\n    del submission[row_id_column_name]\n\n    if not pandas.api.types.is_numeric_dtype(submission.values):\n        bad_dtypes = {x: submission[x].dtype  for x in submission.columns if not pandas.api.types.is_numeric_dtype(submission[x])}\n        raise ParticipantVisibleError(f'Invalid submission data types found: {bad_dtypes}')\n\n    solution_sums = solution.sum(axis=0)\n    scored_columns = list(solution_sums[solution_sums > 0].index.values)\n    assert len(scored_columns) > 0\n\n    return kaggle_metric_utilities.safe_call_score(sklearn.metrics.roc_auc_score, solution[scored_columns].values, submission[scored_columns].values, average='macro')\n```","metadata":{"execution":{"iopub.status.busy":"2025-03-11T23:49:19.901375Z","iopub.execute_input":"2025-03-11T23:49:19.901838Z","iopub.status.idle":"2025-03-11T23:49:19.911041Z","shell.execute_reply.started":"2025-03-11T23:49:19.901804Z","shell.execute_reply":"2025-03-11T23:49:19.909597Z"}}},{"cell_type":"markdown","source":"## Submission Format\n各row_idについて、特定の種が存在した確率を予測する必要があります。種ごとに1つの列があります。各行は5秒間の音声ウィンドウをカバーします。'","metadata":{}},{"cell_type":"markdown","source":"## Working Note Award Criteria(optional)\nBirdCLEFベストワーキングノート賞の基準：\n\n独自性。論文の価値は、その技術的な新規性や独自性の度合いに依存します。論文は以前には知られていなかった結果を提示していますか？知識の最前線を押し進めていますか？古い問題を解決するための新しい方法や、古い問題に対する新しい視点を提示していますか？それとも、既知の情報の焼き直しですか？\n\n品質。論文の価値は、記述された仕事の内在的な特性や卓越度の度合いに依存します。研究は高い徹底度で行われましたか？高い工学技術が示されましたか？記述された実験は非常に優れたものでしたか？それとも、記述された仕事は平凡なものですか？\n\n貢献。論文の価値は、その技術の進歩への全体的な貢献度に依存します。これは独自性とは異なります。論文は非常に独創的であるかもしれませんが、非常に小さな、あるいは重要でない問題を扱っているかもしれません。一方、既知のデータや事実を集め、分析し、その重要性を指摘することで大きな貢献をする論文もあります。また、既知のが曖昧だったり複雑な現象や理論、システム、操作技術に関する優れた説明は、技術に対する非常に実質的な貢献となります。明らかに、論文は独自性と貢献の両方で高得点を得る可能性があります。おそらく重要な質問は、この論文を読んだエンジニアが、その専門分野でより効果的に仕事を行えるようになるかどうかです。\n\nプレゼンテーション。論文の価値は、読者が著者が何を伝えようとしているかを容易に理解できるかどうかに依存します。他の基準に関係なく、資料が明確かつ効果的に提示されていない限り、論文は良いとされません。論文はよく書かれていますか？著者の意味は明確ですか？表、図、チャートは明瞭ですか？その意味はすぐに理解できますか？論文に提示された情報は完全ですか？同時に、論文は簡潔ですか？\n\n提出されたBirdCLEFワーキングノートの評価：\n\n各ワーキングノートは、2人のレビュアーによってレビューされ、スコアは平均されます。最大スコア：15。\n\na）仕事と貢献の評価\n\n5ポイント：優れた仕事であり、主要な貢献\n\n4ポイント：重要な部分を含むしっかりとした仕事\n\n3ポイント：しっかりとした仕事だが、わずかな貢献\n\n2ポイント：わずかな仕事であり、小さな貢献\n\n1ポイント：仕事は科学的標準を満たしていない\n\nb）独創性と新規性\n\n5ポイント：先駆的\n\n4ポイント：革新的な仕事\n\n3ポイント：一歩先を行っている\n\n2ポイント：また別の論文が…\n\n1ポイント：何度も言われてきた\n\nc）読みやすさと構成\n\n5ポイント：優秀\n\n4ポイント：よく書かれている\n\n3ポイント：読みやすい\n\n2ポイント：かなりの作業が必要\n\n1ポイント：仕事は科学的標準を満たしていない","metadata":{}},{"cell_type":"markdown","source":"## Prizes\n- 1位 - $15,000\n- 2位 − $10,000\n- 3位 - $8,000\n- 4位 − $7,000\n- 5位 - $5,000\n\nベストワーキングノート賞（任意）：\n\nこのコンペティションの参加者は、CLEF 2025会議(https://clef2025.clef-initiative.eu/) にワーキングノートを提出することが推奨されます。会議の一環として、ベストBirdCLEF+ワーキングノート賞のコンペティションが開催されます。最優秀ワーキングノート賞の上位2名には、それぞれ$2,500が授与されます。評価基準については評価ページを参照してください。\n","metadata":{}},{"cell_type":"markdown","source":"## Code Requirements\n### これはコードコンペティションです\nこのコンペティションへの提出は、ノートブックを通じて行われなければなりません。コミット後に「提出」ボタンがアクティブになるためには、以下の条件を満たす必要があります：\n\n- CPUノートブックの実行時間 <= 90分\n- GPUノートブックの提出は無効です。技術的には提出できますが、実行時間は1分に制限されます。\n- インターネットアクセスは無効\n- 自由に利用可能な公開データは許可されています。事前学習モデルを含む。\n- 提出ファイルは submission.csv という名前でなければなりません\n\n提出方法の詳細については、コードコンペティションのFAQ (https://www.kaggle.com/docs/competitions#notebooks-only-FAQ) を参照してください。また、提出エラーが発生した場合は、コードデバッグのドキュメントを確認してください。\n","metadata":{}},{"cell_type":"markdown","source":"# Data\n## Dataset Description\n","metadata":{}},{"cell_type":"markdown","source":"あなたの課題は、コロンビアのエル・シレンシオ自然保護区で録音された音声データに基づいて、どの種（鳥類、両生類、哺乳類、昆虫）が鳴いているかを特定することです。これは、保全目的で動物の個体数を監視する科学者にとって重要なタスクです。より正確なソリューションは、より包括的な監視を可能にするでしょう。\n\nこのコンペティションでは、隠されたテストセットが使用されます。提出されたノートブックがスコアリングされる際、実際のテストデータがノートブックに提供されます。","metadata":{"execution":{"iopub.status.busy":"2025-03-11T23:41:30.039916Z","iopub.execute_input":"2025-03-11T23:41:30.040283Z","iopub.status.idle":"2025-03-11T23:41:30.049177Z","shell.execute_reply.started":"2025-03-11T23:41:30.040251Z","shell.execute_reply":"2025-03-11T23:41:30.046953Z"}}},{"cell_type":"markdown","source":"### Files\n","metadata":{}},{"cell_type":"markdown","source":"train_audio/: トレーニングデータは、xeno-canto.org、iNaturalist、そしてコロンビアの生物資源研究のためのフンボルト研究所（CSA）のコロンビア音声アーカイブのユーザーによって寛大に提供された、個々の鳥類、両生類、哺乳類、昆虫の短い録音から成ります。これらのファイルは、テストセットの音声に合わせて32 kHzに再サンプリングされ、ogg形式に変換されています。ファイル名は [collection][file_id_in_collection].ogg という形式です。トレーニングデータには、ほぼすべての関連ファイルが含まれているはずです。xeno-canto.orgやiNaturalistをさらに探索しても効果は期待できないと考えていますので、彼らのサーバーへの負担を最小限に抑えるためのご協力をお願いします。もし追加でデータを収集する場合は、これらのデータポータルのスクレイピングルールに従ってください。\n\ntest_soundscapes/: ノートブックを提出すると、テスト用の soundscapes ディレクトリにスコアリングに使用する約700の録音が追加されます。これらは1分間の長さがあり、ogg音声形式で32 kHzに再サンプリングされています。ファイル名はランダムに割り当てられていますが、一般的な形式は soundscape_xxxxxx.ogg です。提出されたノートブックがすべてのテスト soundscapes を読み込むのに約5分かかると見込まれます。テストデータにはトレーニングデータと同じ種が含まれていない場合があります。\n\ntrain_soundscapes/: テストサウンドスケープと同じ記録場所からのラベルのない音声データ。ファイル名は [site][date][local_time].ogg という形式です。同じ場所で録音されていますが、ラベルのないサウンドスケープの正確な録音場所は、隠されたテストデータの録音場所とは重なりません。\n\ntrain.csv: トレーニングデータに対して広範なメタデータが提供されています。最も直接的に関連するフィールドは以下の通りです：","metadata":{"execution":{"iopub.status.busy":"2025-03-11T23:42:41.622315Z","iopub.execute_input":"2025-03-11T23:42:41.622736Z","iopub.status.idle":"2025-03-11T23:42:41.630189Z","shell.execute_reply.started":"2025-03-11T23:42:41.622706Z","shell.execute_reply":"2025-03-11T23:42:41.628605Z"}}},{"cell_type":"markdown","source":"- primary_label: 種のコード（鳥類の場合はeBirdコード、それ以外の動物の場合はiNaturalist分類ID）。種に関する詳細情報は、eBirdやiNaturalistのURLにコードを追加して確認できます。Great Tinamouの場合は https://ebird.org/species/gretin1 、Red Snouted Tree Frogの場合は https://www.inaturalist.org/taxa/24322 となります。すべての種が独自のページを持っているわけではないため、リンクが機能しない場合があります。\n- secondary_labels: 録音者によって記録中にも存在が確認された種のリスト。完全ではない場合があります。\n- latitude & longitude: 録音が行われた場所の座標。いくつかの鳥種はローカルな鳴き声の「方言」を持つため、トレーニングデータに地理的な多様性を求めることが推奨されます。\n- author: 録音を提供したユーザー。名前が提供されていない場合は不明。\n- filename: 関連する音声ファイルの名前。\n- rating: xeno-cantoユーザーによって提供された1から5の値（1 - 低品質、5 - 高品質）。0は評価が利用できないことを意味します。iNaturalistおよびCSAは品質評価を提供していません。 collection: 録音がどのコレクションから取られたかを示します（XC、iNat、またはCSA）。ファイル名にもコレクションとそのコレクション内のIDが含まれています。\n\n\n","metadata":{"execution":{"iopub.status.busy":"2025-03-11T23:43:24.186194Z","iopub.execute_input":"2025-03-11T23:43:24.186562Z","iopub.status.idle":"2025-03-11T23:43:24.19302Z","shell.execute_reply.started":"2025-03-11T23:43:24.186533Z","shell.execute_reply":"2025-03-11T23:43:24.191602Z"}}},{"cell_type":"markdown","source":"sample_submission.csv: 有効なサンプル提出ファイル。","metadata":{"execution":{"iopub.status.busy":"2025-03-11T23:45:27.969003Z","iopub.execute_input":"2025-03-11T23:45:27.969416Z","iopub.status.idle":"2025-03-11T23:45:27.975326Z","shell.execute_reply.started":"2025-03-11T23:45:27.969383Z","shell.execute_reply":"2025-03-11T23:45:27.973974Z"}}},{"cell_type":"markdown","source":"- row_id: 予測のためのsoundscape_[soundscape_id]_[end_time]のスラッグ。例として、1分間のテストサウンドスケープ soundscape_12345.ogg の00:15-00:20セグメントはrow IDとしてsoundscape_12345_20となります。 [species_id]: 206の種ID列があります。各行について各種の存在確率を予測する必要があります。 taxonomy.csv: 異なる種に関するデータ。iNaturalist分類IDとクラス名（鳥類、両生類、哺乳類、昆虫）が含まれます。\n- recording_location.txt: 録音場所（エル・シレンシオ自然保護区）に関する高レベルの情報。","metadata":{"execution":{"iopub.status.busy":"2025-03-11T23:45:49.957591Z","iopub.execute_input":"2025-03-11T23:45:49.957969Z","iopub.status.idle":"2025-03-11T23:45:49.964877Z","shell.execute_reply.started":"2025-03-11T23:45:49.957941Z","shell.execute_reply":"2025-03-11T23:45:49.963163Z"}}},{"cell_type":"code","source":"\nrow_id: 予測のためのsoundscape_[soundscape_id]_[end_time]のスラッグ。例として、1分間のテストサウンドスケープ soundscape_12345.ogg の00:15-00:20セグメントはrow IDとしてsoundscape_12345_20となります。 [species_id]: 206の種ID列があります。各行について各種の存在確率を予測する必要があります。 taxonomy.csv: 異なる種に関するデータ。iNaturalist分類IDとクラス名（鳥類、両生類、哺乳類、昆虫）が含まれます。\n\nrecording_location.txt: 録音場所（エル・シレンシオ自然保護区）に関する高レベルの情報。","metadata":{"trusted":true},"outputs":[],"execution_count":null}]}