{"cells":[{"metadata":{"_uuid":"91c20b9feea3a8e9e341fd7eac3bd6ea419df771"},"cell_type":"markdown","source":"В этом задании начнем с простого изучения данных.\n\nНеобходимо посмотреть на данные и разобраться с ними: \n1. Выявить порядковые категориальные данные.\n2. Посмотреть на сатистики по данным.\n3. Удостовериться, что данные не противоречат логике.\n\n Как делать первый пункт:\n     * Описать, как ты понимаешь каждую колонку. Колонки с текстами, картинками и id сейчас не рассматриваем. \n     * Доказать, что колонка является просто категориальной или порядковой категориальной.\n     * Просто категориальные оставляем, а порядковые проверяем на логичность нумерации. В случае нелогичности перенумеровываем.\n     * Как проверяем порядковые. Смотрим по логике, напрмер, рассматриваем, как соотносятся размеры пород с с размерами в колонке размеров.\n     \nКак делать второй пункт:\n    * Посмотреть и визуализировать, например, сколько каких животных по возрасту.\n    * Или сколько каким типам животных нужно для того, чтобы из забрали.\n    \nТретий пункт вытекает из первых двух, обобщение собранной информации. \n\n\n### Примеры кода, который может быть полезен"},{"metadata":{"_uuid":"8f2839f25d086af736a60e9eeb907d3b93b6e0e5","_cell_guid":"b1076dfc-b9ad-4769-8c92-a6c4dae69d19","trusted":true},"cell_type":"code","source":"import pandas as pd","execution_count":null,"outputs":[]},{"metadata":{"_cell_guid":"79c7e3d0-c299-4dcb-8224-4455121ee9b0","_uuid":"d629ff2d2480ee46fbb7e2d37f6b5fab8052498a","trusted":true},"cell_type":"code","source":"breeds = pd.read_csv('../input/breed_labels.csv')\ncolors = pd.read_csv('../input/color_labels.csv')\nstates = pd.read_csv('../input/state_labels.csv')\ntrain = pd.read_csv('../input/train/train.csv')\ntest = pd.read_csv('../input/test/test.csv')\n\ntrain.head()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"c1360a8df58ad174ddc2a00e57a2f3bff21603a0"},"cell_type":"code","source":"breed_dict = dict(zip(breeds['BreedID'], breeds['BreedName']))\n# тут пишут, что есть более быстрый способ, но интуитивно менее понятный:\n# https://stackoverflow.com/questions/17426292/what-is-the-most-efficient-way-to-create-a-dictionary-of-two-pandas-dataframe-co\n\n# pd.Series(breeds['BreedName'].values, index=breeds['BreedID']).to_dict()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"a5db3eea6b79705d6fe7fc8c306e9daa466d2983"},"cell_type":"code","source":"animal_dict = {1: 'Dog', 2: 'Cat'}","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"aac1985daf857c71629dd97d49fed8271523fe02"},"cell_type":"code","source":"train['Breed1_new'] = train['Breed1'].map(breed_dict)\ntrain['Type'] = train['Type'].map(animal_dict)","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"5cc3f18fb2fbf1c0f889083316eeab059058e539"},"cell_type":"code","source":"train.groupby(['Type', 'Breed1_new', 'FurLength'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"d83ba56f22f104e0070ea1674df2c962514c06b1"},"cell_type":"markdown","source":"Забавно, видно, что есть одни и те же породы животных с разной длиной шерсти.  На самом деле, возможно, стоит отсмотреть фотографии животных, где такое есть и поставить ручные метки, потому что реальные могут оказаться не совсем корректными. Вот и первый инсайд.\n\nЕще пока крутила данные, пришла к выводу, что хорошим признаком может быть среднерыночная стоимость животных. Так как тех же акит не так уж и много. Так что, возможно, стоит попарсить сайты с ценами на животных. Вот и второй инсайд."},{"metadata":{"_uuid":"457719adffdb281e7a0c1187d65da68c47201fa4"},"cell_type":"markdown","source":"### Еще немного важного, что обсуждали на занятии:\n    * Метрики: немного про них тут https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture02-linregr.pdf\n    Можно использовать, как источник ключевых слов.\n    * Градиентный бустинг: https://habr.com/en/company/ods/blog/327250/"},{"metadata":{"_uuid":"835eb3f37c83d5133a8fd3cbdf62dc8bef958939"},"cell_type":"markdown","source":"**Решение**"},{"metadata":{"_uuid":"b950f34c01225cafba64c9c00e3fabf3ab36e1ab"},"cell_type":"markdown","source":"**Фичи**\n\nКатегориальные фичи:\n1. Vaccinated - статус привитости (1 = Да, 2 = Нет, 3 = Неизвестно)\n2. Dewormed - статус применения противоглистных препаратов (1 = Да, 2 = Нет, 3 = Неизвестно)\n3. Sterilized - статус стерилизации (1 = Да, 2 = Нет, 3 = Неизвестно)\n4. Health - здоровье питомца (1 = Здоровый, 2 = Незначительная травма, 3 = Серьезная травма, 0 = Неизвестно)\n\nПорядковые категориальные фичи:\n1. MaturitySize - размер питомца (1 = Маленький, 2 = Средний, 3 = Большой, 4 = Очень большой, 0 = Неизвестно). Видно, если посмотреть фотографии пород в сети.\n2. FurLength - длина шерсти питомца (1 = Короткая, 2 = Средняя, 3 = Длинная, 0 = Неизвестно). Видно, если посмотреть фотографии пород в сети."},{"metadata":{"trusted":true,"_uuid":"e5e9049779dd9d3416eb53c47e2a09084735b2c6"},"cell_type":"code","source":"#Разделим датафрейм на кошек и собак и рассмотрим их раздельно:\ntrain_cats = train[train.Type != 'Dog']\ntrain_dogs = train[train.Type != 'Cat']\n\n#Для каждого распределения попробуем построить визуализацию\nimport seaborn as sns","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"2e71eaa6a98d9714648cc078c26e737958628aba"},"cell_type":"markdown","source":"***Кошки***"},{"metadata":{"trusted":true,"_uuid":"25e96e669f765e48b2f0a0f3ac54ad38708bd161"},"cell_type":"code","source":"#Создаем для кошек датафреймы для описания распределений скорости adoption в разрезах различных категориальных фич\nms_train_cats = pd.DataFrame(train_cats.groupby([ 'AdoptionSpeed', 'MaturitySize'])['PetID'].count()).reset_index()\nfr_train_cats = pd.DataFrame(train_cats.groupby(['AdoptionSpeed', 'FurLength'])['PetID'].count()).reset_index()\nvc_train_cats = pd.DataFrame(train_cats.groupby(['AdoptionSpeed', 'Vaccinated'])['PetID'].count()).reset_index()\ndw_train_cats = pd.DataFrame(train_cats.groupby(['AdoptionSpeed', 'Dewormed'])['PetID'].count()).reset_index()\nst_train_cats = pd.DataFrame(train_cats.groupby(['AdoptionSpeed', 'Sterilized'])['PetID'].count()).reset_index()\nh_train_cats = pd.DataFrame(train_cats.groupby(['AdoptionSpeed', 'Health'])['PetID'].count()).reset_index()\nage_train_cats = pd.DataFrame(train_cats.groupby(['AdoptionSpeed', 'Age'])['PetID'].count()).reset_index()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"076bb0f6f066a639b5ad237c8ebdd8c9b1a5512c"},"cell_type":"code","source":"#Добавляем колонку в датафреймы с разрезами с долей питомцев от общего числа для каждого значения категориальной фичи\nms_train_cats['PetID_Share'] = ms_train_cats['PetID']/14993\nfr_train_cats['PetID_Share'] = ms_train_cats['PetID']/14993\nvc_train_cats['PetID_Share'] = ms_train_cats['PetID']/14993\ndw_train_cats['PetID_Share'] = ms_train_cats['PetID']/14993\nst_train_cats['PetID_Share'] = ms_train_cats['PetID']/14993\nh_train_cats['PetID_Share'] = ms_train_cats['PetID']/14993\nage_train_cats['PetID_Share'] = ms_train_cats['PetID']/14993","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"eae4f0fa9c009bf49005014684e10a2c49ffeaee"},"cell_type":"markdown","source":"**Размер**"},{"metadata":{"trusted":true,"_uuid":"2c76af99a0c45331093961899db03d6a316af699"},"cell_type":"code","source":"#распределение размеров по количеству питомцев\ntrain_cats.groupby(['MaturitySize'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"80e458e1c48be74edff99b0b52270d22c4badd16"},"cell_type":"code","source":"sns.distplot(train_cats['MaturitySize'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"39a5e087fd18442e9c931cc58e6f07f0a3fadc48"},"cell_type":"code","source":"#распределение размеров питомцев в разрезе adoption скорости\ntrain_cats.groupby(['MaturitySize', 'AdoptionSpeed'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"2bad0fdfd76642a668e211887bf33ff26f4b19aa"},"cell_type":"code","source":"# Хитмап по размеру питомца\npv_ms_train_cats = ms_train_cats.pivot_table(values='PetID_Share', index='MaturitySize',   columns='AdoptionSpeed')\nsns.heatmap(pv_ms_train_cats, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"f8b097ec7fb9b06a237437bbb762f588dfce06bf"},"cell_type":"markdown","source":"Выводы:\n1.     Больше всего кошек среднего размера (примерно в два арза больше, чем кошек маленького размера).\n2.     На хитман диаграмме видно, что кошек маленького и большого размера забирают примерно с одной скоростью (учитывая разницу в количестве питомцев этих размеров).\n3.     Больше всего забирают кошек средних размеров. При этом скорость их забора менее равномерна, чем у кошек маленького и большого размера (см. хитман диаграмму).\n4.     При этом с примерно равной вероятностью кошку среднего размера забирают в течение первого месяца, либо не забирают вообще."},{"metadata":{"_uuid":"99db91b94e2118513b0e70782e8421425534e50a"},"cell_type":"markdown","source":"**Длина шерсти**"},{"metadata":{"trusted":true,"_uuid":"67181fccc87f1d0e49716468b70f296b977da287"},"cell_type":"code","source":"#распределение длины шерсти по количеству питомцев\ntrain_cats.groupby(['FurLength'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"2c03b07d29ddc75b0857f23911c70041aab1d811"},"cell_type":"code","source":"sns.distplot(train_cats['FurLength'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"361cd4312a3d868c6c48cf8eb2122ced8712c718"},"cell_type":"code","source":"#распределение длины шерсти питомцев в разрезе adoption скорости\ntrain_cats.groupby(['AdoptionSpeed', 'FurLength'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"9f755e726c2c26240b7af8377cfae56e7770c60a"},"cell_type":"code","source":"#Хитмап по длине шерсти питомца\npv_fr_train_cats = fr_train_cats.pivot_table(values='PetID_Share', index='FurLength',   columns='AdoptionSpeed')\nsns.heatmap(pv_fr_train_cats, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"44640ec2301681af6463363a9eb0bea4b7b38e48"},"cell_type":"markdown","source":"Выводы:\n    "},{"metadata":{"_uuid":"c7030ee19bf41265779fd342cad758c30e1752fd"},"cell_type":"markdown","source":"**Статус вакцинации**"},{"metadata":{"trusted":true,"_uuid":"42c6ba694f423c7c6628670de06675d695fc0520"},"cell_type":"code","source":"#распределение статуса вакцинации по количеству питомцев\ntrain_cats.groupby(['Vaccinated'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"8b346516ee3716152865b40fe366a92da7c3e17a"},"cell_type":"code","source":"sns.distplot(train_cats['Vaccinated'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"59b45fd9049e8d1f20506deb9bcb6e340aeb470d"},"cell_type":"code","source":"#распределение статуса вакцинации в разрезе adoption скорости\ntrain_cats.groupby(['AdoptionSpeed', 'Vaccinated'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"fa823bc7ca2f5a0d4170d42c9255ae54108d7ab8"},"cell_type":"code","source":"pv_vc_train_cats = vc_train_cats.pivot_table(values='PetID_Share', index='Vaccinated',   columns='AdoptionSpeed')\nsns.heatmap(pv_vc_train_cats, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"e8ef0feace41111c970cc02f139f1ed9d179eac7"},"cell_type":"markdown","source":"Выводы:\n"},{"metadata":{"_uuid":"887008273d3b7b30c6aae2f8b74ef217f4b7c473"},"cell_type":"markdown","source":"**Cтатус применения противоглистных препаратов**"},{"metadata":{"trusted":true,"_uuid":"16ebbcc16f28314375758648b3f2fb00066e8bca"},"cell_type":"code","source":"#распределение статусов применения противоглистных препаратов по количеству питомцев\ntrain_cats.groupby(['Dewormed'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"c9820da87270a2d4ec2dcbc64100b3f014e49f17"},"cell_type":"code","source":"sns.distplot(train_cats['Dewormed'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"44db781ff7a62362bdef497c0c7bbedb4b57fa6d"},"cell_type":"code","source":"#распределение статуса применения противоглистных препаратов в разрезе adoption скорости\ntrain_cats.groupby(['AdoptionSpeed', 'Dewormed'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"81bcd993b90a5eb2bf4cfe6a20202ae310010255"},"cell_type":"code","source":"pv_dw_train_cats = dw_train_cats.pivot_table(values='PetID_Share', index='Dewormed',   columns='AdoptionSpeed')\nsns.heatmap(pv_dw_train_cats, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"97a098e30a6708b4fdc1a4c648eed5fbce47ac38"},"cell_type":"markdown","source":"Выводы:\n"},{"metadata":{"_uuid":"42ef69e87130030caeceb2e99d131d8712eda925"},"cell_type":"markdown","source":"**Статус стерилизации**"},{"metadata":{"trusted":true,"_uuid":"d96a492f8b07cecd7be04d28ece51043b350e344"},"cell_type":"code","source":"#распределение статусов стерилизации по количеству питомцев\ntrain_cats.groupby(['Sterilized'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"91f8849cb430dcd8b11af06113263c6235f9f11d"},"cell_type":"code","source":"sns.distplot(train_cats['Sterilized'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"105755fee285dd0bdf24fa8db72e9d1803ea552f"},"cell_type":"code","source":"#распределение статуса стерилизации в разрезе adoption скорости\ntrain_cats.groupby(['AdoptionSpeed', 'Sterilized'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"9db21f01fdc8fa6a340e5b4e4f3f61316efdc253"},"cell_type":"code","source":"pv_st_train_cats = st_train_cats.pivot_table(values='PetID_Share', index='Sterilized',   columns='AdoptionSpeed')\nsns.heatmap(pv_st_train_cats, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"a82533a2b91d3010cd8bacdafb8a8458fb981a36"},"cell_type":"markdown","source":"Выводы:\n    "},{"metadata":{"_uuid":"dbbad1bac46f44ab4a93bbed580b060fb3156311"},"cell_type":"markdown","source":"**Здоровье**"},{"metadata":{"trusted":true,"_uuid":"3e950351aabd4d48c609cf74e28ffe57cc06c294"},"cell_type":"code","source":"#распределение статусов здоровья по количеству питомцев\ntrain_cats.groupby(['Health'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"93027dd56847215c2afaa2f29e8f19b086a93138"},"cell_type":"code","source":"sns.distplot(train_cats['Health'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"45d94a95e789b9f619a65ccde507f8639a9d933b"},"cell_type":"code","source":"#распределение статуса здоровья в разрезе adoption скорости\ntrain_cats.groupby(['AdoptionSpeed', 'Health'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"2cfe630cc650ee34c3048b1f9c8333f10592a9e4"},"cell_type":"code","source":"pv_h_train_cats = h_train_cats.pivot_table(values='PetID_Share', index='Health',   columns='AdoptionSpeed')\nsns.heatmap(pv_h_train_cats, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"e91b1897ec8d70826c60bdfca3ceb0da3f14296a"},"cell_type":"markdown","source":"Выводы:\n"},{"metadata":{"_uuid":"37f71add7c387c29a768548f7302e9e63c2e7226"},"cell_type":"markdown","source":"**Возраст**"},{"metadata":{"trusted":true,"_uuid":"11b05b42e6111176aac298ae5e7b88e9b2c1431e"},"cell_type":"code","source":"sns.distplot(train_cats['Age'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"4dd0ebbcfde8a5cf2e9b6949385a804bbd56dea4"},"cell_type":"code","source":"pv_age_train_cats = age_train_cats.pivot_table(values='PetID_Share', index='Age',   columns='AdoptionSpeed')\nsns.heatmap(pv_age_train_cats, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"5d4de069e6b22db596b2e730de3943b329d4ff81"},"cell_type":"markdown","source":"Выводы:\n    "},{"metadata":{"_uuid":"3640822bebde3796ec948a64d1640bf2700989fb"},"cell_type":"markdown","source":"**Собаки****"},{"metadata":{"trusted":true,"_uuid":"4bab2188fbeb4392045456351c2dac46fed34f4d"},"cell_type":"code","source":"#Создаем для собак датафреймы для описания распределений скорости adoption в разрезах различных категориальных фич\nms_train_dogs = pd.DataFrame(train_dogs.groupby([ 'AdoptionSpeed', 'MaturitySize'])['PetID'].count()).reset_index()\nfr_train_dogs = pd.DataFrame(train_dogs.groupby(['AdoptionSpeed', 'FurLength'])['PetID'].count()).reset_index()\nvc_train_dogs = pd.DataFrame(train_dogs.groupby(['AdoptionSpeed', 'Vaccinated'])['PetID'].count()).reset_index()\ndw_train_dogs = pd.DataFrame(train_dogs.groupby(['AdoptionSpeed', 'Dewormed'])['PetID'].count()).reset_index()\nst_train_dogs = pd.DataFrame(train_dogs.groupby(['AdoptionSpeed', 'Sterilized'])['PetID'].count()).reset_index()\nh_train_dogs = pd.DataFrame(train_dogs.groupby(['AdoptionSpeed', 'Health'])['PetID'].count()).reset_index()\nage_train_dogs = pd.DataFrame(train_dogs.groupby(['AdoptionSpeed', 'Age'])['PetID'].count()).reset_index()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"890a2f21d21bccf3103e3905159ff9fc281e81f3"},"cell_type":"code","source":"#Добавляем колонку в датафреймы с разрезами с долей питомцев от общего числа для каждого значения категориальной фичи\nms_train_dogs['PetID_Share'] = ms_train_dogs['PetID']/14993\nfr_train_dogs['PetID_Share'] = ms_train_dogs['PetID']/14993\nvc_train_dogs['PetID_Share'] = ms_train_dogs['PetID']/14993\ndw_train_dogs['PetID_Share'] = ms_train_dogs['PetID']/14993\nst_train_dogs['PetID_Share'] = ms_train_dogs['PetID']/14993\nh_train_dogs['PetID_Share'] = ms_train_dogs['PetID']/14993\nage_train_dogs['PetID_Share'] = ms_train_dogs['PetID']/14993","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"c3a70327a2b3d9f1c518dbaef7e676afd1530159"},"cell_type":"markdown","source":"**Размер**"},{"metadata":{"trusted":true,"_uuid":"7078e0daaba48d62ffebfec3ab752f2e23806840"},"cell_type":"code","source":"#распределение размеров по количеству питомцев\ntrain_dogs.groupby(['MaturitySize'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"f69fe46c99abce7cb5d308445c4fbb2de3e74795"},"cell_type":"code","source":"sns.distplot(train_dogs['MaturitySize'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"9a02eb6034e5684f1a03be68a8db15e3e8f253f0"},"cell_type":"code","source":"#распределение размеров питомцев в разрезе adoption скорости\ntrain_dogs.groupby(['MaturitySize', 'AdoptionSpeed'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"8ffb8da199da075e5da880d09700c22663addf97"},"cell_type":"code","source":"# Хитмап по размеру питомца\npv_ms_train_dogs = ms_train_dogs.pivot_table(values='PetID_Share', index='MaturitySize',   columns='AdoptionSpeed')\nsns.heatmap(pv_ms_train_dogs, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"ad9203bcde24bab94bbd8a69b58c8ebdca13bf98"},"cell_type":"markdown","source":"Выводы:\n    "},{"metadata":{"_uuid":"c3854b02181021a75bd780d1eec49d260249096f"},"cell_type":"markdown","source":"**Длина шерсти**"},{"metadata":{"trusted":true,"_uuid":"f718eaec69702e7ecb2369cdfbfb06b695f54932"},"cell_type":"code","source":"#распределение длины шерсти по количеству питомцев\ntrain_dogs.groupby(['FurLength'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"6ecaebb9591a730acab7231ccfa3c0bd4345c74a"},"cell_type":"code","source":"sns.distplot(train_dogs['FurLength'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"413e849cbf563210d5a5e1d5ef4506122f66fa5b"},"cell_type":"code","source":"#распределение длины шерсти питомцев в разрезе adoption скорости\ntrain_dogs.groupby(['AdoptionSpeed', 'FurLength'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"1d3b2d75382367691980f991a16cfe8a724e598b"},"cell_type":"code","source":"#Хитмап по длине шерсти питомца\npv_fr_train_dogs = fr_train_dogs.pivot_table(values='PetID_Share', index='FurLength',   columns='AdoptionSpeed')\nsns.heatmap(pv_fr_train_dogs, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"42b818479713b34675f8a459787f4c765a0feba3"},"cell_type":"markdown","source":"Выводы:\n"},{"metadata":{"_uuid":"44b00b2d0b43c49dcbae41cf97308da0dd1a2512"},"cell_type":"markdown","source":"**Статус вакцинации**"},{"metadata":{"trusted":true,"_uuid":"9db89ba6c2c94d26454dd8f267e90f03b8ab27b1"},"cell_type":"code","source":"#распределение статуса вакцинации по количеству питомцев\ntrain_dogs.groupby(['Vaccinated'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"b4c10d54351991a9194ddab4df4f549e8016757f"},"cell_type":"code","source":"sns.distplot(train_dogs['Vaccinated'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"c38fc0aee6ba6d1accbf4bb73fccf17e50444b41"},"cell_type":"code","source":"#распределение статуса вакцинации в разрезе adoption скорости\ntrain_dogs.groupby(['AdoptionSpeed', 'Vaccinated'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"438513d130bc8525f18f0d90cec8fc2130b1b7bf"},"cell_type":"code","source":"pv_vc_train_dogs = vc_train_dogs.pivot_table(values='PetID_Share', index='Vaccinated', columns='AdoptionSpeed')\nsns.heatmap(pv_vc_train_dogs, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"c92adce1e523910fa876901725249c8b6aa80bfa"},"cell_type":"markdown","source":"Выводы:\n"},{"metadata":{"_uuid":"548d86cf3f0abce8f4ebaea82a8fec749540a7dc"},"cell_type":"markdown","source":"**Cтатус применения противоглистных препаратов**"},{"metadata":{"trusted":true,"_uuid":"fb225a0ee68adb9df92f5e576cc4c03e76c54a50"},"cell_type":"code","source":"#распределение статусов применения противоглистных препаратов по количеству питомцев\ntrain_dogs.groupby(['Dewormed'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"155705bc8a3868f915f4049e0d8264dc9555655d"},"cell_type":"code","source":"sns.distplot(train_dogs['Dewormed'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"fb0d8875a137b348a4a3edb376ebb201ee159e11"},"cell_type":"code","source":"#распределение статуса применения противоглистных препаратов в разрезе adoption скорости\ntrain_dogs.groupby(['AdoptionSpeed', 'Dewormed'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"e7b5194028cd79807ef3fcbf6051b09cf5964ae2"},"cell_type":"code","source":"pv_dw_train_dogs = dw_train_dogs.pivot_table(values='PetID_Share', index='Dewormed',   columns='AdoptionSpeed')\nsns.heatmap(pv_dw_train_dogs, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"0358e2c04b31109382ce578efeb0c262a7efd861"},"cell_type":"markdown","source":"Выводы:\n"},{"metadata":{"_uuid":"ea637735da2c7a85c0a46c4f0a0aa50966afed1f"},"cell_type":"markdown","source":"**Статус стерилизации**"},{"metadata":{"trusted":true,"_uuid":"27c9fc850cc6c40445377396b1b05375e33d43e1"},"cell_type":"code","source":"#распределение статусов стерилизации по количеству питомцев\ntrain_dogs.groupby(['Sterilized'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"65c9b5d8e45c23396e5f447d409a0550b60cabcb"},"cell_type":"code","source":"sns.distplot(train_dogs['Sterilized'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"d6f15c6c2407cc76e443863ac1cf38deb0c65575"},"cell_type":"code","source":"#распределение статуса стерилизации в разрезе adoption скорости\ntrain_dogs.groupby(['AdoptionSpeed', 'Sterilized'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"f9628535c985cd620a4db1758d189ef0f7ad5aed"},"cell_type":"code","source":"pv_st_train_dogs = st_train_dogs.pivot_table(values='PetID_Share', index='Sterilized',   columns='AdoptionSpeed')\nsns.heatmap(pv_st_train_dogs, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"616a01db54c1b3cae6d257442acdb408cc59234b"},"cell_type":"markdown","source":"Выводы:\n"},{"metadata":{"_uuid":"aa3ce1dac56cd73a591575c49a08db5f9a5b8309"},"cell_type":"markdown","source":"**Здоровье**"},{"metadata":{"trusted":true,"_uuid":"7867179b2bf555d2c1e56725c27601c8e20a46b3"},"cell_type":"code","source":"#распределение статусов здоровья по количеству питомцев\ntrain_dogs.groupby(['Health'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"55298b804b704dadf228c20ba5a03b9817c930a9"},"cell_type":"code","source":"sns.distplot(train_dogs['Health'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"ebfbabe876841604d9e471ff1ca29288f2a169ad"},"cell_type":"code","source":"#распределение статуса здоровья в разрезе adoption скорости\ntrain_dogs.groupby(['AdoptionSpeed', 'Health'])['PetID'].count()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"a5b01a1274522372182f05b2f335ae82c7fad71f"},"cell_type":"code","source":"pv_h_train_dogs = h_train_dogs.pivot_table(values='PetID_Share', index='Health',   columns='AdoptionSpeed')\nsns.heatmap(pv_h_train_dogs, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"24560eb1501d85eb12875d8941694dd6440f650c"},"cell_type":"markdown","source":"Выводы:"},{"metadata":{"_uuid":"20b81c2566db6fb972835a00a153d5942416a10f"},"cell_type":"markdown","source":"**Возраст**"},{"metadata":{"trusted":true,"_uuid":"dc0428e4d9ec76d5edea740322fb9caadea0924d"},"cell_type":"code","source":"sns.distplot(train_dogs['Age'])","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"916b367f9e74111261c76bb2ce9db0f389846a36"},"cell_type":"code","source":"pv_age_train_dogs = age_train_dogs.pivot_table(values='PetID_Share', index='Age',   columns='AdoptionSpeed')\nsns.heatmap(pv_age_train_dogs, cmap='inferno_r')","execution_count":null,"outputs":[]},{"metadata":{"_uuid":"19da264351e3158f2b8604fb7c29176fc62d7904"},"cell_type":"markdown","source":"Выводы:\n    "},{"metadata":{"_uuid":"9968487dc247acff03484adb1ec3744f491faeec"},"cell_type":"markdown","source":"**To Do:**\n1. Попарсить цены на различные породы с малазийского сайта https://www.petsales.my. Собрать цены в датафрейм вида {\"Порода\" : Стоимость}. Смерджить со словарем пород и с train. Посмотреть, зависит ли скорость adoption животных\n2. Посмотреть, влияет ли размер fee на скорость adoption.\n3. Посмотреть, влияет ли штат (малазийский регион) на скорость adoption.\n1. Создать новую категориальную фичу Multicolor (аля мультицветность), показывающую количество цветов животного. Возможные значения: 1, 2, 3. Логика заполнения значения value = a + b + c, где\n    а)  a\\b\\c = 0, если Color1\\Color2\\Color3 = 0 или NaN\n    b) a\\b\\c = 1, если Color1\\Color2\\Color3 != 0 или NaN.\n   Затем посмотреть, зависит ли скорость adoption от количества цветов питомца."},{"metadata":{"trusted":true,"_uuid":"c5f3d06f20bff58cc247077f757b0b1cbfdcbef9"},"cell_type":"code","source":"","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"b6894b3224aa1a5056fba21d27db175b7bd4694e"},"cell_type":"code","source":"","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"bfb6ac46484731d7d5196b9c00d259d7e9465eaf"},"cell_type":"code","source":"","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"8b597df7822402f9d255d86d721b2b05fae9c616"},"cell_type":"code","source":"","execution_count":null,"outputs":[]},{"metadata":{"trusted":true,"_uuid":"843e83bd6b860a6cac201b21cae837ebda8fa417"},"cell_type":"code","source":"","execution_count":null,"outputs":[]}],"metadata":{"kernelspec":{"display_name":"Python 3","language":"python","name":"python3"},"language_info":{"name":"python","version":"3.6.6","mimetype":"text/x-python","codemirror_mode":{"name":"ipython","version":3},"pygments_lexer":"ipython3","nbconvert_exporter":"python","file_extension":".py"}},"nbformat":4,"nbformat_minor":1}