{"cells":[{"metadata":{},"cell_type":"markdown","source":"Iniciamos importando as principais bibliotecas que serão usadas durante a execução."},{"metadata":{"_uuid":"d629ff2d2480ee46fbb7e2d37f6b5fab8052498a","_cell_guid":"79c7e3d0-c299-4dcb-8224-4455121ee9b0","trusted":true},"cell_type":"code","source":"# Para os CSVs\nimport pandas as pd","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"# Para o modelo usaremos FASTAI\nfrom fastai.vision.all import *\nfrom fastai.callback.tracker import SaveModelCallback","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"# Para acessar os arquivos\nimport os","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"# Salvamos o caminho padrão em uma variável:\npath = Path('../input/cassava-leaf-disease-classification')","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"df_train = pd.read_csv(path/'train.csv')\ndf_train.head()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"# Carregar o DataSet e redimensionar as imagens \ndls = ImageDataLoaders.from_df(df_train, path=path, folder='train_images', item_tfms=Resize(224), valid_pct=0.1, seed=42, bs=64, batch_tfms=aug_transforms())\ndls.show_batch()","execution_count":null,"outputs":[]},{"metadata":{},"cell_type":"markdown","source":"Após alguns testes iniciais e comparação entre os modelos Alexnet, Resnet50 e Resnet18, constatou-se que o modelo que apresentou melhores resultados nas primeiras épocas foi o Resnet18. Portanto, procederemos o treinamento de mais épocas com este modelo."},{"metadata":{"trusted":true},"cell_type":"code","source":"# cria modelo e uma callback para verificar e salvar o melhor modelo após cada época\nlearn = cnn_learner(dls, resnet18, metrics=[error_rate,accuracy], pretrained=False, path='../Learner')\nsave_callback = SaveModelCallback(fname='best_model', with_opt=True, monitor='valid_loss', reset_on_fit=False) \n# o parâmetro monitor informa como se deve se verificar se um modelo é melhor que outro\n# valid_loss - para menor loss no cjto de validação\n#train_loss - para menor loss no cjto de treino","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"# caso for reiniciar uma execução\n# carregando os melhores pesos\n#learn = learn.load('best_model')\n# carregando os últimos pesos\n#learn = learn.load('last_model')","execution_count":null,"outputs":[]},{"metadata":{},"cell_type":"markdown","source":"São executadas **25** épocas de treinamento. Após estes treinamentos, o modelo começa a convergir e não apresenta melhoras consideráveis."},{"metadata":{"trusted":true},"cell_type":"code","source":"# treinamento, verificando se obteve um melhor modelo a cada época e salvando caso for um melhor modelo como best_model\nnr_epochs = 25\nlearn.fit(nr_epochs, cbs=save_callback)","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"# plota um gráfico de loss\nlearn.recorder.plot_loss()","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"# salva os ultimos pesos (não necessariamente o melhor)\nlearn.save('last_model')","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"learn.save('best_model')","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"learn.export(\"./export.pth\")","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"submission_df = pd.read_csv(path/'sample_submission.csv')\n\ntest_data_path = submission_df['image_id'].apply(lambda x: path/'test_images'/x)\ntst_dl = learn.dls.test_dl(test_data_path)\npredictions = learn.tta(dl = tst_dl, n=10)\n\nsubmission_df['label'] = np.argmax(predictions[0],axis=1)\nsubmission_df","execution_count":null,"outputs":[]},{"metadata":{"trusted":true},"cell_type":"code","source":"submission_df.to_csv('submission.csv',index=False)","execution_count":null,"outputs":[]}],"metadata":{"kernelspec":{"language":"python","display_name":"Python 3","name":"python3"},"language_info":{"pygments_lexer":"ipython3","nbconvert_exporter":"python","version":"3.6.4","file_extension":".py","codemirror_mode":{"name":"ipython","version":3},"name":"python","mimetype":"text/x-python"}},"nbformat":4,"nbformat_minor":4}