{"metadata":{"kernelspec":{"name":"ir","display_name":"R","language":"R"},"language_info":{"name":"R","codemirror_mode":"r","pygments_lexer":"r","mimetype":"text/x-r-source","file_extension":".r","version":"4.0.5"}},"nbformat_minor":4,"nbformat":4,"cells":[{"cell_type":"markdown","source":"# ML Olympiad - QUALITY EDUCATION\n\n**ML Olympiad – Previsão das notas da prova do ENEM**\n\n---\n\n\n## Definição do problema de negócio\n\n**Objetivo:** Prever as notas dos alunos(as) nas provas: Ciências da Natureza, Ciências Humanas, Linguagens e Códigos, Matemática e Redação\n\nApesar das notas serem calculadas de maneira idependente, a partir de modelos de TRI ([Teoria de Resposta ao Item](http://portal.mec.gov.br/ebserh-governo/418-noticias/enem-946573306/84461-entenda-como-e-calculada-a-nota-do-enem)) que levam em consideração a performance em um caderno específico e na dificuldade de cada questão, o *mesmo* aluno realiza todas as provas em um período curto de intervalo. \n\nPortanto esta tarefa pode ser enquadrado como um problema supervisionado de regressão com múltiplos *outputs* na qual as previsões são, de certa forma, dependentes da entrada umas das outras. \n\nA validação da solução apresentada será realizada utilizando a métrica *Mean Columnwise Root Mean Squared Error – MCRMSE*, que é basicamente a média do RMSE calculado sobre as previsões de cada nota.\n\n\n
→ A maioria dos dados missing se encontram nas features relacionadas a escola;
\n
→ Parece haver um padrão nos dados faltantes.
\n \n
","metadata":{}},{"cell_type":"markdown","source":"Dando um pouco mais de atenção às colunas com dados missing:","metadata":{}},{"cell_type":"code","source":"DataExplorer::plot_missing(df, missing_only = T, ggtheme = theme_bw(), theme_config = list(text = element_text(size=20)))","metadata":{"_kg_hide-input":true,"execution":{"iopub.status.busy":"2022-02-25T03:33:35.396939Z","iopub.execute_input":"2022-02-25T03:33:35.398373Z","iopub.status.idle":"2022-02-25T03:33:36.381527Z"},"trusted":true},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":"
\n📌 Interpretação: \n\n
→ A informação da idade possui poucos dados faltantes;
\n
→ Existem dados faltantes nas notas (nossa target);
\n
→ Features relacionadas à escola possuem altóssimo número de missings
\n \n
","metadata":{}},{"cell_type":"markdown","source":"# Dados do participante\n\nVamos conhecer o perfil dos participantes!\n","metadata":{}},{"cell_type":"markdown","source":"### Sobre município e UF de prova, residência e nascimento:","metadata":{}},{"cell_type":"code","source":"fig(16, 6)\ndf %>% \n select(starts_with(\"NO_\"), starts_with(\"SG_\")) %>% \n sample_n(1000) %>% \n inspectdf::inspect_cat() %>% \n inspectdf::show_plot() + \n theme(text = element_text(size=20))","metadata":{"_kg_hide-input":true,"execution":{"iopub.status.busy":"2022-02-25T03:33:36.384053Z","iopub.execute_input":"2022-02-25T03:33:36.385517Z","iopub.status.idle":"2022-02-25T03:33:37.294517Z"},"trusted":true},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":"
\n📌 Interpretação: \n\n
→ Features categóricas sobre municípios são muito fragmentadas;
\n
→ Maioria dos dados vêm dos estados de SP e MG;
\n
→ Alto número de missings em features relacionadas a escola.
→ Curioso como a idade média é maior naqueles que nao informaram a localizacao da escola, sera que é ensino a distância? Ou alunos que ja formaram a algum tempo?
\n
\n","metadata":{}},{"cell_type":"markdown","source":"### Por último (mas não menos importante) nota por idade:","metadata":{}},{"cell_type":"code","source":"set.seed(314)\n\ndf %>% \n sample_n(10000) %>% \n filter_at(c(\"NU_NOTA_LC\", \"NU_NOTA_CH\", \"NU_NOTA_CN\", \"NU_NOTA_MT\", \"NU_NOTA_REDACAO\"),\n ~.x!=0) %>% \n select(NU_IDADE, NU_NOTA_LC, NU_NOTA_CH, NU_NOTA_CN, NU_NOTA_MT, NU_NOTA_REDACAO) %>% \n gather(Prova, Nota, -NU_IDADE) %>% \n ggplot(aes(x=Nota, y=NU_IDADE))+\n geom_point(alpha=0.4)+\n facet_wrap(~Prova, nrow=1)+\n scale_y_continuous(breaks = seq(0, 100, 10))","metadata":{"_kg_hide-input":true,"execution":{"iopub.status.busy":"2022-02-25T03:33:58.664879Z","iopub.execute_input":"2022-02-25T03:33:58.666324Z","iopub.status.idle":"2022-02-25T03:34:01.809605Z"},"trusted":true},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":"
\n📌 Interpretação: \n\n
→ A idade não parece ter forte relação com nenhumas das notas
→ Alunos com deficit de atenção tiveram notas maiores no geral, será que é pelo uso de algum medicamento ou por que alguns tem direito a mais tempo de prova?
\n\n
\n","metadata":{}},{"cell_type":"markdown","source":"# Dados de pedidos de atendimento especifico\n\nTODO","metadata":{}},{"cell_type":"markdown","source":"# Dados dos pedidos de atendimento específicos para realização da prova\n\nTODO\n\n","metadata":{}},{"cell_type":"markdown","source":"# Dados do local de aplicação da prova\n\nTODO","metadata":{}},{"cell_type":"markdown","source":"# Dados de questionario sócio econômico\n\nTODO","metadata":{}},{"cell_type":"markdown","source":"# Dados da prova objetiva e da redação\n\n---","metadata":{}},{"cell_type":"markdown","source":"### Districuição das notas","metadata":{}},{"cell_type":"code","source":"fig(12, 4)\ndf %>% \n filter_at(c(\"NU_NOTA_CN\", \"NU_NOTA_CH\", \"NU_NOTA_LC\", \"NU_NOTA_MT\", \"NU_NOTA_REDACAO\"), ~!is.na(.x)) %>% \n select(starts_with(\"NU_NOTA\")) %>% \n gather(Prova, Nota) %>% \n ggplot(aes(y = Prova, x = Nota)) + \n ggridges::geom_density_ridges()+\n scale_x_continuous(breaks = seq(0, 1000, 50))","metadata":{"execution":{"iopub.status.busy":"2022-02-25T03:41:44.708626Z","iopub.execute_input":"2022-02-25T03:41:44.710246Z","iopub.status.idle":"2022-02-25T03:41:47.304821Z"},"_kg_hide-input":true,"trusted":true},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":"
\n📌 Interpretação: \n\n
→ As notas do caderno de linguas e códigos foi a maior, no geral;
\n
→ A nota de redação é a que tem o comportamento mais ruidoso e maior número de zeros;
\n
→ Ciências da natureza e matemática foram os que apresentaram menor nota, no geral.
→ A maior correlação observada foi entre as notas de Linguas e Códigos e e Ciências Humanas;
\n
→ Redação é a nota que possui menor correlação com as demais.
\n\n \n
","metadata":{}},{"cell_type":"markdown","source":"# Conclusão\n---\n\nPelo menos do que venho analisando até o momento, esta base acaba sendo um retrato da grave desigualdade no brasil.. 🙁","metadata":{}},{"cell_type":"markdown","source":"\n\n
\n👏 Parabéns! \n \n
Para finalizar, obrigado e parabéns aos organizadores da competição e também aos demais participantes que estão se esforçando e proporcionado uma competição bem disputada!!
![](\"https://conteudo.imguol.com.br/c/noticias/f6/2020/06/26/imagem-de-prova-do-enem-1593183331646_v2_615x300.jpg\"/)