\n\n- Mục tiêu chính của cuộc thi là sử dụng dữ liệu huấn luyện để dự đoán **sii** **(Severity Impairment Index)**, một thước đo tiêu chuẩn của Sử dụng Internet có vấn đề (**Problematic Internet Use - PIU**).\n- Dữ liệu huấn luyện bao gồm 3.960 bản ghi của trẻ em và thanh thiếu niên với 81 cột (không bao gồm cột ID).\n- Dữ liệu quan trọng nhất trong bộ dữ liệu là kết quả của Bài kiểm tra nghiện Internet giữa cha mẹ và con cái **(Parent-Child Internet Addiction Test - PCIAT)**.\n- Mục tiêu (target) thực tế được suy ra từ trường PCIAT-PCIAT_Total (điểm tối đa là 100).\n- Do đó, chúng ta có thể chọn dự đoán tổng điểm PCIAT **(PCIAT Total)** và chuyển đổi nó thành **sii** (biến bài toán thành bài toán hồi quy), hoặc trực tiếp dự đoán **sii** (biến thành bài toán phân loại)\n- Dữ liệu kiểm tra chỉ là dữ liệu mẫu đã được định dạng. Dữ liệu kiểm tra thực tế với khoảng 3.800 trường hợp vẫn đang bị ẩn.\n- Trong dữ liệu mẫu, không có trường nào trong 22 trường PCIAT (bao gồm cả trường mục tiêu). Vì vậy, dữ liệu mẫu có định dạng 58 cột, so với 81 cột trong dữ liệu huấn luyện.\n- Trong 1.224 bản ghi của dữ liệu huấn luyện, giá trị mục tiêu sii và tất cả các trường PCIAT bị thiếu - có lẽ do không khả dụng.\n- Tổng cộng có hơn 1.000.000 giá trị bị thiếu trong dữ liệu huấn luyện.\n- Chỉ có 2.736 bản ghi có mục tiêu (target), phần còn lại bị thiếu.\n- Ngoài ra, 996 trẻ em và thanh thiếu niên còn có dữ liệu từ thiết bị cảm biến đeo trên người, thiết bị này đo lường hoạt động vận động cơ bản.","metadata":{}},{"cell_type":"markdown","source":"#
2/ Imports
","metadata":{}},{"cell_type":"code","source":"import numpy as np, pandas as pd, os\nfrom sklearn.model_selection import cross_val_score, StratifiedKFold\nimport xgboost as xgb\nimport plotly.express as px, seaborn as sns, matplotlib.pyplot as plt\nsns.set_style('darkgrid')\nfrom sklearn.metrics import make_scorer, cohen_kappa_score\nimport eli5\nfrom eli5.sklearn import PermutationImportance\nimport warnings\nwarnings.simplefilter('ignore')","metadata":{"_uuid":"8f2839f25d086af736a60e9eeb907d3b93b6e0e5","_cell_guid":"b1076dfc-b9ad-4769-8c92-a6c4dae69d19","execution":{"iopub.status.busy":"2025-01-07T15:36:36.316446Z","iopub.execute_input":"2025-01-07T15:36:36.316833Z","iopub.status.idle":"2025-01-07T15:36:36.323744Z","shell.execute_reply.started":"2025-01-07T15:36:36.316801Z","shell.execute_reply":"2025-01-07T15:36:36.322587Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
3/ Data
","metadata":{}},{"cell_type":"code","source":"path = '../input/child-mind-institute-problematic-internet-use/'\n\ntrain = pd.read_csv(path + 'train.csv', index_col = 'id')\nprint(\"The train data has the shape: \",train.shape)\ntest = pd.read_csv(path + 'test.csv', index_col = 'id')\nprint(\"The test data has the shape: \",test.shape)\nprint(\"\")\nprint(\"Total number of missing training values: \", train.isna().sum().sum())\ndata_dict = pd.read_csv(path + 'data_dictionary.csv')\ntrain_vis = train.copy()","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:36.325835Z","iopub.execute_input":"2025-01-07T15:36:36.326813Z","iopub.status.idle":"2025-01-07T15:36:36.394446Z","shell.execute_reply.started":"2025-01-07T15:36:36.326775Z","shell.execute_reply":"2025-01-07T15:36:36.393318Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
4/ EDA
","metadata":{}},{"cell_type":"markdown","source":"helper function: giúp tính toán và trình bày các thống kê mô tả cho các cột trong một DataFrame","metadata":{}},{"cell_type":"code","source":"def calculate_stats(data, columns):\n if isinstance(columns, str):\n columns = [columns]\n\n stats = []\n for col in columns:\n if data[col].dtype in ['object', 'category']:\n counts = data[col].value_counts(dropna=False, sort=False)\n percents = data[col].value_counts(normalize=True, dropna=False, sort=False) * 100\n formatted = counts.astype(str) + ' (' + percents.round(2).astype(str) + '%)'\n stats_col = pd.DataFrame({'count (%)': formatted})\n stats.append(stats_col)\n else:\n stats_col = data[col].describe().to_frame().transpose()\n stats_col['missing'] = data[col].isnull().sum()\n stats_col.index.name = col\n stats.append(stats_col)\n\n return pd.concat(stats, axis=0)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:36.396111Z","iopub.execute_input":"2025-01-07T15:36:36.396450Z","iopub.status.idle":"2025-01-07T15:36:36.403983Z","shell.execute_reply.started":"2025-01-07T15:36:36.396415Z","shell.execute_reply":"2025-01-07T15:36:36.402955Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"# Target Variable","metadata":{}},{"cell_type":"code","source":"train_cols = set(train.columns)\ntest_cols = set(test.columns)\ncolumns_not_in_test = sorted(list(train_cols - test_cols))\ndata_dict[data_dict['Field'].isin(columns_not_in_test)]","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:36.405323Z","iopub.execute_input":"2025-01-07T15:36:36.405653Z","iopub.status.idle":"2025-01-07T15:36:36.431481Z","shell.execute_reply.started":"2025-01-07T15:36:36.405622Z","shell.execute_reply":"2025-01-07T15:36:36.430440Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"**Parent-Child Internet Addiction Test (PCIAT):** Gồm 20 mục (từ `PCIAT-PCIAT_01` đến `PCIAT-PCIAT_20`), mỗi mục đánh giá một khía cạnh khác nhau trong hành vi của trẻ liên quan đến việc sử dụng Internet. Các mục được trả lời trên thang điểm từ 0 đến 5, và tổng điểm cung cấp một chỉ báo về mức độ nghiêm trọng của chứng nghiện Internet.\n\nNgoài ra cũng có thông tin về mùa tham gia kiểm tra `PCIAT-Season` và tổng điểm trong `PCIAT-PCIAT_Total`; vì vậy, tổng cộng có 22 cột liên quan đến bài kiểm tra `PCIAT`.\n\nHãy xác minh rằng `PCIAT-PCIAT_Total` có phù hợp với các danh mục sii tương ứng hay không, bằng cách tính điểm số nhỏ nhất và lớn nhất cho từng danh mục sii:","metadata":{}},{"cell_type":"code","source":"pciat_min_max = train_vis.groupby('sii')['PCIAT-PCIAT_Total'].agg(['min', 'max'])\npciat_min_max = pciat_min_max.rename(\n columns={'min': 'Minimum PCIAT total Score', 'max': 'Maximum total PCIAT Score'}\n)\npciat_min_max","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:36.434042Z","iopub.execute_input":"2025-01-07T15:36:36.434929Z","iopub.status.idle":"2025-01-07T15:36:36.449655Z","shell.execute_reply.started":"2025-01-07T15:36:36.434882Z","shell.execute_reply":"2025-01-07T15:36:36.448817Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"data_dict[data_dict['Field'] == 'PCIAT-PCIAT_Total']['Value Labels'].iloc[0]","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:36.450897Z","iopub.execute_input":"2025-01-07T15:36:36.451305Z","iopub.status.idle":"2025-01-07T15:36:36.460060Z","shell.execute_reply.started":"2025-01-07T15:36:36.451261Z","shell.execute_reply":"2025-01-07T15:36:36.459093Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Check các câu trả lời còn thiếu","metadata":{}},{"cell_type":"code","source":"train_vis_with_sii = train_vis[train_vis['sii'].notna()][columns_not_in_test]\ntrain_vis_with_sii[train_vis_with_sii.isna().any(axis=1)].head().style.applymap(\n lambda x: 'background-color: #FFC0CB' if pd.isna(x) else ''\n)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:36.461129Z","iopub.execute_input":"2025-01-07T15:36:36.461455Z","iopub.status.idle":"2025-01-07T15:36:36.487545Z","shell.execute_reply.started":"2025-01-07T15:36:36.461425Z","shell.execute_reply":"2025-01-07T15:36:36.486434Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Ví dụ: ở hàng thứ 1 và thứ 3, bạn có thể thấy thiếu điểm cho một câu trả lời. Và vì mỗi câu hỏi được tính điểm từ 1 đến 5 nên tổng số điểm có thể cao hơn tới 5 điểm và tương ứng với danh mục `sii` tiếp theo (`sii` có thể là 0 hoặc 1 cho hàng đầu tiên và 1 hoặc 2 cho hàng thứ ba). Đối với hàng thứ hai, `PCIAT-PCIAT_Total` và `sii` dường như đã được điền nhầm vì không có câu hỏi kiểm tra nào được trả lời cả.","metadata":{}},{"cell_type":"markdown","source":"Hãy kiểm tra xem `PCIAT-PCIAT_Total` có thực sự được tính bằng tổng các giá trị không phải NA trong các cột `PCIAT-PCIAT_01` đến `PCIAT-PCIAT_20` hay không:","metadata":{}},{"cell_type":"code","source":"PCIAT_cols = [f'PCIAT-PCIAT_{i+1:02d}' for i in range(20)]\nrecalc_total_score = train_vis_with_sii[PCIAT_cols].sum(\n axis=1, skipna=True\n)\n(recalc_total_score == train_vis_with_sii['PCIAT-PCIAT_Total']).all()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:36.489699Z","iopub.execute_input":"2025-01-07T15:36:36.490029Z","iopub.status.idle":"2025-01-07T15:36:36.500609Z","shell.execute_reply.started":"2025-01-07T15:36:36.489997Z","shell.execute_reply":"2025-01-07T15:36:36.499429Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Hiện tại, chúng ta có thể kết luận rằng điểm `sii` đôi khi không chính xác. Dưới đây tôi tính toán lại `sii` dựa trên `PCIAT_Total` và số điểm tối đa có thể có nếu trả lời các giá trị bị thiếu (5 điểm), đảm bảo rằng `sii` được tính lại đáp ứng các ngưỡng dự kiến ngay cả khi còn thiếu một số câu trả lời.","metadata":{}},{"cell_type":"code","source":"def recalculate_sii(row):\n if pd.isna(row['PCIAT-PCIAT_Total']):\n return np.nan\n max_possible = row['PCIAT-PCIAT_Total'] + row[PCIAT_cols].isna().sum() * 5\n if row['PCIAT-PCIAT_Total'] <= 30 and max_possible <= 30:\n return 0\n elif 31 <= row['PCIAT-PCIAT_Total'] <= 49 and max_possible <= 49:\n return 1\n elif 50 <= row['PCIAT-PCIAT_Total'] <= 79 and max_possible <= 79:\n return 2\n elif row['PCIAT-PCIAT_Total'] >= 80 and max_possible >= 80:\n return 3\n return np.nan\n\ntrain_vis['recalc_sii'] = train_vis.apply(recalculate_sii, axis=1)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:36.501762Z","iopub.execute_input":"2025-01-07T15:36:36.502106Z","iopub.status.idle":"2025-01-07T15:36:37.922341Z","shell.execute_reply.started":"2025-01-07T15:36:36.502075Z","shell.execute_reply":"2025-01-07T15:36:37.921545Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Từ đây, ta thấy được các hàng có `sii` gốc và `sii` được tính toán lại khác nhau:","metadata":{}},{"cell_type":"code","source":"mismatch_rows = train_vis[\n (train_vis['recalc_sii'] != train_vis['sii']) & train_vis['sii'].notna()\n]\n\nmismatch_rows[PCIAT_cols + [\n 'PCIAT-PCIAT_Total', 'sii', 'recalc_sii'\n]].style.applymap(\n lambda x: 'background-color: #FFC0CB' if pd.isna(x) else ''\n)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:37.924133Z","iopub.execute_input":"2025-01-07T15:36:37.924463Z","iopub.status.idle":"2025-01-07T15:36:37.951294Z","shell.execute_reply.started":"2025-01-07T15:36:37.924430Z","shell.execute_reply":"2025-01-07T15:36:37.950317Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: Như vậy, có 17 hàng biến mục tiêu đã được tính toán không chính xác (bỏ qua các câu trả lời bị thiếu).\n
","metadata":{}},{"cell_type":"markdown","source":"
\n
Giải thích
\n Nếu các câu hỏi chưa được trả lời được tự động tính là số 0, điều này có thể gây ra lỗi!
\n Hãy nhìn vào hàng cuối cùng của bảng trên. Người trả lời này đã trả lời 18 trong số 20 câu hỏi với tổng điểm (PCIAT-PCIAT_Total) là 42. SII ban đầu là 1 vì điểm 31-49 tương đương với SII = 1('Nhẹ'). NHƯNG chúng ta không biết người này sẽ trả lời những câu hỏi còn thiếu như thế nào - họ có thể đạt điểm 0, 5 hoặc điểm nào đó ở giữa. Để giải thích điều này, tôi thêm điểm tối đa có thể có (5) cho mỗi câu hỏi chưa được trả lời, cho điểm max_possible là 52, nằm trong phạm vi sii 'Trung bình' (sii = 2 nếu PCIAT-PCIAT_Total nằm trong khoảng từ 50 đến 79). SII ban đầu = 1, có thể sai hoặc đúng - chúng ta không biết! Vì vậy, việc tính toán lại SII bằng hàm recalcate_sii sẽ cho kết quả là SII = nan, không phải SII = 2 hay thứ gì khác.
\n Hướng tiếp cận này đảm bảo rằng tất cả các điểm SII không rõ ràng (những điểm có thể bị ảnh hưởng bởi các câu hỏi chưa được trả lời) đều được đánh dấu là nan.
\n","metadata":{}},{"cell_type":"markdown","source":"Trong các phân tích sau đây, tôi sẽ chỉ sử dụng SII đúng. Tôi sẽ chỉ sử dụng tổng điểm nếu tất cả PCIAT_cols có giá trị không phải NA (tất cả các câu hỏi của Parent-Child Internet Addiction Test đã được trả lời).","metadata":{}},{"cell_type":"code","source":"train_vis['sii'] = train_vis['recalc_sii']\ntrain_vis['complete_resp_total'] = train['PCIAT-PCIAT_Total'].where(\n train_vis[PCIAT_cols].notna().all(axis=1), np.nan\n)\n\nsii_map = {0: '0 (None)', 1: '1 (Mild)', 2: '2 (Moderate)', 3: '3 (Severe)'}\n# sii_map = {0: 0, 1: 1, 2: 2, 3: 3}\ntrain_vis['sii'] = train_vis['sii'].map(sii_map).fillna('Missing')\n\nsii_order = ['Missing', '0 (None)', '1 (Mild)', '2 (Moderate)', '3 (Severe)']\n# sii_order = ['Missing', 0, 1, 2, 3]\ntrain_vis['sii'] = pd.Categorical(train_vis['sii'], categories=sii_order, ordered=True)\n\ntrain_vis.drop(columns='recalc_sii', inplace=True)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:37.952800Z","iopub.execute_input":"2025-01-07T15:36:37.953116Z","iopub.status.idle":"2025-01-07T15:36:37.972116Z","shell.execute_reply.started":"2025-01-07T15:36:37.953084Z","shell.execute_reply":"2025-01-07T15:36:37.971079Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Vẽ đồ thị phân phối của biến mục tiêu","metadata":{}},{"cell_type":"code","source":"sii_counts = train_vis['sii'].value_counts().reset_index()\ntotal = sii_counts['count'].sum()\nsii_counts['percentage'] = (sii_counts['count'] / total) * 100\n\nfig, axes = plt.subplots(1, 2, figsize=(14, 5))\n\n# SII\nsns.barplot(x='sii', y='count', data=sii_counts, palette='Blues_d', ax=axes[0])\naxes[0].set_title('Distribution of Severity Impairment Index (sii)', fontsize=14)\nfor p in axes[0].patches:\n height = p.get_height()\n percentage = sii_counts.loc[sii_counts['count'] == height, 'percentage'].values[0]\n axes[0].text(\n p.get_x() + p.get_width() / 2,\n height + 5, f'{int(height)} ({percentage:.1f}%)',\n ha=\"center\", fontsize=12\n )\n\n# PCIAT_Total for complete responses\nsns.histplot(train_vis['complete_resp_total'].dropna(), bins=20, ax=axes[1])\naxes[1].set_title('Distribution of PCIAT_Total', fontsize=14)\naxes[1].set_xlabel('PCIAT_Total for Complete PCIAT Responses')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:37.973612Z","iopub.execute_input":"2025-01-07T15:36:37.973983Z","iopub.status.idle":"2025-01-07T15:36:38.675400Z","shell.execute_reply.started":"2025-01-07T15:36:37.973951Z","shell.execute_reply":"2025-01-07T15:36:38.674291Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"len(train_vis[train_vis['complete_resp_total'] == 0])","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:38.676761Z","iopub.execute_input":"2025-01-07T15:36:38.677071Z","iopub.status.idle":"2025-01-07T15:36:38.685043Z","shell.execute_reply.started":"2025-01-07T15:36:38.677040Z","shell.execute_reply":"2025-01-07T15:36:38.683951Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: Ta có thể thấy, 40% số người tham gia không bị ảnh hưởng bởi việc sử dụng Internet, 31% không được đánh giá và chỉ thiểu số (~10%) bị suy giảm ở mức độ từ trung bình đến nặng. Có 307 người tham gia đạt điểm 0 ở tất cả các câu hỏi PCIAT.\n
","metadata":{}},{"cell_type":"markdown","source":"SII theo độ tuổi và giới tính","metadata":{}},{"cell_type":"code","source":"assert train_vis['Basic_Demos-Age'].isna().sum() == 0\nassert train_vis['Basic_Demos-Sex'].isna().sum() == 0","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:38.686227Z","iopub.execute_input":"2025-01-07T15:36:38.686576Z","iopub.status.idle":"2025-01-07T15:36:38.697684Z","shell.execute_reply.started":"2025-01-07T15:36:38.686545Z","shell.execute_reply":"2025-01-07T15:36:38.696826Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train_vis['Age Group'] = pd.cut(\n train_vis['Basic_Demos-Age'],\n bins=[4, 12, 18, 22],\n labels=['Children (5-12)', 'Adolescents (13-18)', 'Adults (19-22)']\n)\ncalculate_stats(train_vis, 'Age Group')","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:38.700473Z","iopub.execute_input":"2025-01-07T15:36:38.700774Z","iopub.status.idle":"2025-01-07T15:36:38.719709Z","shell.execute_reply.started":"2025-01-07T15:36:38.700746Z","shell.execute_reply":"2025-01-07T15:36:38.718614Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"sex_map = {0: 'Male', 1: 'Female'}\ntrain_vis['Basic_Demos-Sex'] = train_vis['Basic_Demos-Sex'].map(sex_map)\ncalculate_stats(train_vis, 'Basic_Demos-Sex')","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:38.720835Z","iopub.execute_input":"2025-01-07T15:36:38.721132Z","iopub.status.idle":"2025-01-07T15:36:38.732559Z","shell.execute_reply.started":"2025-01-07T15:36:38.721104Z","shell.execute_reply":"2025-01-07T15:36:38.731539Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"fig, axes = plt.subplots(1, 3, figsize=(18, 5))\n\n# SII by Age\nsns.boxplot(y=train_vis['Basic_Demos-Age'], x=train_vis['sii'], ax=axes[0], palette=\"Set3\")\naxes[0].set_title('SII by Age')\naxes[0].set_ylabel('Age')\naxes[0].set_xlabel('SII')\n\n# Complete PCIAT Responses by Age Group\nsns.boxplot(\n x='Age Group', y='complete_resp_total',\n data=train_vis, palette=\"Set3\", ax=axes[1]\n)\naxes[1].set_title('Complete PCIAT Responses by Age Group')\naxes[1].set_ylabel('PCIAT_Total for Complete Responses')\naxes[1].set_xlabel('Age Group')\n\n# PCIAT_Total by Sex\nsns.histplot(\n data=train_vis, x='complete_resp_total',\n hue='Basic_Demos-Sex', multiple='stack',\n palette=\"Set3\", bins=20, ax=axes[2]\n)\naxes[2].set_title('PCIAT_Total Distribution by Sex')\naxes[2].set_xlabel('PCIAT_Total for Complete Responses')\naxes[2].set_ylabel('Frequency')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:38.733934Z","iopub.execute_input":"2025-01-07T15:36:38.734200Z","iopub.status.idle":"2025-01-07T15:36:39.738408Z","shell.execute_reply.started":"2025-01-07T15:36:38.734173Z","shell.execute_reply":"2025-01-07T15:36:39.737320Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"stats = train_vis.groupby(['Age Group', 'sii']).size().unstack(fill_value=0)\nfig, axes = plt.subplots(1, len(stats), figsize=(18, 5))\n\nfor i, age_group in enumerate(stats.index):\n group_counts = stats.loc[age_group] / stats.loc[age_group].sum()\n axes[i].pie(\n group_counts, labels=group_counts.index, autopct='%1.1f%%',\n startangle=90, colors=sns.color_palette(\"Set3\"),\n labeldistance=1.05, pctdistance=0.80\n )\n axes[i].set_title(f'SII Distribution for {age_group}')\n axes[i].axis('equal')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:39.740301Z","iopub.execute_input":"2025-01-07T15:36:39.740694Z","iopub.status.idle":"2025-01-07T15:36:40.278158Z","shell.execute_reply.started":"2025-01-07T15:36:39.740629Z","shell.execute_reply":"2025-01-07T15:36:40.277091Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Sự phân bố sii giữa các nhóm tuổi khác nhau:","metadata":{}},{"cell_type":"code","source":"stats = train_vis.groupby(['Age Group', 'sii']).size().unstack(fill_value=0)\nstats_prop = stats.div(stats.sum(axis=1), axis=0) * 100\n\nstats = stats.astype(str) +' (' + stats_prop.round(1).astype(str) + '%)'\nstats","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:40.279681Z","iopub.execute_input":"2025-01-07T15:36:40.280094Z","iopub.status.idle":"2025-01-07T15:36:40.304155Z","shell.execute_reply.started":"2025-01-07T15:36:40.280050Z","shell.execute_reply":"2025-01-07T15:36:40.303077Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Tính tỷ lệ phần trăm cho những người tham gia chỉ có SII không thiếu:","metadata":{}},{"cell_type":"code","source":"stats = train_vis[train_vis['sii'] != 'Missing'].groupby(\n ['Age Group', 'sii']\n).size().unstack(fill_value=0)\nstats_prop = stats.div(stats.sum(axis=1), axis=0) * 100\n\nstats = stats.astype(str) +' (' + stats_prop.round(1).astype(str) + '%)'\nstats","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:40.305879Z","iopub.execute_input":"2025-01-07T15:36:40.306299Z","iopub.status.idle":"2025-01-07T15:36:40.328870Z","shell.execute_reply.started":"2025-01-07T15:36:40.306253Z","shell.execute_reply":"2025-01-07T15:36:40.327813Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Các biểu đồ hộp (box plots) là các cách trình bày khác nhau của biến mục tiêu ở dạng được phân loại (SII) và dạng số (PCIAT_Total). Chúng cho thấy rằng điểm SII cao hơn thường liên quan đến nhóm tuổi lớn hơn, nhưng có sự chồng lấn đáng kể về khoảng tuổi trong mỗi danh mục. Đồng thời, giá trị trung vị của PCIAT_Total cao hơn ở thanh thiếu niên, gợi ý mối quan hệ hình chữ U giữa độ tuổi và mức độ ảnh hưởng của PIU (các vấn đề liên quan đến Internet có thể đạt đỉnh điểm trong giai đoạn thanh thiếu niên).\n
- Theo đó, trong các biểu đồ tròn (pie charts), phân bố SII ở trẻ em và người lớn nghiêng về các giá trị thấp (không hoặc nhẹ), trong khi ở thanh thiếu niên, phân bố cân đối hơn giữa các danh mục không, nhẹ và trung bình.\n
- Vậy còn số liệu thì sao (xem bảng)? Số lượng thanh thiếu niên thấp hơn nhiều so với trẻ em, và số lượng người lớn tham gia thì cực kỳ thấp (chỉ 88 người, trong đó chỉ có 36 người có SII)\n
- Như đã thấy từ các biểu đồ trong phần trước, phân bố tổng thể của SII nghiêng về các giá trị thấp và các trường hợp nghiêm trọng rất hiếm. Do đó, có thể tồn tại những mối quan hệ mà chúng ta không nhìn thấy được do kích thước mẫu không đồng đều và sự thiếu đại diện của các trường hợp nghiêm trọng.\n
- Sự khác biệt giữa nam và nữ tương đối tinh tế.\n
\n
","metadata":{}},{"cell_type":"markdown","source":"# Internet Use","metadata":{}},{"cell_type":"markdown","source":"Dữ liệu sử dụng Internet rất quan trọng đối với nhiệm vụ này vì Problematic internet use (PIU), đề cập đến việc sử dụng Internet quá mức và không lành mạnh, cản trở cuộc sống hàng ngày, trách nhiệm và các mối quan hệ xã hội của một người. Dữ liệu sử dụng Internet cung cấp thước đo trực tiếp về lượng thời gian mỗi người tham gia trực tuyến.","metadata":{}},{"cell_type":"code","source":"data = train_vis[train_vis['PreInt_EduHx-computerinternet_hoursday'].notna()]\nage_range = data['Basic_Demos-Age']\nprint(\n f\"Age range for participants with measured PreInt_EduHx-computerinternet_hoursday data:\"\n f\" {age_range.min()} - {age_range.max()} years\"\n)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:40.330247Z","iopub.execute_input":"2025-01-07T15:36:40.330582Z","iopub.status.idle":"2025-01-07T15:36:40.338692Z","shell.execute_reply.started":"2025-01-07T15:36:40.330551Z","shell.execute_reply":"2025-01-07T15:36:40.337614Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train_vis['PreInt_EduHx-computerinternet_hoursday'].unique()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:40.340148Z","iopub.execute_input":"2025-01-07T15:36:40.340999Z","iopub.status.idle":"2025-01-07T15:36:40.358075Z","shell.execute_reply.started":"2025-01-07T15:36:40.340965Z","shell.execute_reply":"2025-01-07T15:36:40.357016Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"param_map = {0: '< 1h/day', 1: '~ 1h/day', 2: '~ 2hs/day', 3: '> 3hs/day'}\ntrain_vis['internet_use_encoded'] = train_vis[\n 'PreInt_EduHx-computerinternet_hoursday'\n].map(param_map).fillna('Missing')\n\nparam_ord = ['Missing', '< 1h/day', '~ 1h/day', '~ 2hs/day', '> 3hs/day']\ntrain_vis['internet_use_encoded'] = pd.Categorical(\n train_vis['internet_use_encoded'], categories=param_ord,\n ordered=True\n)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:40.359301Z","iopub.execute_input":"2025-01-07T15:36:40.359621Z","iopub.status.idle":"2025-01-07T15:36:40.374789Z","shell.execute_reply.started":"2025-01-07T15:36:40.359590Z","shell.execute_reply":"2025-01-07T15:36:40.373706Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"calculate_stats(train_vis, 'PreInt_EduHx-Season')","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:40.376280Z","iopub.execute_input":"2025-01-07T15:36:40.376843Z","iopub.status.idle":"2025-01-07T15:36:40.396326Z","shell.execute_reply.started":"2025-01-07T15:36:40.376795Z","shell.execute_reply":"2025-01-07T15:36:40.395285Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"fig, axes = plt.subplots(1, 3, figsize=(18, 5))\n\n# Hours of Internet Use\nax1 = sns.countplot(x='internet_use_encoded', data=train_vis, palette=\"Set3\", ax=axes[0])\naxes[0].set_title('Distribution of Hours of Internet Use')\naxes[0].set_xlabel('Hours per Day Group')\naxes[0].set_ylabel('Count')\n\ntotal = len(train_vis['internet_use_encoded'])\nfor p in ax1.patches:\n count = int(p.get_height())\n percentage = '{:.1f}%'.format(100 * count / total)\n ax1.annotate(f'{count} ({percentage})', (p.get_x() + p.get_width() / 2., p.get_height()), \n ha='center', va='baseline', fontsize=10, color='black', xytext=(0, 5), \n textcoords='offset points')\n\n# Hours of Internet Use by Age\nsns.boxplot(y=train_vis['Basic_Demos-Age'], x=train_vis['internet_use_encoded'], ax=axes[1], palette=\"Set3\")\naxes[1].set_title('Hours of Internet Use by Age')\naxes[1].set_ylabel('Age')\naxes[1].set_xlabel('Hours per Day Group')\n\n# Hours of Internet Use (numeric) by Age Group\nsns.boxplot(y='PreInt_EduHx-computerinternet_hoursday', x='Age Group', data=train_vis, ax=axes[2], palette=\"Set3\")\naxes[2].set_title('Internet Hours by Age Group')\naxes[2].set_ylabel('Hours per Day (Numeric)')\naxes[2].set_xlabel('Age Group')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:40.398074Z","iopub.execute_input":"2025-01-07T15:36:40.398460Z","iopub.status.idle":"2025-01-07T15:36:41.163484Z","shell.execute_reply.started":"2025-01-07T15:36:40.398413Z","shell.execute_reply":"2025-01-07T15:36:41.162432Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"stats = train_vis.groupby(\n ['Age Group', 'internet_use_encoded']\n).size().unstack(fill_value=0)\nfig, axes = plt.subplots(1, len(stats), figsize=(18, 5))\n\nfor i, age_group in enumerate(stats.index):\n group_counts = stats.loc[age_group] / stats.loc[age_group].sum()\n axes[i].pie(group_counts, labels=group_counts.index, autopct='%1.1f%%',\n startangle=90, colors=sns.color_palette(\"Set3\"), labeldistance=1.1)\n axes[i].set_title(f'Distribution of Hours of Internet Use\\n{age_group}')\n axes[i].axis('equal')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:41.164818Z","iopub.execute_input":"2025-01-07T15:36:41.165139Z","iopub.status.idle":"2025-01-07T15:36:41.562948Z","shell.execute_reply.started":"2025-01-07T15:36:41.165107Z","shell.execute_reply":"2025-01-07T15:36:41.561863Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train_vis_non_na = train_vis.dropna(subset=['PreInt_EduHx-computerinternet_hoursday'])\nrows = (train_vis_non_na['PreInt_EduHx-computerinternet_hoursday'] == 3).sum()\nprint(f\"Non-NA Rows - Internet use 3h or more: {(rows / len(train_vis_non_na)) * 100:.2f}%\")\n\nrows = (train_vis_non_na['PreInt_EduHx-computerinternet_hoursday'] == 0).sum()\nprint(f\"Non-NA Rows - Internet use 1h or less: {(rows / len(train_vis_non_na)) * 100:.2f}%\")","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:41.564287Z","iopub.execute_input":"2025-01-07T15:36:41.564729Z","iopub.status.idle":"2025-01-07T15:36:41.577010Z","shell.execute_reply.started":"2025-01-07T15:36:41.564683Z","shell.execute_reply":"2025-01-07T15:36:41.576168Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"stats = train_vis.groupby(['Basic_Demos-Sex', 'internet_use_encoded']\n).size().unstack(fill_value=0)\nstats_prop = stats.div(stats.sum(axis=1), axis=0) * 100\n\nstats = stats.astype(str) +' (' + stats_prop.round(1).astype(str) + '%)'\nstats","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:41.578316Z","iopub.execute_input":"2025-01-07T15:36:41.579224Z","iopub.status.idle":"2025-01-07T15:36:41.603754Z","shell.execute_reply.started":"2025-01-07T15:36:41.579175Z","shell.execute_reply":"2025-01-07T15:36:41.602706Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Dữ liệu về việc sử dụng Internet bị thiếu đối với 16,6% số người tham gia, trong khi 38,5% báo cáo rằng họ sử dụng Internet dưới 1 giờ mỗi ngày.\n
- Tương tự như dữ liệu SII, các biểu đồ hộp cho thấy việc sử dụng Internet hàng ngày nhiều hơn thường liên quan đến nhóm tuổi lớn hơn, với sự chồng lấn đáng kể giữa các khoảng tuổi trong mỗi danh mục sử dụng Internet. Tuy nhiên, ở đây cả biểu diễn phân loại và số hóa của số giờ trực tuyến đều chỉ ra mối quan hệ tuyến tính nhất quán.\n
- Các biểu đồ tròn theo nhóm tuổi cũng phù hợp và hiển thị cùng một kết quả.\n
- Việc tạo một đặc trưng tương tác giữa việc sử dụng Internet và độ tuổi có thể hữu ích cho việc xây dựng mô hình.\n
- Mức độ sử dụng Internet khá tương đồng giữa cả hai giới.\n
\n
","metadata":{}},{"cell_type":"markdown","source":"## Internet usage vs SII (target)","metadata":{}},{"cell_type":"markdown","source":"Mô tả cuộc thi nêu rõ rằng mục tiêu là: phát hiện sớm các dấu hiệu về việc sử dụng công nghệ và Internet có vấn đề (PIU), trong khi định nghĩa về PUI bao gồm việc sử dụng Internet quá mức.\nVì vậy, hãy xem những người tham gia có mức độ suy giảm sức khỏe (SII) khác nhau đã dành bao nhiêu thời gian trực tuyến trong tập dữ liệu này.","metadata":{}},{"cell_type":"code","source":"sii_reported = train_vis[train_vis['sii'] != \"Missing\"]\nsii_reported.loc[:, 'sii'] = sii_reported['sii'].cat.remove_unused_categories()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:41.604921Z","iopub.execute_input":"2025-01-07T15:36:41.605186Z","iopub.status.idle":"2025-01-07T15:36:41.620397Z","shell.execute_reply.started":"2025-01-07T15:36:41.605159Z","shell.execute_reply":"2025-01-07T15:36:41.619462Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"stats = sii_reported.groupby(\n ['internet_use_encoded', 'sii']\n).size().unstack(fill_value=0)\nstats_prop = stats.div(stats.sum(axis=1), axis=0) * 100\n\nstats = stats.astype(str) +' (' + stats_prop.round(1).astype(str) + '%)'\nstats","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:41.626709Z","iopub.execute_input":"2025-01-07T15:36:41.627008Z","iopub.status.idle":"2025-01-07T15:36:41.650406Z","shell.execute_reply.started":"2025-01-07T15:36:41.626979Z","shell.execute_reply":"2025-01-07T15:36:41.649331Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"fig = plt.figure(figsize=(12, 10))\ngs = fig.add_gridspec(2, 2, height_ratios=[1, 1.5])\n\n# SII vs Hours of Internet Use\nax1 = fig.add_subplot(gs[0, 0])\nsns.boxplot(\n x='sii', y='PreInt_EduHx-computerinternet_hoursday',\n data=sii_reported,\n ax=ax1, palette=\"Set3\"\n)\nax1.set_title('SII vs Hours of Internet Use')\nax1.set_ylabel('Hours per Day')\nax1.set_xlabel('SII')\n\n# PCIAT_Total for Complete PCIAT Responses by Hours of Internet Use\nax2 = fig.add_subplot(gs[0, 1])\nsns.boxplot(\n x='internet_use_encoded', y='complete_resp_total',\n data=sii_reported,\n palette=\"Set3\", ax=ax2\n)\nax2.set_title('PCIAT_Total by Hours of Internet Use')\nax2.set_ylabel('PCIAT_Total for Complete PCIAT Responses')\nax2.set_xlabel('Hours per Day Group')\n\n# SII vs Hours of Internet Use by Age Group (Full width)\nax3 = fig.add_subplot(gs[1, :])\nsns.boxplot(\n x='internet_use_encoded', y='complete_resp_total',\n data=sii_reported,\n hue='Age Group', ax=ax3, palette=\"Set3\"\n)\nax3.set_title('PCIAT_Total vs Hours of Internet Use by Age Group')\nax3.set_ylabel('PCIAT_Total for Complete PCIAT Responses')\nax3.set_xlabel('Hours per Day Group')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:41.651805Z","iopub.execute_input":"2025-01-07T15:36:41.652129Z","iopub.status.idle":"2025-01-07T15:36:43.287221Z","shell.execute_reply.started":"2025-01-07T15:36:41.652100Z","shell.execute_reply":"2025-01-07T15:36:43.286242Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"stats = sii_reported.groupby(\n ['sii', 'internet_use_encoded']\n).size().unstack(fill_value=0)\nfig, axes = plt.subplots(1, len(stats), figsize=(18, 5))\n\nfor i, sii_group in enumerate(stats.index):\n group_counts = stats.loc[sii_group] / stats.loc[sii_group].sum()\n axes[i].pie(\n group_counts, labels=group_counts.index, autopct='%1.1f%%',\n startangle=90, colors=sns.color_palette(\"Set3\"), labeldistance=1.1\n )\n axes[i].set_title(f'Hours of using computer/internet\\n for SII = {sii_group}')\n axes[i].axis('equal')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:43.288675Z","iopub.execute_input":"2025-01-07T15:36:43.289077Z","iopub.status.idle":"2025-01-07T15:36:43.791198Z","shell.execute_reply.started":"2025-01-07T15:36:43.289035Z","shell.execute_reply":"2025-01-07T15:36:43.790109Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train_vis[\n (train_vis['internet_use_encoded'] == '< 1h/day') & \n (train_vis['sii'].isin(['2 (Moderate)', '3 (Severe)']))\n]['Basic_Demos-Age'].describe()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:43.792539Z","iopub.execute_input":"2025-01-07T15:36:43.792858Z","iopub.status.idle":"2025-01-07T15:36:43.804691Z","shell.execute_reply.started":"2025-01-07T15:36:43.792826Z","shell.execute_reply":"2025-01-07T15:36:43.803856Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Trong các biểu đồ hộp, mặc dù có sự chồng lấn đáng kể giữa các danh mục SII và mức sử dụng Internet, chúng ta thấy một xu hướng tích cực giữa mức độ ảnh hưởng của PIU và việc sử dụng Internet, với những người có điểm SII cao hơn dành nhiều thời gian trực tuyến hơn (điều này không có gì lạ vì việc sử dụng Internet quá mức đã được giả định trong định nghĩa của PIU).\n
- Tuy nhiên, khi mối quan hệ giữa PCIAT_Total và số giờ sử dụng Internet được phân tích chi tiết hơn theo nhóm tuổi (biểu đồ hộp phía dưới), mối quan hệ phi tuyến tính giữa độ tuổi, việc sử dụng Internet và PIU hiện rõ, với thanh thiếu niên nổi bật là nhóm tuổi bị ảnh hưởng nhiều nhất ở tất cả các danh mục sử dụng Internet.\n
- Các biểu đồ tròn cũng cho thấy một tỷ lệ đáng kể người tham gia (tổng cộng 83 người, ở mọi độ tuổi) dành rất ít thời gian trực tuyến (dưới 1 giờ mỗi ngày) nhưng lại có điểm SII cao (20,7% bị ảnh hưởng ở mức trung bình - SII=2 và 14,7% bị ảnh hưởng nghiêm trọng - SII=3).\n
\n
","metadata":{}},{"cell_type":"markdown","source":"
\n
Kết luận
\n
\n - Điểm SII có xu hướng tăng theo độ tuổi nhưng thể hiện mối quan hệ hình chữ U, với thanh thiếu niên có điểm trung vị PCIAT cao nhất.
\n - Độ tuổi càng cao, số giờ trực tuyến của người tham gia càng nhiều (xu hướng tuyến tính rõ ràng).
\n - Những người có điểm SII cao thường dành nhiều thời gian trực tuyến hơn, nhưng thanh thiếu niên nổi bật là nhóm tuổi bị ảnh hưởng nhiều nhất ở tất cả các danh mục sử dụng Internet.
\n - Có những người tham gia ở hầu hết các độ tuổi (từ 5 đến 21) chỉ dành dưới 1 giờ mỗi ngày trực tuyến nhưng lại có điểm SII cao.
\n
\n
Lưu ý: Các kết quả này cần được diễn giải thận trọng, vì có sự chồng lấn đáng kể giữa các danh mục SII và mức sử dụng Internet, và các trường hợp nghiêm trọng cũng như người lớn bị thiếu đại diện trong dữ liệu.
\n
","metadata":{}},{"cell_type":"markdown","source":"# Features EDA by Groups","metadata":{}},{"cell_type":"markdown","source":"Dưới đây là cách phân loại các loại tính năng trong tập dữ liệu này:\n- Phân loại(Categorical): Các biến có danh mục riêng biệt nhưng không có thứ tự cố hữu (được biểu thị dưới dạng chuỗi, ví dụ: mùa tuyển sinh)\n- Các đặc trưng phân loại đã mã hóa(Encoded categorical features): (đã được mã hóa dưới dạng số nguyên, ví dụ: giới tính)\n- Liên tục(Continuous): Các biến có thể nhận bất kỳ giá trị nào trong một khoảng (ví dụ: tuổi, enmo, nhịp tim).\n- Thứ tự(Ordinal): Các biến có thứ tự xác định nhưng không nhất thiết phải có các danh mục cách đều nhau (ví dụ: phản hồi từ bảng hỏi).","metadata":{}},{"cell_type":"markdown","source":"Và đây là các nhóm feature khác nhau:","metadata":{}},{"cell_type":"code","source":"groups = data_dict.groupby('Instrument')['Field'].apply(list).to_dict()\n\nfor instrument, features in groups.items():\n print(f\"{instrument}: {features}\\n\")","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:43.805990Z","iopub.execute_input":"2025-01-07T15:36:43.806279Z","iopub.status.idle":"2025-01-07T15:36:43.817557Z","shell.execute_reply.started":"2025-01-07T15:36:43.806248Z","shell.execute_reply":"2025-01-07T15:36:43.816571Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Remove target-related columns and continue EDA by feature groups","metadata":{}},{"cell_type":"code","source":"data_dict = data_dict[data_dict['Instrument'] != 'Parent-Child Internet Addiction Test']\ncontinuous_cols = data_dict[data_dict['Type'].str.contains(\n 'float|int', case=False\n)]['Field'].tolist()\n\n# target = train[['sii']]\n# train = train.drop(columns = columns_not_in_test)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:43.818856Z","iopub.execute_input":"2025-01-07T15:36:43.819166Z","iopub.status.idle":"2025-01-07T15:36:43.835164Z","shell.execute_reply.started":"2025-01-07T15:36:43.819138Z","shell.execute_reply":"2025-01-07T15:36:43.834422Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
- Demographics
","metadata":{}},{"cell_type":"code","source":"groups.get('Demographics', [])","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:43.836457Z","iopub.execute_input":"2025-01-07T15:36:43.836849Z","iopub.status.idle":"2025-01-07T15:36:43.850332Z","shell.execute_reply.started":"2025-01-07T15:36:43.836804Z","shell.execute_reply":"2025-01-07T15:36:43.849508Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"fig, axes = plt.subplots(1, 2, figsize=(12, 5))\n\n# Season of Enrollment\nseason_counts = train['Basic_Demos-Enroll_Season'].value_counts(dropna=False)\n\naxes[0].pie(\n season_counts, labels=season_counts.index,\n autopct='%1.1f%%', startangle=90,\n colors=sns.color_palette(\"Set3\")\n)\naxes[0].set_title('Season of Enrollment')\naxes[0].axis('equal')\n\n# Age Distribution by Sex\nsns.histplot(\n data=train, x='Basic_Demos-Age',\n hue='Basic_Demos-Sex', multiple='dodge',\n palette=\"Set2\", bins=20, ax=axes[1]\n)\naxes[1].set_title('Age Distribution by Sex')\naxes[1].set_xlabel('Age')\naxes[1].set_ylabel('Count')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:43.851683Z","iopub.execute_input":"2025-01-07T15:36:43.852083Z","iopub.status.idle":"2025-01-07T15:36:44.548859Z","shell.execute_reply.started":"2025-01-07T15:36:43.852034Z","shell.execute_reply":"2025-01-07T15:36:44.547804Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"0=Male, 1=Female","metadata":{}},{"cell_type":"code","source":"calculate_stats(train, 'Basic_Demos-Age')","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:44.550082Z","iopub.execute_input":"2025-01-07T15:36:44.550363Z","iopub.status.idle":"2025-01-07T15:36:44.568594Z","shell.execute_reply.started":"2025-01-07T15:36:44.550335Z","shell.execute_reply":"2025-01-07T15:36:44.567624Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Phân phối việc tham gia theo mùa khá cân đối, với tỷ lệ tham gia cao nhất vào mùa Xuân (28.5%) và thấp nhất vào mùa Thu (21.9%)..\n
- Có một số lượng nam cao hơn ở hầu hết các nhóm tuổi, trong khi số lượng nữ ít hơn, đặc biệt là ở các nhóm tuổi trẻ hơn.\n
- Các mối quan hệ với biến mục tiêu (không có sự khác biệt về SII giữa nam và nữ, mối quan hệ theo hình chữ U giữa độ tuổi và mức độ ảnh hưởng của PIU).\n
\n
","metadata":{}},{"cell_type":"markdown","source":"#
- Children's Global Assessment Scale
","metadata":{}},{"cell_type":"code","source":"groups.get(\"Children's Global Assessment Scale\", [])","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:44.569713Z","iopub.execute_input":"2025-01-07T15:36:44.570026Z","iopub.status.idle":"2025-01-07T15:36:44.576183Z","shell.execute_reply.started":"2025-01-07T15:36:44.569995Z","shell.execute_reply":"2025-01-07T15:36:44.575238Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"data = train_vis[train_vis['CGAS-CGAS_Score'].notnull()]\nage_range = data['Basic_Demos-Age']\nprint(\n f\"Age range for participants with CGAS-CGAS_Score data:\"\n f\" {age_range.min()} - {age_range.max()} years\"\n)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:44.577417Z","iopub.execute_input":"2025-01-07T15:36:44.577827Z","iopub.status.idle":"2025-01-07T15:36:44.590623Z","shell.execute_reply.started":"2025-01-07T15:36:44.577783Z","shell.execute_reply":"2025-01-07T15:36:44.589653Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"calculate_stats(train_vis, 'CGAS-CGAS_Score')","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:44.591829Z","iopub.execute_input":"2025-01-07T15:36:44.592177Z","iopub.status.idle":"2025-01-07T15:36:44.611432Z","shell.execute_reply.started":"2025-01-07T15:36:44.592133Z","shell.execute_reply":"2025-01-07T15:36:44.610446Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train_vis[train_vis['CGAS-CGAS_Score'] > 100]","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:44.612686Z","iopub.execute_input":"2025-01-07T15:36:44.613006Z","iopub.status.idle":"2025-01-07T15:36:44.635397Z","shell.execute_reply.started":"2025-01-07T15:36:44.612974Z","shell.execute_reply":"2025-01-07T15:36:44.634350Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Có một giá trị ngoại lệ cực trị (CGAS-CGAS_Score = 999), đây rõ ràng là một lỗi.\n
\n
","metadata":{}},{"cell_type":"code","source":"train_vis.loc[train_vis['CGAS-CGAS_Score'] == 999, 'CGAS-CGAS_Score'] = np.nan","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:44.636797Z","iopub.execute_input":"2025-01-07T15:36:44.637117Z","iopub.status.idle":"2025-01-07T15:36:44.648517Z","shell.execute_reply.started":"2025-01-07T15:36:44.637087Z","shell.execute_reply":"2025-01-07T15:36:44.647404Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"plt.figure(figsize=(12, 5))\n\n# CGAS-Season\nplt.subplot(1, 2, 1)\ncgas_season_counts = train['CGAS-Season'].value_counts(normalize=True)\nplt.pie(\n cgas_season_counts, \n labels=cgas_season_counts.index, \n autopct='%1.1f%%', \n startangle=90, \n colors=sns.color_palette(\"Set3\")\n)\nplt.title('CGAS-Season')\nplt.axis('equal')\n\n# CGAS-CGAS_Score without outliers (score == 999)\nplt.subplot(1, 2, 2)\nsns.histplot(\n train['CGAS-CGAS_Score'].dropna(),\n bins=20, kde=True\n)\nplt.title('CGAS-CGAS_Score (Without Outlier)')\nplt.xlabel('CGAS Score')\nplt.ylabel('Count')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:44.649862Z","iopub.execute_input":"2025-01-07T15:36:44.650152Z","iopub.status.idle":"2025-01-07T15:36:45.230670Z","shell.execute_reply.started":"2025-01-07T15:36:44.650124Z","shell.execute_reply":"2025-01-07T15:36:45.229702Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"Số liệu thống kê không có ngoại lệ:","metadata":{}},{"cell_type":"code","source":"calculate_stats(train, 'CGAS-CGAS_Score')","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:45.231832Z","iopub.execute_input":"2025-01-07T15:36:45.232131Z","iopub.status.idle":"2025-01-07T15:36:45.250340Z","shell.execute_reply.started":"2025-01-07T15:36:45.232100Z","shell.execute_reply":"2025-01-07T15:36:45.249523Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"### CGAS Interpretation ([Reference](https://www.corc.uk.net/outcome-experience-measures/childrens-global-assessment-scale-cgas/))\n\nCGAS là thang đánh giá chức năng chung dành cho trẻ em và thanh thiếu niên từ 4-16 tuổi. CGAS yêu cầu bác sĩ lâm sàng đánh giá trẻ từ 1 đến 100 dựa trên mức độ hoạt động thấp nhất của chúng, bất kể phương pháp điều trị hay tiên lượng, trong một khoảng thời gian nhất định.\n\nVì CGAS là thước đo chức năng chung và SII phản ánh mức độ nghiêm trọng của tác động của việc sử dụng Internet đối với chức năng đó nên tôi cho rằng tính năng này, cùng với việc sử dụng Internet, sẽ là tính năng quan trọng nhất trong việc dự đoán SII.\n\nHãy phân loại cột `CGAS-CGAS_Score` dựa trên các loại điểm số đã được thiết lập và vẽ số lượng:","metadata":{}},{"cell_type":"code","source":"bins = np.arange(0, 101, 10)\nlabels = [\n \"1-10: Needs constant supervision (24 hour care)\",\n \"11-20: Needs considerable supervision\",\n \"21-30: Unable to function in almost all areas\",\n \"31-40: Major impairment in functioning in several areas\",\n \"41-50: Moderate degree of interference in functioning\",\n \"51-60: Variable functioning with sporadic difficulties\",\n \"61-70: Some difficulty in a single area\",\n \"71-80: No more than slight impairment in functioning\",\n \"81-90: Good functioning in all areas\",\n \"91-100: Superior functioning\"\n]\n\ntrain_vis['CGAS_Score_Bin'] = pd.cut(\n train_vis['CGAS-CGAS_Score'], bins=bins, labels=labels\n)\n\ncounts = train_vis['CGAS_Score_Bin'].value_counts().reindex(labels)\nprop = (counts / counts.sum() * 100).round(1)\ncount_prop_labels = counts.astype(str) + \" (\" + prop.astype(str) + \"%)\"\n\nplt.figure(figsize=(18, 6))\nbars = plt.barh(labels, counts)\nplt.xlabel('Count')\nplt.title('CGAS Score Distribution')\n\nfor bar, label in zip(bars, count_prop_labels):\n plt.text(\n bar.get_width(), bar.get_y() + bar.get_height() / 2, label, va='center'\n )\n\nplt.gca().invert_yaxis()\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:45.251457Z","iopub.execute_input":"2025-01-07T15:36:45.251722Z","iopub.status.idle":"2025-01-07T15:36:45.800765Z","shell.execute_reply.started":"2025-01-07T15:36:45.251696Z","shell.execute_reply":"2025-01-07T15:36:45.799735Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Phần lớn các cá nhân có điểm CGAS trong khoảng 51-80 (79,7%), tức là gặp khó khăn lẻ tẻ đến chỉ suy giảm nhẹ\n
- Hai người tham gia gặp khó khăn trong hoạt động\n
\n
","metadata":{}},{"cell_type":"markdown","source":"Kiểm tra mối quan hệ với biến mục tiêu:","metadata":{}},{"cell_type":"code","source":"train_filt = train_vis.dropna(subset=['CGAS_Score_Bin', 'complete_resp_total'])\ntrain_filt.loc[:, 'CGAS_Score_Bin'] = train_filt['CGAS_Score_Bin'].cat.remove_unused_categories()\ntrain_filt.loc[:, 'sii'] = train_filt['sii'].cat.remove_unused_categories()\nlen(train_filt)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:45.802553Z","iopub.execute_input":"2025-01-07T15:36:45.802949Z","iopub.status.idle":"2025-01-07T15:36:45.818823Z","shell.execute_reply.started":"2025-01-07T15:36:45.802899Z","shell.execute_reply":"2025-01-07T15:36:45.817895Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"fig, axes = plt.subplots(1, 2, figsize=(16, 5))\n\n# CGAS-CGAS_Score vs sii\nsns.boxplot(\n data=train_filt,\n x='sii', y='CGAS-CGAS_Score',\n palette='Set3', ax=axes[0]\n)\naxes[0].set_xlabel('SII Score')\naxes[0].set_ylabel('CGAS Score')\naxes[0].set_title('Distribution of CGAS Scores by SII')\n\n# complete_resp_total vs CGAS_Score_Bin\nsns.boxplot(\n data=train_filt,\n x='CGAS_Score_Bin', y='complete_resp_total',\n ax=axes[1], palette='Set3'\n)\n\n# Get the tick positions and match the labels\nrange_labels = [label.split(\":\")[0] for label in train_filt['CGAS_Score_Bin'].cat.categories]\naxes[1].set_xticklabels(range_labels)\n\naxes[1].set_xlabel('CGAS Score category')\naxes[1].set_ylabel('PCIAT_Total for Complete PCIAT Responses')\naxes[1].set_title('Distribution of PCIAT_Total by CGAS Score categories')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:45.820152Z","iopub.execute_input":"2025-01-07T15:36:45.820588Z","iopub.status.idle":"2025-01-07T15:36:46.496481Z","shell.execute_reply.started":"2025-01-07T15:36:45.820544Z","shell.execute_reply":"2025-01-07T15:36:46.495456Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
- Physical Measures
","metadata":{}},{"cell_type":"code","source":"features_physical = groups.get('Physical Measures', [])\ncols = [col for col in features_physical if col in continuous_cols]","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:46.497910Z","iopub.execute_input":"2025-01-07T15:36:46.498392Z","iopub.status.idle":"2025-01-07T15:36:46.504280Z","shell.execute_reply.started":"2025-01-07T15:36:46.498311Z","shell.execute_reply":"2025-01-07T15:36:46.503267Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"data_subset = train_vis[cols + ['complete_resp_total']]\n\ncorr_matrix = data_subset.corr()\n\nplt.figure(figsize=(10, 8))\nsns.heatmap(corr_matrix, annot=True, cmap='coolwarm', fmt='.2f', vmin=-1, vmax=1)\nplt.title('Correlation Heatmap')\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:46.505602Z","iopub.execute_input":"2025-01-07T15:36:46.505951Z","iopub.status.idle":"2025-01-07T15:36:47.092469Z","shell.execute_reply.started":"2025-01-07T15:36:46.505920Z","shell.execute_reply":"2025-01-07T15:36:47.091418Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
- FitnessGram
","metadata":{}},{"cell_type":"code","source":"data_dict[data_dict['Instrument'] == 'FitnessGram Child']","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:47.093707Z","iopub.execute_input":"2025-01-07T15:36:47.094033Z","iopub.status.idle":"2025-01-07T15:36:47.107177Z","shell.execute_reply.started":"2025-01-07T15:36:47.094001Z","shell.execute_reply":"2025-01-07T15:36:47.106062Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"## Mối quan hệ với biến mục tiêu (PCIAT_Total để có phản hồi PCIAT hoàn chỉnh)","metadata":{}},{"cell_type":"code","source":"train_vis['Fitness_Endurance-Total_Time_Sec'] = train_vis[\n 'Fitness_Endurance-Time_Mins'\n] * 60 + train_vis['Fitness_Endurance-Time_Sec']\ncols = [col for col in train_vis.columns if col.startswith('FGC-') \n and 'Zone' not in col and 'Season' not in col]\ncols.extend(['Fitness_Endurance-Max_Stage', 'Fitness_Endurance-Total_Time_Sec'])\n\ndata_subset = train_vis[cols + ['complete_resp_total']]\n\ncorr_matrix = data_subset.corr()\n\nplt.figure(figsize=(10, 8))\nsns.heatmap(corr_matrix, annot=True, cmap='coolwarm', fmt='.2f', vmin=-1, vmax=1)\nplt.title('Correlation Heatmap')\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:47.108396Z","iopub.execute_input":"2025-01-07T15:36:47.108676Z","iopub.status.idle":"2025-01-07T15:36:47.797708Z","shell.execute_reply.started":"2025-01-07T15:36:47.108640Z","shell.execute_reply":"2025-01-07T15:36:47.796703Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- TCó mối tương quan qua lại đáng chú ý giữa các thước đo thể lực (FGC-FGC_GSD (sức mạnh tay nắm chiếm ưu thế) và FGC-FGC_GSND (sức mạnh tay cầm không chiếm ưu thế), FGC-FGC_SRL (ngồi và vươn sang trái) và FGC-FGC_SRR (ngồi và vươn sang phải)) và chúng được mong đợi là giống nhau.\n
- Mối quan hệ với biến mục tiêu có vẻ phản trực giác: số lần gập bụng và chống đẩy cho thấy mối quan hệ dương ở mức độ vừa phải với mức độ nghiêm trọng của PIU.\n
- Hiệu suất tốt hơn trong các bài kiểm tra thể lực không nhất thiết cho thấy mức độ hoạt động thể chất hàng ngày cao hơn. Ngoài ra, các thước đo thể lực có thể phản ánh quá khứ(do chúng tôi không biết thời gian của các phép đo).\n
- Nhưng điều chính cần nhớ ở đây là hiệu suất thể chất cũng cải thiện theo độ tuổi, do đó, mối tương quan tích cực giữa hiệu suất thể chất và mức độ nghiêm trọng của PIU có thể chỉ do tuổi tác quyết định.\n
- Và đây là một ẩn số khác: các bài kiểm tra thể lực có được thực hiện theo cách tiêu chuẩn hóa cho tất cả những người tham gia không?\n
\n
","metadata":{}},{"cell_type":"markdown","source":"Hãy cùng xem có những thay đổi như thế nào khi chúng ta vẽ cùng một thứ theo nhóm tuổi và thêm độ tuổi để xem liệu các thước đo có còn tương quan với độ tuổi hay không.","metadata":{}},{"cell_type":"code","source":"age_groups = train_vis['Age Group'].unique()\n\nfig, axes = plt.subplots(1, 3, figsize=(18, 6), sharey=True)\n\nfor i, age_group in enumerate(age_groups):\n group_data = train_vis[train_vis['Age Group'] == age_group]\n corr_matrix = group_data[cols + ['complete_resp_total', 'Basic_Demos-Age']].corr()\n sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', fmt='.1f',\n vmin=-1, vmax=1, ax=axes[i], cbar=i == 0)\n axes[i].set_title(f'{age_group}')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:47.798907Z","iopub.execute_input":"2025-01-07T15:36:47.799228Z","iopub.status.idle":"2025-01-07T15:36:49.825351Z","shell.execute_reply.started":"2025-01-07T15:36:47.799198Z","shell.execute_reply":"2025-01-07T15:36:49.824345Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train_vis[\n (train_vis['Age Group'] == 'Adults (19-22)') &\n (train_vis['complete_resp_total'].notna()) &\n (train_vis[cols].notna().any(axis=1))\n][cols + ['complete_resp_total', 'Basic_Demos-Age']]","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:49.826785Z","iopub.execute_input":"2025-01-07T15:36:49.827202Z","iopub.status.idle":"2025-01-07T15:36:49.848795Z","shell.execute_reply.started":"2025-01-07T15:36:49.827156Z","shell.execute_reply":"2025-01-07T15:36:49.847835Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Ở mỗi nhóm tuổi, chúng tôi thấy rằng độ tuổi tương quan tốt với hầu hết các thước đo về hoạt động thể chất (đặc biệt là đối với trẻ em và người lớn).\n
- Mối tương quan giữa tuổi tác và mức độ nghiêm trọng của PIU vẫn tồn tại ở trẻ em từ 5-12 tuổi, làm xáo trộn mối quan hệ giữa thể lực và PIU.\n
- Đối với thanh thiếu niên, các mối tương quan giữa biến mục tiêu (PIU) và tất cả các chỉ số thể lực đều yếu hoặc không đáng kể. \n
- Nhìn chung, các biện pháp thể dục không cho thấy mối tương quan đáng chú ý với mức độ nghiêm trọng của PIU và có vẻ như tuổi tác có thể thúc đẩy cả hiệu suất thể lực tăng lên và mức độ nghiêm trọng của PIU cao hơn\n
\n
","metadata":{}},{"cell_type":"markdown","source":"#
- Sleep Disturbance Scale
","metadata":{}},{"cell_type":"code","source":"groups.get('Sleep Disturbance Scale', [])","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:49.850250Z","iopub.execute_input":"2025-01-07T15:36:49.850742Z","iopub.status.idle":"2025-01-07T15:36:49.858126Z","shell.execute_reply.started":"2025-01-07T15:36:49.850676Z","shell.execute_reply":"2025-01-07T15:36:49.857182Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"data = train_vis[train_vis['SDS-SDS_Total_Raw'].notnull()]\nage_range = data['Basic_Demos-Age']\nprint(\n f\"Age range for participants with SDS-SDS_Total_Raw data:\"\n f\" {age_range.min()} - {age_range.max()} years\"\n)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:49.859214Z","iopub.execute_input":"2025-01-07T15:36:49.859519Z","iopub.status.idle":"2025-01-07T15:36:49.872306Z","shell.execute_reply.started":"2025-01-07T15:36:49.859490Z","shell.execute_reply":"2025-01-07T15:36:49.871354Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"plt.figure(figsize=(18, 5))\n\n# SDS-Season (Pie Chart)\nplt.subplot(1, 3, 1)\nsds_season_counts = train_vis['SDS-Season'].value_counts(normalize=True)\nplt.pie(\n sds_season_counts, \n labels=sds_season_counts.index, \n autopct='%1.1f%%', \n startangle=90, \n colors=sns.color_palette(\"Set3\")\n)\nplt.title('SDS-Season')\n\n# SDS-SDS_Total_Raw\nplt.subplot(1, 3, 2)\nsns.histplot(train_vis['SDS-SDS_Total_Raw'].dropna(), bins=20, kde=True)\nplt.title('SDS-SDS_Total_Raw')\nplt.xlabel('Value')\n\n# SDS-SDS_Total_T\nplt.subplot(1, 3, 3)\nsns.histplot(train_vis['SDS-SDS_Total_T'].dropna(), bins=20, kde=True)\nplt.title('SDS-SDS_Total_T')\nplt.xlabel('Value')\n\nplt.tight_layout()\nplt.show()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:49.873733Z","iopub.execute_input":"2025-01-07T15:36:49.874453Z","iopub.status.idle":"2025-01-07T15:36:50.825895Z","shell.execute_reply.started":"2025-01-07T15:36:49.874405Z","shell.execute_reply":"2025-01-07T15:36:50.824841Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"calculate_stats(train, ['SDS-SDS_Total_Raw', 'SDS-SDS_Total_T'])","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:50.827278Z","iopub.execute_input":"2025-01-07T15:36:50.827686Z","iopub.status.idle":"2025-01-07T15:36:50.849427Z","shell.execute_reply.started":"2025-01-07T15:36:50.827632Z","shell.execute_reply":"2025-01-07T15:36:50.848552Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"
\n 💡 Note: \n
\n- Cả SDS_SDS_Total_raw và SDS_SDS_Total_T cho rối loạn giấc ngủ đều có mức độ biến thiên vừa phải, với một số giá trị cực đoan cho thấy rối loạn giấc ngủ nghiêm trọng ở một nhóm nhỏ người tham gia.\n
\n
","metadata":{}},{"cell_type":"markdown","source":"#
5/ Predictive Features
","metadata":{}},{"cell_type":"markdown","source":"
\n\n* **Thông tin nhân khẩu học (Demographics)** - Bao gồm thông tin về tuổi và giới tính của người tham gia. \n* **Sử dụng Internet (Internet Use)** - Số giờ sử dụng máy tính/internet mỗi ngày. \n* **Thang đánh giá tổng thể trẻ em (Children's Global Assessment Scale)** - Thang điểm số dùng để các chuyên gia sức khỏe tâm thần đánh giá chức năng chung của trẻ em dưới 18 tuổi. \n* **Các chỉ số thể chất (Physical Measures)** - Bao gồm huyết áp, nhịp tim, chiều cao, cân nặng, số đo vòng eo và hông. \n* **Chỉ số sức khỏe FitnessGram và máy chạy bộ (FitnessGram Vitals and Treadmill)** - Đánh giá sức khỏe tim mạch dựa trên giao thức máy chạy bộ NHANES. \n* **Đánh giá FitnessGram cho trẻ em (FitnessGram Child)** - Đánh giá sức khỏe thể chất liên quan đến 5 yếu tố: sức bền aerobic, sức mạnh cơ bắp, sức bền cơ bắp, sự linh hoạt và thành phần cơ thể. \n* **Phân tích trở kháng sinh học (Bio-electric Impedance Analysis)** - Đo lường các thành phần cơ thể chính như chỉ số BMI, lượng mỡ, cơ bắp và nước. \n* **Bảng câu hỏi hoạt động thể chất (Physical Activity Questionnaire)** - Thông tin về mức độ tham gia các hoạt động thể chất mạnh trong 7 ngày qua của trẻ em. \n* **Thang đo rối loạn giấc ngủ (Sleep Disturbance Scale)** - Dùng để phân loại các rối loạn giấc ngủ ở trẻ em. \n* **Actigraphy** - Đo lường khách quan hoạt động thể chất trong môi trường tự nhiên thông qua một thiết bị theo dõi cấp nghiên cứu. Nhiều giá trị dường như liên quan đến một khoảng thời gian *sau* khi bài kiểm tra PCIAT được thực hiện. Xem thảo luận [tại đây](https://www.kaggle.com/competitions/child-mind-institute-problematic-internet-use/discussion/538082#3017157). \n* **Mùa (Season)** - Với mỗi bộ đo lường, có một đặc điểm \"mùa\" cho biết mùa trong năm khi các phép đo được thực hiện. Đây là những đặc điểm phân loại dự đoán duy nhất trong tập dữ liệu và có thể dễ dàng tiền xử lý. \n","metadata":{}},{"cell_type":"code","source":"train_cat_columns = train.select_dtypes(exclude = 'number').columns\n\nfor season in train_cat_columns:\n train[season] = train[season].fillna(0)\n train[season] = train[season].replace({'Spring':1, 'Summer':2, 'Fall':3, 'Winter':4})","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:50.850540Z","iopub.execute_input":"2025-01-07T15:36:50.850839Z","iopub.status.idle":"2025-01-07T15:36:50.891953Z","shell.execute_reply.started":"2025-01-07T15:36:50.850809Z","shell.execute_reply":"2025-01-07T15:36:50.890883Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"test_cat_columns = test.select_dtypes(exclude = 'number').columns\n\nfor season in test_cat_columns:\n test[season] = test[season].fillna(0)\n test[season] = test[season].replace({'Spring':1, 'Summer':2, 'Fall':3, 'Winter':4})","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:50.893462Z","iopub.execute_input":"2025-01-07T15:36:50.894154Z","iopub.status.idle":"2025-01-07T15:36:50.911909Z","shell.execute_reply.started":"2025-01-07T15:36:50.894106Z","shell.execute_reply":"2025-01-07T15:36:50.910836Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
6/ PCIAT Features
","metadata":{}},{"cell_type":"markdown","source":"
\n\n* Như đã đề cập, có 22 đặc trưng PCIAT. Bao gồm câu trả lời cho 20 câu hỏi (mỗi câu được chấm từ 0 đến 5), tổng điểm và \"mùa\"(season) khi bài kiểm tra được thực hiện. \n* Mục tiêu `sii` được suy ra từ tổng điểm PCIAT như sau: \n - 0-30 cho `sii = 0` \n - 31-49 cho `sii = 1` \n - 50-79 cho `sii = 2` \n - 80-100 cho `sii = 3`. \n* Chúng tôi minh họa điều này bằng cách đơn giản đếm các giá trị. Thông tin tương tự được xác nhận [tại đây](https://digitalwellnesslab.org/wp-content/uploads/Scoring-Overview.pdf). \n* Chúng tôi loại bỏ tất cả các đặc trưng PCIAT khỏi tập dữ liệu, ngoại trừ đặc trưng Tổng điểm PCIAT (PCIAT Total), có thể được sử dụng làm mục tiêu hồi quy. \n* Biểu đồ hộp (box plot) trực quan hóa Tổng điểm PCIAT cho thấy nhiều điểm số cao trông giống như ngoại lệ (outliers) - tuy nhiên, đây là danh mục quan trọng nhất của chúng tôi. ","metadata":{}},{"cell_type":"code","source":"PCIAT_cols = [val for val in train.columns[train.columns.str.contains('PCIAT')]]\nprint('Number of PCIAT features = ' , len(PCIAT_cols))","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:50.913216Z","iopub.execute_input":"2025-01-07T15:36:50.913546Z","iopub.status.idle":"2025-01-07T15:36:50.924484Z","shell.execute_reply.started":"2025-01-07T15:36:50.913516Z","shell.execute_reply":"2025-01-07T15:36:50.923433Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"fig = px.scatter(train, x = 'PCIAT-PCIAT_Total', color = 'sii', marginal_x=\"box\", title = 'PCIAT Total')\nfig = fig.update_layout(yaxis_title=\"\")\nfig.update_yaxes(showticklabels=False)","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:50.925587Z","iopub.execute_input":"2025-01-07T15:36:50.925873Z","iopub.status.idle":"2025-01-07T15:36:52.613268Z","shell.execute_reply.started":"2025-01-07T15:36:50.925844Z","shell.execute_reply":"2025-01-07T15:36:52.612160Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"print(train[train['PCIAT-PCIAT_Total']<=30].sii.value_counts())\nprint(train[(train['PCIAT-PCIAT_Total']>30) \n & (train['PCIAT-PCIAT_Total']<50)].sii.value_counts())\nprint(train[(train['PCIAT-PCIAT_Total']>=50) \n & (train['PCIAT-PCIAT_Total']<80)].sii.value_counts())\nprint(train[train['PCIAT-PCIAT_Total']>=80].sii.value_counts())","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:52.614594Z","iopub.execute_input":"2025-01-07T15:36:52.614909Z","iopub.status.idle":"2025-01-07T15:36:52.632095Z","shell.execute_reply.started":"2025-01-07T15:36:52.614877Z","shell.execute_reply":"2025-01-07T15:36:52.630980Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train.sii.value_counts()","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:52.633701Z","iopub.execute_input":"2025-01-07T15:36:52.634097Z","iopub.status.idle":"2025-01-07T15:36:52.649795Z","shell.execute_reply.started":"2025-01-07T15:36:52.634052Z","shell.execute_reply":"2025-01-07T15:36:52.648807Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"PCIAT_cols.remove('PCIAT-PCIAT_Total')\ntrain = train.drop(columns = PCIAT_cols)","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:52.651494Z","iopub.execute_input":"2025-01-07T15:36:52.652238Z","iopub.status.idle":"2025-01-07T15:36:52.663192Z","shell.execute_reply.started":"2025-01-07T15:36:52.652189Z","shell.execute_reply":"2025-01-07T15:36:52.662092Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
7/ Severity Impairment Index
","metadata":{}},{"cell_type":"markdown","source":"
\n\n* Trong cuộc thi này, người ta đã đề cập đến việc sử dụng Internet quá mức ở trẻ em và thanh thiếu niên là vấn đề chính cần được đánh giá.\n* Một trong những điều khó hiểu về dữ liệu là, ngay cả đối với 34 trường hợp PIU 'nghiêm trọng' với sii = 3, chúng ta có thể thấy rằng 5 người tham gia được đánh giá là nghiêm trọng hầu như không sử dụng Internet.\n* Làm thế nào họ có thể đạt điểm cao như vậy trong bảng câu hỏi PCIAT? Có một cuộc thảo luận hữu ích [tại đây](https://www.kaggle.com/competitions/child-mind-institute-problematic-internet-use/discussion/535525#3003303).","metadata":{}},{"cell_type":"code","source":"sns.countplot(train, x = 'sii').set_title('Count of sii')","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:52.664555Z","iopub.execute_input":"2025-01-07T15:36:52.664868Z","iopub.status.idle":"2025-01-07T15:36:52.979179Z","shell.execute_reply.started":"2025-01-07T15:36:52.664838Z","shell.execute_reply":"2025-01-07T15:36:52.978144Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"vals = ['PIU = 0', 'PIU = 1','PIU = 2', 'PIU = 3']\n\nfor i in range(4):\n plt.figure()\n plot = sns.countplot(x = train[train.sii==i]['PreInt_EduHx-computerinternet_hoursday'])\n plot.set_title(vals[i])","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:52.980627Z","iopub.execute_input":"2025-01-07T15:36:52.980931Z","iopub.status.idle":"2025-01-07T15:36:53.858032Z","shell.execute_reply.started":"2025-01-07T15:36:52.980901Z","shell.execute_reply":"2025-01-07T15:36:53.856967Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train = train.dropna(subset='sii')","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:53.859313Z","iopub.execute_input":"2025-01-07T15:36:53.859695Z","iopub.status.idle":"2025-01-07T15:36:53.868696Z","shell.execute_reply.started":"2025-01-07T15:36:53.859662Z","shell.execute_reply":"2025-01-07T15:36:53.867704Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
8/ Correlations
","metadata":{"execution":{"iopub.status.busy":"2024-09-28T11:36:45.957167Z","iopub.execute_input":"2024-09-28T11:36:45.958067Z","iopub.status.idle":"2024-09-28T11:36:45.963155Z","shell.execute_reply.started":"2024-09-28T11:36:45.958022Z","shell.execute_reply":"2024-09-28T11:36:45.961779Z"}}},{"cell_type":"markdown","source":"
\n\n* Với số lượng lớn các tính năng để lựa chọn, tôi quyết định thực hiện một số lựa chọn tính năng và kiểm tra xem tác động của nó đối với mô hình.\n* Ở đây tôi chọn các tính năng có mối tương quan mạnh nhất với tổng PCIAT và loại bỏ những tính năng yếu hơn.\n* Đồng thời bỏ đi hai tính năng khác có vẻ gần giống với bản sao.","metadata":{}},{"cell_type":"code","source":"corr = pd.DataFrame(train.corr()['PCIAT-PCIAT_Total'].sort_values(ascending = False))\ncorr.style.background_gradient(cmap='YlOrRd')","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:53.869918Z","iopub.execute_input":"2025-01-07T15:36:53.870168Z","iopub.status.idle":"2025-01-07T15:36:53.916397Z","shell.execute_reply.started":"2025-01-07T15:36:53.870142Z","shell.execute_reply":"2025-01-07T15:36:53.915276Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"selection = corr[(corr['PCIAT-PCIAT_Total']>.1) | (corr['PCIAT-PCIAT_Total']<-.1)]\nselection = [val for val in selection.index]\nselection.remove('PCIAT-PCIAT_Total')\nselection.remove('sii')\nselection.remove('Physical-BMI')\nselection.remove('SDS-SDS_Total_Raw')","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:53.917833Z","iopub.execute_input":"2025-01-07T15:36:53.918252Z","iopub.status.idle":"2025-01-07T15:36:53.925397Z","shell.execute_reply.started":"2025-01-07T15:36:53.918207Z","shell.execute_reply":"2025-01-07T15:36:53.924303Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"selection","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:53.926571Z","iopub.execute_input":"2025-01-07T15:36:53.926862Z","iopub.status.idle":"2025-01-07T15:36:53.941968Z","shell.execute_reply.started":"2025-01-07T15:36:53.926833Z","shell.execute_reply":"2025-01-07T15:36:53.940858Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
9/ Missing Values
","metadata":{}},{"cell_type":"markdown","source":"
\n\n* Có một số lượng lớn các giá trị bị thiếu còn lại trong tập dữ liệu, với 46 cột bị thiếu giá trị và 8 cột thiếu hơn một nửa giá trị của chúng.\n* Ví dụ: hầu hết các giá trị đặc trưng về chu vi vòng eo đều bị thiếu\n* Hãy loại bỏ các cột mà thiếu hơn một nửa giá trị","metadata":{}},{"cell_type":"code","source":"null = train.isna().sum().sort_values(ascending = False).head(46)\nnull = pd.DataFrame(null)\nnull = null.rename(columns= {0:'Missing'})\nnull.style.background_gradient(cmap='YlOrRd')","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:53.943306Z","iopub.execute_input":"2025-01-07T15:36:53.943694Z","iopub.status.idle":"2025-01-07T15:36:53.964427Z","shell.execute_reply.started":"2025-01-07T15:36:53.943650Z","shell.execute_reply":"2025-01-07T15:36:53.963431Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"half_missing = [val for val in train.columns[train.isnull().sum()>len(train)/2]]\nhalf_missing","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:53.965480Z","iopub.execute_input":"2025-01-07T15:36:53.965757Z","iopub.status.idle":"2025-01-07T15:36:53.974245Z","shell.execute_reply.started":"2025-01-07T15:36:53.965728Z","shell.execute_reply":"2025-01-07T15:36:53.973273Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"selection = [i for i in selection if i not in half_missing]","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:53.975435Z","iopub.execute_input":"2025-01-07T15:36:53.975715Z","iopub.status.idle":"2025-01-07T15:36:53.989335Z","shell.execute_reply.started":"2025-01-07T15:36:53.975687Z","shell.execute_reply":"2025-01-07T15:36:53.988419Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
10/ Selected Features
","metadata":{"execution":{"iopub.status.busy":"2024-10-05T13:56:59.196471Z","iopub.execute_input":"2024-10-05T13:56:59.196979Z","iopub.status.idle":"2024-10-05T13:56:59.20348Z","shell.execute_reply.started":"2024-10-05T13:56:59.196936Z","shell.execute_reply":"2024-10-05T13:56:59.202078Z"}}},{"cell_type":"markdown","source":"
\n\n* Hiện tại chúng tôi có 16 features được chọn dựa trên a) mối tương quan với mục tiêu và b) tương đối ít giá trị bị thiếu.\n* Ý tưởng là tạo ra một mô hình mạnh mẽ tập trung vào các tín hiệu chính trong dữ liệu và giảm một số nhiễu dư thừa từ số lượng lớn các tính năng.\n* Một số giá trị tối thiểu và tối đa dường như là không thể (chẳng hạn như trọng số tối thiểu bằng 0) hoặc rất khó xảy ra.","metadata":{"execution":{"iopub.status.busy":"2024-10-05T13:59:54.552101Z","iopub.execute_input":"2024-10-05T13:59:54.552525Z","iopub.status.idle":"2024-10-05T13:59:54.560829Z","shell.execute_reply.started":"2024-10-05T13:59:54.552484Z","shell.execute_reply":"2024-10-05T13:59:54.559313Z"}}},{"cell_type":"code","source":"describe = train[selection].describe().T\ndescribe = describe[['min','max']].sort_index()\ndescribe.style.background_gradient(cmap='YlOrRd')","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:53.998293Z","iopub.execute_input":"2025-01-07T15:36:53.998642Z","iopub.status.idle":"2025-01-07T15:36:54.048912Z","shell.execute_reply.started":"2025-01-07T15:36:53.998611Z","shell.execute_reply":"2025-01-07T15:36:54.047703Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"train[selection].hist(figsize=(10,10), grid = True, color = 'chocolate')\nplt.tight_layout()","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:54.050124Z","iopub.execute_input":"2025-01-07T15:36:54.050485Z","iopub.status.idle":"2025-01-07T15:36:58.729129Z","shell.execute_reply.started":"2025-01-07T15:36:54.050452Z","shell.execute_reply":"2025-01-07T15:36:58.728020Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
11/ Regression Model
","metadata":{}},{"cell_type":"markdown","source":"
\n\n* Trong phần này, tôi sẽ huấn luyện một mô hình hồi quy XGBoost như một tiêu chuẩn và sử dụng PCIAT-PCIAT_Total làm mục tiêu.\n* Chúng tôi điều chỉnh hàm kappa bậc hai để chuyển đổi điểm tổng PCIAT thành các loại sii, điều này mang lại kết quả cross-validation tốt hơn.","metadata":{"execution":{"iopub.status.busy":"2024-10-01T12:35:10.605389Z","iopub.execute_input":"2024-10-01T12:35:10.605904Z","iopub.status.idle":"2024-10-01T12:35:10.613456Z","shell.execute_reply.started":"2024-10-01T12:35:10.605858Z","shell.execute_reply":"2024-10-01T12:35:10.612056Z"}}},{"cell_type":"code","source":"X = train[selection]\ntest = test[selection]\ny = train['PCIAT-PCIAT_Total']","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:58.730383Z","iopub.execute_input":"2025-01-07T15:36:58.730691Z","iopub.status.idle":"2025-01-07T15:36:58.737947Z","shell.execute_reply.started":"2025-01-07T15:36:58.730657Z","shell.execute_reply":"2025-01-07T15:36:58.737058Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"def convert(scores):\n scores = np.array(scores)\n bins = np.zeros_like(scores)\n bins[scores <= 30] = 0\n bins[(scores > 30) & (scores < 50)] = 1\n bins[(scores >= 50) & (scores < 80)] = 2\n bins[scores >= 80] = 3\n return bins","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:58.739197Z","iopub.execute_input":"2025-01-07T15:36:58.739639Z","iopub.status.idle":"2025-01-07T15:36:58.757457Z","shell.execute_reply.started":"2025-01-07T15:36:58.739609Z","shell.execute_reply":"2025-01-07T15:36:58.756416Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"def convert2(scores):\n scores = np.array(scores)*1.252\n bins = np.zeros_like(scores)\n bins[scores <= 32] = 0\n bins[(scores > 32) & (scores < 50)] = 1\n bins[(scores >= 50) & (scores < 70)] = 2\n bins[scores >= 70] = 3\n return bins","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-07T15:36:58.758767Z","iopub.execute_input":"2025-01-07T15:36:58.759095Z","iopub.status.idle":"2025-01-07T15:36:58.769930Z","shell.execute_reply.started":"2025-01-07T15:36:58.759065Z","shell.execute_reply":"2025-01-07T15:36:58.768848Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"def quadratic_kappa(y_true, y_pred):\n y_true_cat = convert(y_true)\n y_pred_cat = convert2(y_pred)\n return cohen_kappa_score(y_true_cat, y_pred_cat, weights='quadratic')\n\nkappa_scorer = make_scorer(quadratic_kappa, greater_is_better=True)","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:58.771187Z","iopub.execute_input":"2025-01-07T15:36:58.771505Z","iopub.status.idle":"2025-01-07T15:36:58.783660Z","shell.execute_reply.started":"2025-01-07T15:36:58.771475Z","shell.execute_reply":"2025-01-07T15:36:58.782650Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"params = {'max_depth': 3, 'n_estimators': 59, 'learning_rate': 0.073, 'subsample': 0.59, 'colsample_bytree': 0.9}","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:58.784734Z","iopub.execute_input":"2025-01-07T15:36:58.785068Z","iopub.status.idle":"2025-01-07T15:36:58.802514Z","shell.execute_reply.started":"2025-01-07T15:36:58.785039Z","shell.execute_reply":"2025-01-07T15:36:58.801543Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"skf = StratifiedKFold(n_splits=10)\nmodel = xgb.XGBRegressor(**params)","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:58.803738Z","iopub.execute_input":"2025-01-07T15:36:58.804073Z","iopub.status.idle":"2025-01-07T15:36:58.814294Z","shell.execute_reply.started":"2025-01-07T15:36:58.804032Z","shell.execute_reply":"2025-01-07T15:36:58.813303Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"scores = cross_val_score(model, X, y, cv=skf, scoring=kappa_scorer)\nprint(\"QWK Scores:\", scores)\nprint(\"Mean QWK Score:\", np.mean(scores))","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:58.815746Z","iopub.execute_input":"2025-01-07T15:36:58.816020Z","iopub.status.idle":"2025-01-07T15:36:59.471626Z","shell.execute_reply.started":"2025-01-07T15:36:58.815988Z","shell.execute_reply":"2025-01-07T15:36:59.470742Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"model.fit(X,y)\nfeature_imp = pd.Series(model.feature_importances_,index=X.columns).sort_values(ascending=False)\nfeature_imp","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:59.472512Z","iopub.execute_input":"2025-01-07T15:36:59.472801Z","iopub.status.idle":"2025-01-07T15:36:59.541472Z","shell.execute_reply.started":"2025-01-07T15:36:59.472771Z","shell.execute_reply":"2025-01-07T15:36:59.539871Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"sns.barplot(x=feature_imp, y=feature_imp.index)\nplt.xlabel('Feature Importance Score')\nplt.title(\"Feature Importances\")\nplt.show()","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:59.545201Z","iopub.execute_input":"2025-01-07T15:36:59.545535Z","iopub.status.idle":"2025-01-07T15:36:59.884592Z","shell.execute_reply.started":"2025-01-07T15:36:59.545503Z","shell.execute_reply":"2025-01-07T15:36:59.883406Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"perm = PermutationImportance(model, random_state=1).fit(X,y)\neli5.show_weights(perm, feature_names = X.columns.tolist())","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:36:59.885842Z","iopub.execute_input":"2025-01-07T15:36:59.886140Z","iopub.status.idle":"2025-01-07T15:37:00.831838Z","shell.execute_reply.started":"2025-01-07T15:36:59.886110Z","shell.execute_reply":"2025-01-07T15:37:00.830945Z"},"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"#
12/ Submission
","metadata":{}},{"cell_type":"code","source":"model.fit(X,y)\npreds = model.predict(test)\npreds = convert2(preds) # convert raw scores to sii categories if using regressor\npreds = pd.Series(preds)\npreds.index = test.index\npreds.to_csv('submission.csv')\npreds","metadata":{"execution":{"iopub.status.busy":"2025-01-07T15:37:16.266303Z","iopub.execute_input":"2025-01-07T15:37:16.266717Z","iopub.status.idle":"2025-01-07T15:37:16.344808Z","shell.execute_reply.started":"2025-01-07T15:37:16.266674Z","shell.execute_reply":"2025-01-07T15:37:16.343085Z"},"trusted":true},"outputs":[],"execution_count":null}]}