{ "id": 57399, "title": "How many languages in the description field?", "url": "/competitions/avito-demand-prediction/discussion/57399", "author_name": "", "post_date": "2018-05-23T09:56:37.160306500Z", "votes": 2, "comment_count": 2, "views": 0, "content": "

I find there are more than 1M words in the train and test's description. I try to look them up in the existing pre-trained word embedding in GLOVE of english and russia(fasttext from wiki russian). But nearly half of the words can not be found and they shall be initialized from the random distribution. So how many languages are included in the description field ? \nHere are some words that out of the vocabulary .

\n\n
oov:  гипсоволокнистые\noov:  Сильвеон\noov:  fsop\noov:  электроручник\noov:  👌🏻Не\noov:  экструзионно\noov:  осцилографа\noov:  сануз\noov:  yiogong\noov:  “Новоантипинский”\noov:  ПРОТЕЧЕК\noov:  ✔Габариты\noov:  Фото2\noov:  Фото3\noov:  удмуртии\noov:  Фото1\noov:  Фото6\noov:  Фото7\noov:  Фото4\noov:  Фото5\noov:  Фото8\noov:  Фото9\noov:  бронечехол\noov:   Ориентир\noov:  цементовоза\noov:  «Полусфера»\noov:  погодо\noov:  шляйх\noov:  – Размер\noov:  НАПОЛЬНУЮ\noov:  228мм\noov:  переключательshimano\noov:  Агент10\noov:  Агент19\noov:  зарядчик\noov:  20века\noov:  краско\noov:  М300 \noov:  benedikt\noov:  Автопокраска\noov:  thermoking\noov:  Мегаторге\noov:  ltn154w01\noov:  Соедин\noov:  соляно\noov:  ГВЛВ\noov:  Европростыня\noov:  высокотехнологичен\noov:  долговечность \noov:  «1МарКа»\noov:  m7600\noov:  gp240\noov:  Взбивали\noov:  стоекло\noov:  Идательство\noov:  Фемели\noov:  адмнистративные\noov:  Эфективные\noov:  mj2y2\noov:  polimaster\noov:  36000р\noov:  фотоовалы\noov:  8 метра\noov:  съэкономить\noov:  200х160\noov:  докучаево\noov:  1кВт\noov:  проваренных\noov:  витаминизирует\noov:  hdЕсть\noov:  РЕШИМ\noov:  ankom\noov:  чучалок\noov:  КАЧЕСТВЕННЫЕ\noov:  имессидж\noov:  Разговариваю\noov:  Полиэстерное\noov:  Наносите\noov:  большенькая\noov:  Потеют\noov:  r7202\noov:  Родничка\noov:  звучками\noov:   двухуровневый\noov:  e1942\noov:  сошью\noov:  Автотрансформатор\noov:  кухная\noov:  wolfpak\noov:  РАССМОТРЮ\noov:  упрочненное\noov:  РЕМОНТАМИ\noov:  Премиального\noov:  2пеленки\noov:  ринговки\noov:  евродрова\noov:  103х51х87\noov:  первопроходы\noov:  2️⃣5️⃣0️⃣р\noov:  3герца\noov:  Пъезоэлемент\noov:  СЧ15\noov:  мультикультиватор\noov:  25руб\noov:  спецтребованиями\noov:  1занятие\noov:  Инжекторно\noov:  СЧ12\noov:  1070 мм\noov:  💰900₽\noov:  селектив\noov:  qysters\noov:  нече\noov:  01361c\noov:  224bb\noov:  прокуренно\noov:  конбинезон\noov:  шлёп\noov:  Мультилок\noov:  разложу\noov:  otello\noov:  apach\noov:  Унивилки\noov:  kinexib\noov:  с АО\noov:  Рэмо\noov:  6х4м\noov:  primorac\noov:  вайберу\noov:  алкатэль\noov:  сорников\noov:  plantazm\noov:  Лайт»\noov:   куры\noov:  sleu2\noov:  покупка»\noov:  forvord\noov:  1204fx\noov:  Лайт \noov:  af30\noov:  рукавчиках\noov:  af35\noov:  af38\noov:  соложенном\noov:  гатчина\noov:  24lh2\noov:  🖎или\noov:  зеленый \noov:  гигееничность\noov:  300х300\noov:  террекс\noov:  altay\noov:  всасывния\noov:  Плодоносные\noov:  телика\noov:  Плодоносный\noov:  Расщепкина\noov:  приятностей\noov:  подножных\noov:  Торгуемо\noov:   Удлиненный\noov:  79130423366\noov:  рефрижиратором\noov:  Резмеры\noov:  НАЛИЧНЫМИ\noov:  Хлорофитумы\noov:  милейшему\noov:  шоты\noov:  Делянка\noov:  269руб\noov:  Делянки\noov:  «gusto»\noov:  разбиваю\noov:  хрущовка\noov:  0°\noov:  k620m\noov:  0»\noov:  Верхний шкаф с\noov:  59х27\noov:  0 \noov:  campack\noov:  сеспель\noov:  фотокаталог\noov:  cetop\noov:  поселоке\noov:  поселока\noov:  штемп\noov:  1230т\noov:  •Диапазон\noov:  60х100см\noov:  1024гб\noov:  ЭВАКУАТОР\noov:  «Комфорт2»\noov:  35ГС\noov:  ЦЕЛЬНОМЕТАЛЛИЧЕСКИЙ\noov:  Агент11\noov:  МпиксФизический\noov:  6009А\noov:  Этикетировочный\noov:  И8\noov:  заплетаются\n
", "messages": [ { "id": "332516", "postDate": "05/23/2018 09:56:37", "content": "

I find there are more than 1M words in the train and test's description. I try to look them up in the existing pre-trained word embedding in GLOVE of english and russia(fasttext from wiki russian). But nearly half of the words can not be found and they shall be initialized from the random distribution. So how many languages are included in the description field ? \nHere are some words that out of the vocabulary .

\n\n
oov:  гипсоволокнистые\noov:  Сильвеон\noov:  fsop\noov:  электроручник\noov:  👌🏻Не\noov:  экструзионно\noov:  осцилографа\noov:  сануз\noov:  yiogong\noov:  “Новоантипинский”\noov:  ПРОТЕЧЕК\noov:  ✔Габариты\noov:  Фото2\noov:  Фото3\noov:  удмуртии\noov:  Фото1\noov:  Фото6\noov:  Фото7\noov:  Фото4\noov:  Фото5\noov:  Фото8\noov:  Фото9\noov:  бронечехол\noov:   Ориентир\noov:  цементовоза\noov:  «Полусфера»\noov:  погодо\noov:  шляйх\noov:  – Размер\noov:  НАПОЛЬНУЮ\noov:  228мм\noov:  переключательshimano\noov:  Агент10\noov:  Агент19\noov:  зарядчик\noov:  20века\noov:  краско\noov:  М300 \noov:  benedikt\noov:  Автопокраска\noov:  thermoking\noov:  Мегаторге\noov:  ltn154w01\noov:  Соедин\noov:  соляно\noov:  ГВЛВ\noov:  Европростыня\noov:  высокотехнологичен\noov:  долговечность \noov:  «1МарКа»\noov:  m7600\noov:  gp240\noov:  Взбивали\noov:  стоекло\noov:  Идательство\noov:  Фемели\noov:  адмнистративные\noov:  Эфективные\noov:  mj2y2\noov:  polimaster\noov:  36000р\noov:  фотоовалы\noov:  8 метра\noov:  съэкономить\noov:  200х160\noov:  докучаево\noov:  1кВт\noov:  проваренных\noov:  витаминизирует\noov:  hdЕсть\noov:  РЕШИМ\noov:  ankom\noov:  чучалок\noov:  КАЧЕСТВЕННЫЕ\noov:  имессидж\noov:  Разговариваю\noov:  Полиэстерное\noov:  Наносите\noov:  большенькая\noov:  Потеют\noov:  r7202\noov:  Родничка\noov:  звучками\noov:   двухуровневый\noov:  e1942\noov:  сошью\noov:  Автотрансформатор\noov:  кухная\noov:  wolfpak\noov:  РАССМОТРЮ\noov:  упрочненное\noov:  РЕМОНТАМИ\noov:  Премиального\noov:  2пеленки\noov:  ринговки\noov:  евродрова\noov:  103х51х87\noov:  первопроходы\noov:  2️⃣5️⃣0️⃣р\noov:  3герца\noov:  Пъезоэлемент\noov:  СЧ15\noov:  мультикультиватор\noov:  25руб\noov:  спецтребованиями\noov:  1занятие\noov:  Инжекторно\noov:  СЧ12\noov:  1070 мм\noov:  💰900₽\noov:  селектив\noov:  qysters\noov:  нече\noov:  01361c\noov:  224bb\noov:  прокуренно\noov:  конбинезон\noov:  шлёп\noov:  Мультилок\noov:  разложу\noov:  otello\noov:  apach\noov:  Унивилки\noov:  kinexib\noov:  с АО\noov:  Рэмо\noov:  6х4м\noov:  primorac\noov:  вайберу\noov:  алкатэль\noov:  сорников\noov:  plantazm\noov:  Лайт»\noov:   куры\noov:  sleu2\noov:  покупка»\noov:  forvord\noov:  1204fx\noov:  Лайт \noov:  af30\noov:  рукавчиках\noov:  af35\noov:  af38\noov:  соложенном\noov:  гатчина\noov:  24lh2\noov:  🖎или\noov:  зеленый \noov:  гигееничность\noov:  300х300\noov:  террекс\noov:  altay\noov:  всасывния\noov:  Плодоносные\noov:  телика\noov:  Плодоносный\noov:  Расщепкина\noov:  приятностей\noov:  подножных\noov:  Торгуемо\noov:   Удлиненный\noov:  79130423366\noov:  рефрижиратором\noov:  Резмеры\noov:  НАЛИЧНЫМИ\noov:  Хлорофитумы\noov:  милейшему\noov:  шоты\noov:  Делянка\noov:  269руб\noov:  Делянки\noov:  «gusto»\noov:  разбиваю\noov:  хрущовка\noov:  0°\noov:  k620m\noov:  0»\noov:  Верхний шкаф с\noov:  59х27\noov:  0 \noov:  campack\noov:  сеспель\noov:  фотокаталог\noov:  cetop\noov:  поселоке\noov:  поселока\noov:  штемп\noov:  1230т\noov:  •Диапазон\noov:  60х100см\noov:  1024гб\noov:  ЭВАКУАТОР\noov:  «Комфорт2»\noov:  35ГС\noov:  ЦЕЛЬНОМЕТАЛЛИЧЕСКИЙ\noov:  Агент11\noov:  МпиксФизический\noov:  6009А\noov:  Этикетировочный\noov:  И8\noov:  заплетаются\n
", "rawMarkdown": "I find there are more than 1M words in the train and test's description. I try to look them up in the existing pre-trained word embedding in GLOVE of english and russia(fasttext from wiki russian). But nearly half of the words can not be found and they shall be initialized from the random distribution. So how many languages are included in the description field ? \nHere are some words that out of the vocabulary .\n\n oov: гипсоволокнистые\n oov: Сильвеон\n oov: fsop\n oov: электроручник\n oov: 👌🏻Не\n oov: экструзионно\n oov: осцилографа\n oov: сануз\n oov: yiogong\n oov: “Новоантипинский”\n oov: ПРОТЕЧЕК\n oov: ✔Габариты\n oov: Фото2\n oov: Фото3\n oov: удмуртии\n oov: Фото1\n oov: Фото6\n oov: Фото7\n oov: Фото4\n oov: Фото5\n oov: Фото8\n oov: Фото9\n oov: бронечехол\n oov:  Ориентир\n oov: цементовоза\n oov: «Полусфера»\n oov: погодо\n oov: шляйх\n oov: – Размер\n oov: НАПОЛЬНУЮ\n oov: 228мм\n oov: переключательshimano\n oov: Агент10\n oov: Агент19\n oov: зарядчик\n oov: 20века\n oov: краско\n oov: М300 \n oov: benedikt\n oov: Автопокраска\n oov: thermoking\n oov: Мегаторге\n oov: ltn154w01\n oov: Соедин\n oov: соляно\n oov: ГВЛВ\n oov: Европростыня\n oov: высокотехнологичен\n oov: долговечность \n oov: «1МарКа»\n oov: m7600\n oov: gp240\n oov: Взбивали\n oov: стоекло\n oov: Идательство\n oov: Фемели\n oov: адмнистративные\n oov: Эфективные\n oov: mj2y2\n oov: polimaster\n oov: 36000р\n oov: фотоовалы\n oov: 8 метра\n oov: съэкономить\n oov: 200х160\n oov: докучаево\n oov: 1кВт\n oov: проваренных\n oov: витаминизирует\n oov: hdЕсть\n oov: РЕШИМ\n oov: ankom\n oov: чучалок\n oov: КАЧЕСТВЕННЫЕ\n oov: имессидж\n oov: Разговариваю\n oov: Полиэстерное\n oov: Наносите\n oov: большенькая\n oov: Потеют\n oov: r7202\n oov: Родничка\n oov: звучками\n oov:  двухуровневый\n oov: e1942\n oov: сошью\n oov: Автотрансформатор\n oov: кухная\n oov: wolfpak\n oov: РАССМОТРЮ\n oov: упрочненное\n oov: РЕМОНТАМИ\n oov: Премиального\n oov: 2пеленки\n oov: ринговки\n oov: евродрова\n oov: 103х51х87\n oov: первопроходы\n oov: 2️⃣5️⃣0️⃣р\n oov: 3герца\n oov: Пъезоэлемент\n oov: СЧ15\n oov: мультикультиватор\n oov: 25руб\n oov: спецтребованиями\n oov: 1занятие\n oov: Инжекторно\n oov: СЧ12\n oov: 1070 мм\n oov: 💰900₽\n oov: селектив\n oov: qysters\n oov: нече\n oov: 01361c\n oov: 224bb\n oov: прокуренно\n oov: конбинезон\n oov: шлёп\n oov: Мультилок\n oov: разложу\n oov: otello\n oov: apach\n oov: Унивилки\n oov: kinexib\n oov: с АО\n oov: Рэмо\n oov: 6х4м\n oov: primorac\n oov: вайберу\n oov: алкатэль\n oov: сорников\n oov: plantazm\n oov: Лайт»\n oov:  куры\n oov: sleu2\n oov: покупка»\n oov: forvord\n oov: 1204fx\n oov: Лайт \n oov: af30\n oov: рукавчиках\n oov: af35\n oov: af38\n oov: соложенном\n oov: гатчина\n oov: 24lh2\n oov: 🖎или\n oov: зеленый \n oov: гигееничность\n oov: 300х300\n oov: террекс\n oov: altay\n oov: всасывния\n oov: Плодоносные\n oov: телика\n oov: Плодоносный\n oov: Расщепкина\n oov: приятностей\n oov: подножных\n oov: Торгуемо\n oov:  Удлиненный\n oov: 79130423366\n oov: рефрижиратором\n oov: Резмеры\n oov: НАЛИЧНЫМИ\n oov: Хлорофитумы\n oov: милейшему\n oov: шоты\n oov: Делянка\n oov: 269руб\n oov: Делянки\n oov: «gusto»\n oov: разбиваю\n oov: хрущовка\n oov: 0°\n oov: k620m\n oov: 0»\n oov: Верхний шкаф с\n oov: 59х27\n oov: 0 \n oov: campack\n oov: сеспель\n oov: фотокаталог\n oov: cetop\n oov: поселоке\n oov: поселока\n oov: штемп\n oov: 1230т\n oov: •Диапазон\n oov: 60х100см\n oov: 1024гб\n oov: ЭВАКУАТОР\n oov: «Комфорт2»\n oov: 35ГС\n oov: ЦЕЛЬНОМЕТАЛЛИЧЕСКИЙ\n oov: Агент11\n oov: МпиксФизический\n oov: 6009А\n oov: Этикетировочный\n oov: И8\n oov: заплетаются", "votes": null }, { "id": "332602", "postDate": "05/23/2018 13:03:30", "content": "

I can assure you as a native speaker, that vast majority of words do belong to Russian language. To make a better hit with dictionary, you need to do more cleaning, including

\n\n", "rawMarkdown": "I can assure you as a native speaker, that vast majority of words do belong to Russian language. To make a better hit with dictionary, you need to do more cleaning, including\n\n - clean up from special characters, i.e. •Диапазон -> Диапазон\n - lower case, i.e. ЭВАКУАТОР -> эвакуатор\n - separate letters from digits, i.e. Агент11 -> агент 11; 60х100см -> 60 х 100 см \n - possibly normalize the form, since nouns, verbs and adjectives do differ in endings depending on person,case and plurality, i.e \"разбиваю\" is first person form of verb infinitive \"разбивать\"; \n - some words are just Russian spelling of a foreign word, i.e. \"алкатэль\" -> alkatel (a brand)\n - some words are just made up by a writer, i.e. \"Европростыня\" is a Euro-size bed sheet.\n - some are places, like \"Расщепкина\" (most likely street name), \"гатчина\" - a city\n - some are specific terms may not be found in academic dictionary, i.e. \"хрущовка\" is a flat in a building from a certain time epoch, \"Хлорофитумы\" is plural of some chemical compound etc\n - finally, there are a lot of misspelled words here too, since people in Russia are no more literate than in the rest of the world :)", "votes": null }, { "id": "332973", "postDate": "05/24/2018 06:57:50", "content": "

thanks and it is very useful.

", "rawMarkdown": "thanks and it is very useful.", "votes": null } ], "comments": [ { "id": 332602, "author_name": "metadist", "author_url": "", "post_date": "05/23/2018 13:03:30", "content": "

I can assure you as a native speaker, that vast majority of words do belong to Russian language. To make a better hit with dictionary, you need to do more cleaning, including

\n\n", "votes": null, "replies": [ { "id": 332973, "author_name": "", "author_url": "", "post_date": "05/24/2018 06:57:50", "content": "

thanks and it is very useful.

", "votes": null, "replies": [] } ] } ], "raw_markdown_by_id": { "332516": "I find there are more than 1M words in the train and test's description. I try to look them up in the existing pre-trained word embedding in GLOVE of english and russia(fasttext from wiki russian). But nearly half of the words can not be found and they shall be initialized from the random distribution. So how many languages are included in the description field ? \nHere are some words that out of the vocabulary .\n\n oov: гипсоволокнистые\n oov: Сильвеон\n oov: fsop\n oov: электроручник\n oov: 👌🏻Не\n oov: экструзионно\n oov: осцилографа\n oov: сануз\n oov: yiogong\n oov: “Новоантипинский”\n oov: ПРОТЕЧЕК\n oov: ✔Габариты\n oov: Фото2\n oov: Фото3\n oov: удмуртии\n oov: Фото1\n oov: Фото6\n oov: Фото7\n oov: Фото4\n oov: Фото5\n oov: Фото8\n oov: Фото9\n oov: бронечехол\n oov:  Ориентир\n oov: цементовоза\n oov: «Полусфера»\n oov: погодо\n oov: шляйх\n oov: – Размер\n oov: НАПОЛЬНУЮ\n oov: 228мм\n oov: переключательshimano\n oov: Агент10\n oov: Агент19\n oov: зарядчик\n oov: 20века\n oov: краско\n oov: М300 \n oov: benedikt\n oov: Автопокраска\n oov: thermoking\n oov: Мегаторге\n oov: ltn154w01\n oov: Соедин\n oov: соляно\n oov: ГВЛВ\n oov: Европростыня\n oov: высокотехнологичен\n oov: долговечность \n oov: «1МарКа»\n oov: m7600\n oov: gp240\n oov: Взбивали\n oov: стоекло\n oov: Идательство\n oov: Фемели\n oov: адмнистративные\n oov: Эфективные\n oov: mj2y2\n oov: polimaster\n oov: 36000р\n oov: фотоовалы\n oov: 8 метра\n oov: съэкономить\n oov: 200х160\n oov: докучаево\n oov: 1кВт\n oov: проваренных\n oov: витаминизирует\n oov: hdЕсть\n oov: РЕШИМ\n oov: ankom\n oov: чучалок\n oov: КАЧЕСТВЕННЫЕ\n oov: имессидж\n oov: Разговариваю\n oov: Полиэстерное\n oov: Наносите\n oov: большенькая\n oov: Потеют\n oov: r7202\n oov: Родничка\n oov: звучками\n oov:  двухуровневый\n oov: e1942\n oov: сошью\n oov: Автотрансформатор\n oov: кухная\n oov: wolfpak\n oov: РАССМОТРЮ\n oov: упрочненное\n oov: РЕМОНТАМИ\n oov: Премиального\n oov: 2пеленки\n oov: ринговки\n oov: евродрова\n oov: 103х51х87\n oov: первопроходы\n oov: 2️⃣5️⃣0️⃣р\n oov: 3герца\n oov: Пъезоэлемент\n oov: СЧ15\n oov: мультикультиватор\n oov: 25руб\n oov: спецтребованиями\n oov: 1занятие\n oov: Инжекторно\n oov: СЧ12\n oov: 1070 мм\n oov: 💰900₽\n oov: селектив\n oov: qysters\n oov: нече\n oov: 01361c\n oov: 224bb\n oov: прокуренно\n oov: конбинезон\n oov: шлёп\n oov: Мультилок\n oov: разложу\n oov: otello\n oov: apach\n oov: Унивилки\n oov: kinexib\n oov: с АО\n oov: Рэмо\n oov: 6х4м\n oov: primorac\n oov: вайберу\n oov: алкатэль\n oov: сорников\n oov: plantazm\n oov: Лайт»\n oov:  куры\n oov: sleu2\n oov: покупка»\n oov: forvord\n oov: 1204fx\n oov: Лайт \n oov: af30\n oov: рукавчиках\n oov: af35\n oov: af38\n oov: соложенном\n oov: гатчина\n oov: 24lh2\n oov: 🖎или\n oov: зеленый \n oov: гигееничность\n oov: 300х300\n oov: террекс\n oov: altay\n oov: всасывния\n oov: Плодоносные\n oov: телика\n oov: Плодоносный\n oov: Расщепкина\n oov: приятностей\n oov: подножных\n oov: Торгуемо\n oov:  Удлиненный\n oov: 79130423366\n oov: рефрижиратором\n oov: Резмеры\n oov: НАЛИЧНЫМИ\n oov: Хлорофитумы\n oov: милейшему\n oov: шоты\n oov: Делянка\n oov: 269руб\n oov: Делянки\n oov: «gusto»\n oov: разбиваю\n oov: хрущовка\n oov: 0°\n oov: k620m\n oov: 0»\n oov: Верхний шкаф с\n oov: 59х27\n oov: 0 \n oov: campack\n oov: сеспель\n oov: фотокаталог\n oov: cetop\n oov: поселоке\n oov: поселока\n oov: штемп\n oov: 1230т\n oov: •Диапазон\n oov: 60х100см\n oov: 1024гб\n oov: ЭВАКУАТОР\n oov: «Комфорт2»\n oov: 35ГС\n oov: ЦЕЛЬНОМЕТАЛЛИЧЕСКИЙ\n oov: Агент11\n oov: МпиксФизический\n oov: 6009А\n oov: Этикетировочный\n oov: И8\n oov: заплетаются", "332602": "I can assure you as a native speaker, that vast majority of words do belong to Russian language. To make a better hit with dictionary, you need to do more cleaning, including\n\n - clean up from special characters, i.e. •Диапазон -> Диапазон\n - lower case, i.e. ЭВАКУАТОР -> эвакуатор\n - separate letters from digits, i.e. Агент11 -> агент 11; 60х100см -> 60 х 100 см \n - possibly normalize the form, since nouns, verbs and adjectives do differ in endings depending on person,case and plurality, i.e \"разбиваю\" is first person form of verb infinitive \"разбивать\"; \n - some words are just Russian spelling of a foreign word, i.e. \"алкатэль\" -> alkatel (a brand)\n - some words are just made up by a writer, i.e. \"Европростыня\" is a Euro-size bed sheet.\n - some are places, like \"Расщепкина\" (most likely street name), \"гатчина\" - a city\n - some are specific terms may not be found in academic dictionary, i.e. \"хрущовка\" is a flat in a building from a certain time epoch, \"Хлорофитумы\" is plural of some chemical compound etc\n - finally, there are a lot of misspelled words here too, since people in Russia are no more literate than in the rest of the world :)", "332973": "thanks and it is very useful." }, "source": "meta" }