NLP_Занятие 1

Блокнот: https://colab.research.google.com/drive/1PGYQxTSWZB0W1qRMYRcnjdbL--lHi8w7?usp=sharing 00:00:00 - Вступление 00:02:42 - Наш датасет 00:06:34 - Что у нас за данные? 00:19:30 - Решим нашу задачу, а потом будем разбираться, как оно получилось 00:31:27 - Основы NLP: базовые операции с текстами 00:32:08 - Токенизация и основы библиотеки nltk 00:42:26 - Нормализация текстов. Стемминг и лемматизация. В чем разница между лемматизацией и стеммингом? 00:52:27 - Лемматизация 00:54:18 - Для русских текстов протестируем реализацию для python алгоритма Pymorphy, который умеет лемматизировать тексты 01:03:15 - Обработка стоп слов 01:08:25 - Пример нормализации данных с описаниями фильмов из топа 250 Кинопоиска 01:31:10 - Напишем функцию, которая будет принимать на вход текст с описанием фильма и возвращать леммы токенов предложения, отфильтрованные по стоп словам 01:39:55 - Фильтрация словаря токенов 01:41:42 - Домашнее задание