Введение в обработку естественного языка, День 1

Спикер — Вячеслав Бакулин Лекция: https://colab.research.google.com/drive/1PGYQxTSWZB0W1qRMYRcnjdbL--lHi8w7?usp=sharing Задание: https://colab.research.google.com/drive/1b2eytyh7_NZj-peuiN5YTNyvYmLPssvS?usp=sharing 00:00:00 - Начало, введение 00:03:55 - Наш датасет 00:06:00 - Что у нас за данные? 00:18:30 - Решим нашу задачу, а потом будем разбираться, как оно получилось 00:27:50 - Основы NLP: базовые операции с текстами 00:29:10 - Токенизация и основы библиотеки nltk 00:43:40 - Нормализация текстов. Стемминг и лемматизация 00:48:28 - В чем разница между лемматизацией и стеммингом? 00:55:07 - Лемматизация 00:57:30 - Для русских текстов протестируем реализацию для python алгоритма Pymorphy, который умеет лемматизировать тексты 01:05:30 - Обработка стоп слов 01:09:25 - Пример нормализации данных с описаниями фильмов из топа 250 кинопоиска 01:39:20 - Фильтрация словаря токенов 01:47:25 - Домашнее задание