Как разбить русский текст на токены | Обработка естественного языка

Библиотеки для токенизации текста на Python 00:00 - Токенизация теста 01:56 - Токенизация с NLTK 03:03 - Токенизация с TensorFlow 05:44 - Токенизация со spaCy Ссылка на нойтбук из видео – Библиотеки для токенизации текста: - Natural Language Toolkit (NLTK) – - TensorFlow Text – - spaCy – SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing – Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы “Стипендиальная программа Владимира Потанина“ Благотворительного фонда Владимира Потанина“ вКонтакте - telegram - Мой сайт - Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках -