nlp

Этот репозиторий содержит серию экспериментов и реализаций в области NLP. Ключевые возможности включают: - Модели векторных представлений слов: реализации Continuous Bag of Words (CBOW) и Skip-gram, включая скрипты обучения и генераторы примеров. - Обработка текста: инструменты для токенизации, сопоставления словаря и чтения данных из корпуса BNC. - Классический NLP: реализация алгоритма tf-idf и построение/генерация таблиц n-грамм на основе упражнений Jurafsky и Martin. - Продвинутые модели: учебная реализация модели Transformer с использованием PyTorch и реализация процесса китайского ресторана (CRP), зависящего от расстояния. - Утилиты: фреймворк на основе паттерна «Команда» для структурирования программ с интерфейсом командной строки.