nlp

本仓库包含一系列 NLP 实验和实现。核心功能包括： - 词向量模型：Continuous Bag of Words (CBOW) 和 Skip-gram 的实现，包括训练脚本和示例生成器。 - 文本处理：用于分词、词汇映射以及从 BNC 语料库读取数据的工具。 - 经典 NLP：基于 Jurafsky 和 Martin 练习实现的 tf-idf 算法和 n-gram 表的构建与生成。 - 高级模型：使用 PyTorch 实现的 Transformer 模型教程，以及距离依赖的 Chinese Restaurant Process (CRP) 实现。 - 工具类：一个用于构建命令行界面程序的命令模式（command-pattern）框架。