nlp

이 저장소는 일련의 NLP 실험 및 구현을 포함하고 있습니다. 주요 기능은 다음과 같습니다: - 단어 벡터 모델: Continuous Bag of Words (CBOW) 및 Skip-gram 구현, 훈련 스크립트 및 예제 생성기 포함. - 텍스트 처리: 토큰화, 어휘 매핑 및 BNC 코퍼스 데이터 읽기 도구. - 고전적 NLP: Jurafsky 및 Martin 연습 문제를 기반으로 한 tf-idf 알고리즘 구현 및 n-gram 테이블 구축/생성. - 고급 모델: PyTorch를 사용한 Transformer 모델의 튜토리얼 구현 및 거리 의존적 Chinese Restaurant Process (CRP) 구현. - 유틸리티: 명령줄 인터페이스를 갖춘 프로그램 구조화를 위한 커맨드 패턴 프레임워크.