sonnet

Sonnet은 DeepMind 연구자들이 개발한 오픈소스 신경망 라이브러리로, TensorFlow 2 위에서 동작하도록 설계되었다. 주요 목표는 지도 학습/비지도 학습 및 강화 학습을 포함한 다양한 분야의 기계 학습 연구를 용이하게 하는 단순하고 조합 가능한 추상화를 제공하는 것이다. Sonnet의 핵심 프로그래밍 모델은 `snt.Module` 클래스를 중심으로 구성된다. 모듈은 매개변수, 다른 모듈, 메서드에 대한 참조를 포함할 수 있는 독립적인 단위이다. 이러한 설계 덕분에 모듈 간 결합도가 낮아 사용 방식에서 높은 유연성을 확보할 수 있다. 일부 프레임워크와 달리 Sonnet은 특정한 학습 루프나 고정된 구조를 강제하지 않으며, 사용자가 직접 학습 로직을 구축하거나 기존 솔루션을 채택하도록 권장한다. 주요 기능은 다음과 같다. - **사전 정의된 모듈**: Sonnet은 `snt.Linear`, `snt.Conv2D`, `snt.BatchNorm`과 같은 일반적인 구성 요소와 MLP 같은 사전 구축된 네트워크를 제공한다. - **사용자 정의 모듈**: 사용자는 `snt.Module`을 상속하여 사용자 정의 레이어 또는 네트워크를 만들 수 있다. 서브클래싱을 통해 매개변수 관리(`variables` 및 `trainable_variables` 속성), TensorBoard 시각화를 위한 이름 스코프, TensorFlow 체크포인팅 지원 등의 이점을 자동으로 얻을 수 있다. - **직렬화**: 이 라이브러리는 Python의 `pickle`(취약성 때문에 권장되지 않음)과 TensorFlow의 네이티브 체크포인팅 및 Saved Model 형식을 통해 모델을 저장하고 불러오는 것을 지원한다. 이를 통해 안정적인 모델 지속성과 배포가 가능하다. - **분산 학습**: Sonnet은 사용자 정의 TensorFlow 분산 전략을 사용한 분산 학습을 지원한다. 이러한 동작을 라이브러리에 자동으로 내장하는 대신, 사용자가 기울기 평균과 배치 정규화 통계 동기화를 완전히 제어할 수 있도록 한다. 설치에는 TensorFlow 2와 TensorFlow Probability가 필요하며, 이후 `dm-sonnet`을 설치한다. MNIST 분류, GAN 학습, 분산 CIFAR-10 학습과 같은 작업을 위한 예제는 Google Colab 노트북으로 제공된다.