rtranslator

RTranslator는 완전히 기기에서 실행되는 Android용 실시간 번역 앱으로, 외부 서버로 데이터를 전송하지 않습니다. 이 프로젝트는 거의 완전히 오픈 소스로 설명되며, 일부 외부 구성 요소는 덜 허용적인 라이선스를 보유하고 있다고 명시되어 있습니다. 주요 모드: - 대화 모드: 앱을 실행하는 두 대 이상의 휴대폰이 서로 연결됩니다. 음성(휴대폰 마이크 또는 블루투스 헤드셋)이 캡처되어 텍스트로 변환되고, 다른 기기로 전송되어 그곳에서 번역된 후 다른 사용자의 스피커나 헤드셋을 통해 음성으로 출력됩니다. 이는 양방향으로 작동하며 다양한 조합으로 두 명 이상의 참가자를 지원합니다. - 워키토키 모드: 길을 묻거나 상점 직원과 대화하는 등 짧은 교환을 위해 설계되었습니다. 단일 휴대폰으로 작동하며, 선택 가능한 두 언어를 동시에 듣고, 사용된 언어를 감지하여 번역하고 결과를 음성으로 출력합니다. 사용자는 번갈아 말하며, 이 모드에서는 블루투스 헤드셋이 지원되지 않습니다. - 텍스트 번역 모드: 기존의 텍스트 번역기로, 버전 2.1에서 음성 출력 및 복사 버튼이 추가되었습니다. 앱은 백그라운드에서 계속 작동할 수 있으며, 휴대폰이 대기 상태이거나 다른 앱이 사용 중일 때도 작동합니다. 다만 README에는 일부 휴대폰이 백그라운드 전원을 제한하므로 앱을 열어 두는 것이 더 나을 수 있다고 명시되어 있습니다. 모델 및 기술: 버전 2.x는 번역에 Meta의 NLLB(NLLB-Distilled-600M with KV cache)를, 음성 인식에 OpenAI의 Whisper(Whisper-Small-244M with KV cache)를 사용하며, 둘 다 ONNX로 변환되고 일부 가중치를 제외하여 품질 저하를 제한하면서 int8로 양자화되었습니다. README는 최적화를 통해 NLLB RAM 사용량이 2.5GB에서 1.3GB로, 75개 토큰 실행 시간이 8초에서 2초로, Whisper RAM이 1.4GB에서 0.9GB로, 11초 오디오 실행 시간이 1.9초에서 1.6초로 줄었다고 보고합니다. 8GB 미만 RAM의 휴대폰에서는 약 0.5GB를 사용하는 저메모리 Whisper 구성이 사용됩니다. 버전 3.0 베타는 NLLB를 Mozilla Bergamot 모델, Madlad 400 3B, HY-MT 1.5 1.8B 중에서 선택할 수 있도록 대체하고, MLKit를 오픈 소스 대안(FastText 및 Lingua)으로 대체하여 앱을 완전히 오픈 소스로 만듭니다. 또한 빔 서치, 다국어 사전, Tatoeba 통합과 같은 기술을 추가합니다. Mozilla 모델을 사용하는 텍스트 번역용 자체 호스팅 웹 버전이 계획되어 있습니다. 나열된 기타 외부 구성 요소에는 BluetoothCommunicator와 GalleryImageSelector(둘 다 동일 작성자의 오픈 소스), OnnxRuntime, SentencePiece가 포함됩니다. MLKit는 버전 2.x에서 워키토키 모드의 언어 식별에 사용되었습니다. 언어: 주요 지원 언어 세트에는 아랍어, 불가리아어, 카탈루냐어, 중국어, 크로아티아어, 체코어, 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 갈리시아어, 독일어, 그리스어, 이탈리아어, 일본어, 한국어, 마케도니아어, 폴란드어, 포르투갈어, 루마니아어, 러시아어, 슬로바키아어, 스페인어, 스웨덴어, 타밀어, 태국어, 터키어, 우크라이나어, 우르두어, 베트남어가 포함됩니다. 버전 2.1부터 '저품질 언어 지원' 설정이 추가되어 번역 및 음성 인식 품질이 낮은 더 많은 언어가 추가됩니다. 텍스트 음성 변환은 휴대폰의 시스템 TTS를 사용하며, Google TTS가 권장됩니다. 요구 사항 및 설치: README에는 충돌을 피하려면 최소 6GB RAM과 적절히 빠른 CPU가 필요하다고 명시되어 있습니다. APK는 GitHub 릴리스에서 다운로드되며, 첫 실행 시 앱이 약 1.2GB의 모델을 다운로드합니다. GitHub가 느린 지역을 위한 수동 사이드로딩 가이드가 있습니다. 버전 1.0은 성능이 낮은 휴대폰용으로 제공되지만 Google API에 의존하며 무료가 아닙니다. 개인정보 보호: README는 앱이 개인 데이터를 수집하지 않으며 작성자가 서버를 운영하지 않는다고 명시합니다. 이 프로젝트는 광고가 없으며 기부로 자금을 지원받고, 버전 3.0은 NGI Mobifree Fund의 지원을 받습니다. 알려진 문제로는 가끔 블루투스 연결 끊김이 있으며, 앱은 아직 베타 버전으로 설명됩니다.