rtranslator

RTranslatorは、外部サーバーにデータを送信せず、完全に端末上で動作するAndroid向けのリアルタイム翻訳アプリです。ほぼ完全にオープンソースと説明されていますが、一部の外部コンポーネントはより制限の厳しいライセンスを持っているとプロジェクトは注記しています。 主なモード: - 会話モード: アプリを実行している2台以上のスマートフォンが相互に接続します。音声は(スマートフォンのマイクまたはBluetoothヘッドセットで)取得され、テキストに変換され、相手の端末に送信され、そこで翻訳され、相手のユーザーのスピーカーまたはヘッドセットを通して読み上げられます。これは双方向で機能し、さまざまな組み合わせで3人以上にも対応します。 - トランシーバーモード: 道を尋ねたり店員と話したりするような短いやり取り向けに設計されています。1台のスマートフォンで動作し、選択可能な2つの言語を同時に聞き取り、どちらの言語が話されているかを検出し、翻訳して結果を読み上げます。ユーザーは交代で話します。このモードではBluetoothヘッドセットはサポートされていません。 - テキスト翻訳モード: 従来型のテキスト翻訳機能で、バージョン2.1で読み上げボタンとコピーボタンが追加されました。 アプリはバックグラウンドでも動作し続けることができ、スマートフォンが待機中や他のアプリを使用中でも動作しますが、READMEでは一部のスマートフォンはバックグラウンドの電力消費を制限しており、アプリを開いたままにしておく方が望ましい場合があると注記しています。 モデルと技術: バージョン2.xでは、翻訳にMetaのNLLB(KVキャッシュ付きNLLB-Distilled-600M)を、音声認識にOpenAIのWhisper(KVキャッシュ付きWhisper-Small-244M)を使用しており、どちらもONNXに変換され、品質低下を抑えるために一部の重みを除外してint8に量子化されています。READMEによると、最適化によりNLLBのRAM使用量は2.5 GBから1.3 GBに、75トークンの実行時間は8秒から2秒に短縮され、WhisperのRAMは1.4 GBから0.9 GBに、11秒の音声の実行時間は1.9秒から1.6秒に短縮されました。RAMが8 GB未満のスマートフォンでは、約0.5 GBを使用する低メモリのWhisper構成が使用されます。 バージョン3.0ベータでは、NLLBがMozilla Bergamotモデル、Madlad 400 3B、HY-MT 1.5 1.8Bの中から選択する方式に置き換えられ、MLKitがオープンソースの代替(FastTextとLingua)に置き換えられ、アプリは完全にオープンソースになります。また、ビームサーチ、多言語辞書、Tatoeba統合などの技術も追加されています。Mozillaモデルを使用したテキスト翻訳用のセルフホスト型Web版が計画されています。 その他の外部コンポーネントとして、BluetoothCommunicatorとGalleryImageSelector(どちらも同一作者によるオープンソース)、OnnxRuntime、SentencePieceが挙げられています。MLKitはバージョン2.xでトランシーバーモードの言語識別に使用されていました。 言語: 主な対応セットには、アラビア語、ブルガリア語、カタルーニャ語、中国語、クロアチア語、チェコ語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ガリシア語、ドイツ語、ギリシャ語、イタリア語、日本語、韓国語、マケドニア語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スロバキア語、スペイン語、スウェーデン語、タミル語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語が含まれます。バージョン2.1以降では、「低品質言語をサポート」設定により、翻訳と音声認識の品質が低い多数の言語が追加されます。テキスト読み上げはスマートフォンのシステムTTSを使用し、Google TTSが推奨されています。 要件とインストール: READMEでは、クラッシュを避けるために少なくとも6 GBのRAMが必要であり、それに加えてある程度高速なCPUが必要と記載されています。APKはGitHubのリリースからダウンロードされます。初回起動時にアプリは約1.2 GBのモデルをダウンロードし、GitHubが遅い地域向けに手動サイドローディングのガイドがあります。バージョン1.0は非力なスマートフォン向けに提供されていますが、Google APIに依存しており、無料ではありません。 プライバシー: READMEでは、アプリは個人データを収集せず、作者はサーバーを運用していないと記載されています。プロジェクトは広告なしで、寄付によって資金提供されており、バージョン3.0はNGI Mobifree Fundの支援を受けています。既知の問題には時折発生するBluetooth接続の切断が含まれ、アプリはまだベータ版であると説明されています。