automation-companion

Automation Companionは、rootアクセスを必要とせずに、ユーザーがデバイス上で高度な自動化を作成できるように設計されたAndroidアプリケーションです。オフライン優先のアーキテクチャを採用し、コア機能は完全にデバイス上で動作するため、プライバシーと速度を確保しつつ、高度なインテリジェンスのためにオプションのクラウドAPI統合も提供します。 このアプリは、幅広い自動化方法をサポートしています。ユーザーは、Androidのアクセシビリティサービスを使用して、タップ、スワイプ、テキスト入力などのジェスチャーを記録および再生できます。より複雑なタスクには、ドラッグアンドドロップ接続、条件分岐、マルチノード実行を可能にする視覚的なノードベースのワークフローエディターを提供します。さらに、このアプリは、画面理解のためにオンデバイスの機械学習（TensorFlow LiteおよびML Kit）を活用し、OCRテキスト検出、UI要素認識、画像テンプレートマッチングなどの機能を可能にします。これらの機能は、画面上に特定のパターンが表示されたときにアクションを実行できる視覚的トリガーをサポートします。 手動作成に加えて、Automation Companionには堅牢なシステムコンテキストトリガーが含まれています。自動化は、位置情報（ジオフェンシング）、バッテリーレベル、時刻、Wi-Fi接続、または特定のアプリが開かれたときに基づいてアクティブ化できます。このアプリには「オムニチャットボット」とセマンティック自動化機能もあり、ユーザーは自然言語でタスクを定義でき、ローカルLLMまたはOpenAI、Gemini、Groqなどの接続されたクラウドAPIで処理できます。 技術的には、このプロジェクトはKotlinとJetpack Composeで構築され、モジュール式のMVVMアーキテクチャに従っています。自動化をリアルタイムでデバッグするためのツールが含まれており、スマートフォン、タブレット、PC間のローカルWi-Fi同期によるクロスデバイス自動化をサポートしています。このアプリケーションは、PolyForm非商用ライセンス1.0.0の下でライセンスされています。