Android でのハンズフリーに対応する #69

tnoho · 2024-03-03T03:29:21Z

iOS のハンズフリーには #33 ですでに対応していますが、これに加えて Android のハンズフリーに対応します。

iOS の場合は C++ から容易に OS の API を利用することができますが、 Android では C++ からの OS の API 利用は煩雑ですので C++ での提供ではなく aar での提供とし利用するプロジェクトにおいてこれを取り込むこととしました。

Android でも iOS と同様の動きをになるようにしましたが、かなりのコード量となるため iOS とは異なり Unity SDK での利用だけでなく他でも使いやすいように意識してあります。

こんな感じで利用可能です

    private var audioManager: SoraAudioManager? = null
    private var isHandsfree = false

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        // ハンズフリーを切り替えるボタンの定義
        binding.handsfreeButton.setOnClickListener {
            // ハンズフリーを現状の逆に切り替える
            audioManager?.isHandsfree = !isHandsfree
        }
        // SoraAudioManager を生成する
        audioManager = SoraAudioManagerFactory.create(applicationContext)
    }

    override fun onResume() {
        super.onResume()
        // SoraAudioManager を開始する
        // AudioManager.requestAudioFocus を内部で呼んでいるので onResume が良い
        audioManager?.start {
            // ハンズフリーは OS により解除されることがあるので変化をイベントで受け取る
            // 現在の状態を知る
            isHandsfree = audioManager?.isHandsfree == true
            // 状態に応じて UI を更新する
            updateHandsfreeButtonText()
        }
    }

    override fun onPause() {
        super.onPause()
        // SoraAudioManager を停止する
        // AudioManager. abandonAudioFocusRequest を内部で呼んでいるので onPause が良い
        audioManager?.stop()
    }

    // 現在の状態に応じてハンズフリーを切り替えるボタンのテキストを変える
    private fun updateHandsfreeButtonText() {
        // UI の変更は UI のスレッドで行わなければならないので UI スレッドで実行する
        runOnUiThread {
            if (isHandsfree) {
                binding.handsfreeButton.text = "SET DEFAULT"
            } else {
                binding.handsfreeButton.text = "SET HANDSFREE"
            }
        }
    }

#33 の iOS と同様に

void isHandsfree()
- 今ハンズフリーモードかを確認する。
void setHandsfree(bool enable)
- ハンズフリーモードにする。もしくは解除する。

での切り替えが可能です。

しかしながら iOS とは異なりインスタンス生成が必要で、これは SoraAudioManagerFactory.create 関数により行います。

Android はオーディオデバイスの切り替えや Bluetooth ヘッドセットのスイッチングが 31 を境に大幅に変更されていることから、31 より前の Android に対応する SoraAudioManagerLegacy と以降に対応する SoraAudioManager2 を内部ために使い分けるためこのような実装になっています。

また Android OS においては Bluetooth ヘッドセットへの接続制御は OS が行なっていないため、これをライブラリ内で行なっています。
加えてバックグラウンド音楽再生の一時停止処理など VoIP 向けのオーディオ設定を行う必要があるため。以下の 2 関数を用意してあります。

void start(OnChangeRouteObserver observer)
- SoraAudioManager による制御を開始する
- バックグラウンド復帰時にも実行する必要があるため onResume で呼ぶことが望ましい
void stop()
- SoraAudioManager による制御を停止する
- バックグラウンドから戻ってきた際にも実行する必要があるため onPause で呼ぶことが望ましい

なお、ハンズフリーは iOS の場合には有線ヘッドセットや Bluetooth ヘッドセットを接続した際に強制解除されるため、同様の挙動を実装してあります。そのため、ユーザー操作起因でデバイスの変更があったことを通知する OnChangeRouteObserver を用意してあります。

以上、ご確認ください🙏

melpon · 2024-03-03T14:37:23Z

android/Sora/Sora/src/main/java/jp/shiguredo/sora/audiomanager/SoraThreadUtils.java

+            throw new IllegalStateException("Not on main thread!");
+        }
+    }
+    public static boolean runOnMainThread(Runnable action) {


自分のイメージする runOnMainThread は

メインスレッド上で実行中なら即座に action を実行する

そうでなければメインスレッドに action を投げて実行を依頼し

実行完了を待つ

です。１番目と３番目が自分のイメージと違います。

ただ Activity#runOnUiThread の場合、UI スレッド上で実行中なら actions を実行するのは同じですが、非 UI スレッドの場合は依頼を投げて実行完了を待たないようです。

どちらにせよ、メインスレッド上で実行中なら即座に action を実行するのはあった方が良さそうな感じです。

Activity#runOnUiThread の存在を知らなかったので、これで置き換える方向にしたいと思います。

と思ったのですが、 Activity をこのレイヤーまで下ろしてないので、 runOnMainThread を

メインスレッド上で実行中なら即座に action を実行する

そうでなければメインスレッドに action を投げて実行を依頼する

という作りに変更しました。MainThreadWrapper もこれに合わせた作りに変えました。

melpon · 2024-03-03T14:38:52Z

android/Sora/Sora/src/main/java/jp/shiguredo/sora/audiomanager/SoraBluetoothManager.java

+         * すでに接続済みの場合は startBluetoothSco ではインテントは発火しないが
+         * registerReceiver を設定した際に発火する
+         * ただ、その場合も startBluetoothSco は呼んでおかないと、
+         * 他のプログラムが stopBluetoothSco した際に終了してします


「終了してします」→「終了してしまう」

melpon · 2024-03-04T03:02:56Z

android/Sora/Sora/src/main/java/jp/shiguredo/sora/audiomanager/SoraAudioManagerLegacy.java

+import java.util.List;
+import java.util.Set;
+
+public class SoraAudioManagerLegacy extends SoraAudioManagerBase {


SoraAudioManagerLegacy と SoraAudioManager2 は public class である必要は無さそうです。
ただユーザーの方でカスタマイズする時に使いやすいようにとかなら public でも良いかなとは思います。

melpon · 2024-03-04T03:21:39Z

android/Sora/Sora/src/main/java/jp/shiguredo/sora/audiomanager/SoraAudioManagerFactory.java

+    }
+
+    public static SoraAudioManager createWithMainThreadWrapper(Context context) {
+        return new MainThreadWrapper(context);


SoraAudioManager.createWithMainThreadWrapper が MainThreadWrapper を利用して、MainThreadWrapper の中で SoraAudioManager.create を利用して、依存が循環してるのが気になりますね。
new MainThreadWrapper(create(context)) にした方が、依存の向きが分かりやすくなるし、生成方法を外に出せて汎用性高くなりそうです。
（これだとユーザーが生成方法を指定できないから SoraAudioManager withMainThreadWrapper(SoraAudioManager manager) みたいな関数があった方がより便利なんでしょうけど）

createWithMainThreadWrapper の作りをご指摘の形に合わせて変更しました。ベースにした AppRTC の名残でコンストラクタにメインスレッド実行制約がかかっていたのですが、コンストラクタのコードを洗ったところ無くても問題ないようだったので、これを解除して対応しました。withMainThreadWrapper もおまけなので作っておきました。

melpon · 2024-03-04T04:25:43Z

android/Sora/Sora/src/main/java/jp/shiguredo/sora/audiomanager/SoraAudioManager2.java

+
+        registerWiredHeadsetReceiver();
+    }
+


Suggested change

@Override

melpon · 2024-03-04T04:30:16Z

android/Sora/Sora/src/main/java/jp/shiguredo/sora/audiomanager/SoraAudioManagerLegacy.java

+        super.stop();
+    }
+
+    // ハンズフリーかを確認する


Suggested change

// ハンズフリーかを確認する

// ハンズフリーかを確認する

@Override

melpon · 2024-03-04T04:32:11Z

android/Sora/Sora/src/main/java/jp/shiguredo/sora/audiomanager/SoraBluetoothManager.java

+        return new SoraBluetoothManager(context, soraAudioManagerLegacy, audioManager);
+    }
+
+    protected  SoraBluetoothManager(


Suggested change

protected SoraBluetoothManager(

protected SoraBluetoothManager(

tnoho · 2024-03-05T14:17:44Z

@melpon ご指摘ありがとうございます🙏ご指摘いただいたところは一通り修正しましたので確認いただければと思います。

melpon

よさそう

tnoho · 2024-03-05T23:54:51Z

ありがとうございます！🙏

tnoho added 27 commits January 25, 2024 01:33

Android でのハンズフリーを実現するコードを追加する

5bcc832

必要な API バージョンを 21 まで落とす

31a7859

インターフェイスを iOS と揃える

8c79970

メインスレッドでの実行に変えるための処理を追加

593fa6b

ビルドが通るように整理

f97887e

stop を 2 回読んでしまうとクラッシュするので修正

4938132

パーミッションチェックをライブラリに移す

51cd091

ハンズフリーに切り替わらなくなる問題を修正する

bc99e64

OnChangeRoute の発生をデバイス変更のみにする

f81ca20

stop を呼ぶとコールバックが発生するので止める

1e659c4

API Level 31 以上の処理を分ける

42df19e

クラス名を整理

1fcd5d1

インターフェイスの細かい整理

142770a

継承でさせる必要のない変数を整理

a9f67bc

BLUETOOTH_CONNECT が不要な Intent に切り替える

9135f43

メインスレッドに振り替える処理をライブラリに追加

435c19e

ログ出力を整理

ab2e848

ビルド対象に入れてみる

d57fe43

JDK 17 のセットアップを挟んでみる

29164da

Gradle のバージョンを 7.2 に統一する

c7d97dc

Gradle と JDK と setup-android のバージョンを上げる

3d24d9e

namespace を追記

35c4abc

Android NDK を指定する

21775fd

targetSdk と compileSdk を 34 にする

2d5ec72

Sora にパッケージ名を変更

4992738

コードの構成を整理してインターフェイスで集約する

111092a

AudioChangeRouteObserver が null でも動くようにする

afe7cd1

tnoho requested a review from melpon March 3, 2024 03:29

tnoho self-assigned this Mar 3, 2024

melpon reviewed Mar 4, 2024

View reviewed changes

tnoho added 4 commits March 5, 2024 21:03

指摘を受けた点を修正

62457db

runOnMainThread を整理

ed1fbae

コンストラクタにメインスレッド制約はないため制約をなくす

74ebe21

createWithMainThreadWrapper を整理する

c2390c3

tnoho requested a review from melpon March 5, 2024 14:17

melpon approved these changes Mar 5, 2024

View reviewed changes

tnoho mentioned this pull request Mar 5, 2024

Android でのハンズフリーに対応する shiguredo/sora-unity-sdk#89

Merged

Merge branch 'develop' into feature/add-android-handsfree

9786829

miosakuma merged commit e1a0200 into develop Mar 6, 2024
8 checks passed

miosakuma deleted the feature/add-android-handsfree branch March 6, 2024 06:47

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Android でのハンズフリーに対応する #69

Android でのハンズフリーに対応する #69

tnoho commented Mar 3, 2024 •

edited

Loading

melpon Mar 3, 2024

tnoho Mar 5, 2024 •

edited

Loading

tnoho Mar 5, 2024

melpon Mar 3, 2024

melpon Mar 4, 2024

melpon Mar 4, 2024

tnoho Mar 5, 2024

melpon Mar 4, 2024

melpon Mar 4, 2024

melpon Mar 4, 2024

tnoho commented Mar 5, 2024

melpon left a comment

tnoho commented Mar 5, 2024

	// ハンズフリーかを確認する
	// ハンズフリーかを確認する
	@Override

	protected SoraBluetoothManager(
	protected SoraBluetoothManager(

Android でのハンズフリーに対応する #69

Android でのハンズフリーに対応する #69

Conversation

tnoho commented Mar 3, 2024 • edited Loading

Choose a reason for hiding this comment

tnoho Mar 5, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

tnoho commented Mar 5, 2024

melpon left a comment

Choose a reason for hiding this comment

tnoho commented Mar 5, 2024

tnoho commented Mar 3, 2024 •

edited

Loading

tnoho Mar 5, 2024 •

edited

Loading