NUWA Robot SDK 日本語チュートリアル

ver 1.0.1

NUWA Robot SDKとは？

"NUWA Robot SDK"は、NUWA Robotics 製のロボット（2019年11月現在、日本ではケビーのみ対応）用のアプリ開発キットです。Android Qをベースに動作しており、Android Studioを利用してアプリを作成することが可能です。

開発環境と関連資料

NUWA Robot SDKは、次の開発環境をサポートしています。

Android Studio Archive
推奨開発バージョン : Android Studio 4.1 October 12, 2020 (android-studio-ide-201.6858069.zip)

最新情報は、公式ホームページで公開しています。

[公式ホームページ（英語）] https://www.nuwarobotics.com

NUWA Robot APIが含まれるAndroid Archive(aar)の他、サンプルコード、チュートリアルなどを提供しています。

[NUWA Robot SDK Manual] NUWA Developer
[NUWA Robot SDK aar] Download from NUWA Developer
[NUWA Robot SDK JavaDoc] NUWA Developer
[NUWA Robot SDK Example for Android] NUWA Github
[Kebbi Motion list] NUWA MOTION
[Kebbi Content Editor] NUWA Content Editor*

※ 本ドキュメントは、初心者向けの日本語チュートリアル（オリジナル）となります。NUWA Robot SDK Manual 1.1 をベースに解説しています。最新の情報は公式のドキュメントを参照してください。

[NUWA Robot SDK Manual（日本語訳）] NUWA Developer
[NUWA Robot SDK 日本語チュートリアル] NUWA Developer

本ドキュメントの役割

本ドキュメントでは、NUWA Robot SDKの簡単な使い方を解説しています。NUWA Robot SDKの概要については、NUWA Robot SDK Manual、APIの詳細につきましては、NUWA Robot SDK Javadoc を御覧ください。

本ドキュメントの開発機材について

ケビーのアプリは、WindowsでもMacでも開発が可能です。本ドキュメントでは、Mac（Catalina）で開発を行っています。

開発環境の準備

開発には、Android Studioが必要です。最新版のAndroid Studioを用意してください。

Android Studio

※本ドキュメントでは、執筆時の最新版である 3.5.2 を使用しています。

ケビーを開発者モードにする

最初に、以下の手順で、ケビーを開発者モードに設定します。

ケビーの設定画面を開き、一番下の「紹介ケビー」を選択する

setting

メニューの「紹介ケビー」を10回連打すると、開発者向けの設定が追加されます。

setting_end

「HOME SETTING」を押すと、Androidの設定画面に遷移します。

android_setting

この画面から、「端末情報」にある「ビルド設定」を探して、「ビルド番号」を連打してください。「システム」の「詳細設定」に「開発者向けオプション」が追加されます。

開発者向けオプションをONにして、USBデバッグを有効にしてください。これで、パソコンとケビーを接続できるようになります。

debug_on

ケビーとパソコンの接続

ケビーをUSBケーブルで接続します。

Please get USB password from [NUWA Robot SDK Manual]

※ 自分の環境では、手持ちのUSB-Cケーブル（両端ともにUSB-C）だと認識しなかったので、ケビーに付属しているUSB-Cケーブル（USB-CとUSB-2.0）に変換アダプターをつけたところ正常に認識しました。

Android アプリの作成

それでは、簡単なKebbi用のアプリを作成してみましょう。

Android Studioを起動して、プロジェクトを作成します。

「Start a new Android Studio project」を選択して、新しいプロジェクトを作成します。

NewProject1

プロジェクトの種類を選択します。

「Empty Activity」を選んでください。

NewProject2

プロジェクト名を決定します

今回は、「HelloKebbi」という名前にしました。

※ Languageは、Javaを選択してください。

※ Minimum API level は、「API 26: Android 8.0 (Oreo)」を選択してください。

NewProject3

ライブラリの設定

NUWA Robot API を利用するためのライブラリを設定します。

AARファイルのコピー

最初に、左上のメニューから「Project」を選択します。

aar1

次に、appフォルダの中のlibsフォルダに、KiwiSDKの最新版の.aarファイルをコピーします。

aar2

コピーが成功すると、このようになります。

aar3

appフォルダの中の「build.gradle」の一番最後に、以下の記述を追加します。


repositories {
    flatDir {
        dirs 'libs'
    }
}

aar4

最後に、「build.gradle」のdependenciesの最後に以下を追記します。


xxxxxxxxxx
// include Nuwa Robot SDK in /libs
implementation(name: 'KiwiSDK_RPC_2019-10-03_v1.0.1.9.54caff0', ext: 'aar')

aar5

APIの初期化

それでは、プログラムを作成していきましょう。

appフォルダの中にあるsrcフォルダから、MainActivity.javaを探してください。

main1

AppCompatActivityに、以下の行を追加します。（自動的に、NuwaRobotAPIを利用するためのimportが追加されます。以下同様です。）


xxxxxxxxxx
    private NuwaRobotAPI mRobot;

main2

onCreateに、APIを使うための初期処理を記述します。また、イベントを処理するための関数も用意しましょう。以下のようにonCreateを書き換えてください。


x
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        //init kiwi sdk
        String your_app_package_name = getPackageName();
        IClientId id=new IClientId(your_app_package_name);
        mRobot = new NuwaRobotAPI(this, id);
        // register Nuwa Robot Listener
        registerNuwaRobotListener();
    }
    void registerNuwaRobotListener() {
    }

main3

イベントリスナー

次に、ケビーから発生するイベントのリスナーを定義していきましょう。

先ほど作成した「void registerNuwaRobotListener」の中に以下をコピペしないで記述していってください。


xxxxxxxxxx
mRobot.registerRobotEventListener(new RobotEventListener

そうすると、こんな感じで入力補助が出るので選択します。

event1

閉じカッコでエラーになっているので

event2

このように修正します。

event3

修正が終わったら、以下のプログラムも追加してみてください。


xxxxxxxxxx
mRobot.registerVoiceEventListener(new VoiceEventListener

最終的に、registerNuwaRobotListenerは、以下のようになります。入力補助がうまく出来なかった場合は、以下のソースをコピペしてみてください。


xxxxxxxxxx
void registerNuwaRobotListener() {
    mRobot.registerRobotEventListener(new RobotEventListener() {
        @Override
        public void onWikiServiceStart() {
        }
        @Override
        public void onWikiServiceStop() {
        }
        @Override
        public void onWikiServiceCrash() {
        }
        @Override
        public void onWikiServiceRecovery() {
        }
        @Override
        public void onStartOfMotionPlay(String s) {
        }
        @Override
        public void onPauseOfMotionPlay(String s) {
        }
        @Override
        public void onStopOfMotionPlay(String s) {
        }
        @Override
        public void onCompleteOfMotionPlay(String s) {
        }
        @Override
        public void onPlayBackOfMotionPlay(String s) {
        }
        @Override
        public void onErrorOfMotionPlay(int i) {
        }
        @Override
        public void onPrepareMotion(boolean b, String s, float v) {
        }
        @Override
        public void onCameraOfMotionPlay(String s) {
        }
        @Override
        public void onGetCameraPose(float v, float v1, float v2, float v3, float v4, float v5, float v6, float v7, float v8, float v9, float v10, float v11) {
        }
        @Override
        public void onTouchEvent(int i, int i1) {
        }
        @Override
        public void onPIREvent(int i) {
        }
        @Override
        public void onTap(int i) {
        }
        @Override
        public void onLongPress(int i) {
        }
        @Override
        public void onWindowSurfaceReady() {
        }
        @Override
        public void onWindowSurfaceDestroy() {
        }
        @Override
        public void onTouchEyes(int i, int i1) {
        }
        @Override
        public void onRawTouch(int i, int i1, int i2) {
        }
        @Override
        public void onFaceSpeaker(float v) {
        }
        @Override
        public void onActionEvent(int i, int i1) {
        }
        @Override
        public void onDropSensorEvent(int i) {
        }
        @Override
        public void onMotorErrorEvent(int i, int i1) {
        }
    });
    mRobot.registerVoiceEventListener(new VoiceEventListener() {
        @Override
        public void onWakeup(boolean b, String s, float v) {
        }
        @Override
        public void onTTSComplete(boolean b) {
        }
        @Override
        public void onSpeechRecognizeComplete(boolean b, ResultType resultType, String s) {
        }
        @Override
        public void onSpeech2TextComplete(boolean b, String s) {
        }
        @Override
        public void onMixUnderstandComplete(boolean b, ResultType resultType, String s) {
        }
        @Override
        public void onSpeechState(ListenType listenType, SpeechState speechState) {
        }
        @Override
        public void onSpeakState(SpeakType speakType, SpeakState speakState) {
        }
        @Override
        public void onGrammarState(boolean b, String s) {
        }
        @Override
        public void onListenVolumeChanged(ListenType listenType, int i) {
        }
        @Override
        public void onHotwordChange(HotwordState hotwordState, HotwordType hotwordType, String s) {
        }
    });
}

これで、プログラムの準備はできました！

ハロー！ケビー！

おまたせしました！ケビーを喋らせてみましょう。先程追加したイベントリスナーの中から、onWikiServiceStartを探して以下のように修正してください。このイベントは、APIの初期化が終わったら呼び出されるイベントです。


xxxxxxxxxx
@Override
public void onWikiServiceStart() {
    Log.d("KEBBI", "onWikiServiceStart");
    mRobot.startTTS("ハロー、私は、ケビーです。");
}

最後にもう一つだけ、イベントリスナーにログを入れてみましょう。


xxxxxxxxxx
@Override
public void onTTSComplete(boolean b) {
    Log.d("KEBBI", "onTTSComplete:" + b);
}

onTTSCompleteは、ケビーの発話が終わったら呼び出されるイベントです。ケビーに連続した発話や動作をさせたい場合に役に立つでしょう。今回は最初なので、ログを確認できるようにしておきます。

プログラムを動かそう！

それでは、プログラムを実行してみましょう。パソコンにケビーが接続されていれば、左上の機種名のところにケビーが表示されているはずです。再生ボタンをおせば、プログラムが実行されますよ！

run1

どうでしょう？ケビーはちゃんと話してくれましたか？ついでに、ログも確認しておきましょう。ログの検索に「KEBBI」と入れておくと、余計なログが表示されないので便利です。

run2

アプリの終了

アプリを終了させるには、Android Studioの停止ボタンを押してください。ケビーの頭のボタンをおしても見かけ上は終了したようにみえますが、実際はアプリは動作しています。

end1

実行したアプリは、自動的にケビーのメニューに追加されます。次回以降は、こちらからアプリを起動させることも出来ます。

end2

他のアプリのように、プログラム名を指定したり、アイコンを素敵なものに変えれば、あなただけのオリジナルアプリが完成しますよ！

チュートリアル完了！

おつかれさまでした、これでチュートリアルは完了です。ケビーのアプリを作るための基本的な流れは理解できたかと思います。とはいえ、まだまだやってみたいことはたくさんありますよね？

まずは、

[NUWA Robot SDK Manual（日本語訳）] NUWA Developer　

を読んでみましょう。このドキュメントには、ケビーのアプリを作るためのAPIの使い方が完結に紹介されています。また、公式サイトにもサンプルプログラムなどが公開されているので、参考にしてみて下さい。

たとえば・・・

ケビーのLEDをコントロールする
音声認識を使ってみる
ケビーにいろいろな動作をさせる
ケビーを移動させる

などといったことが出来るようになりますよ！

とはいえ、まだまだ、ケビーのプログラム環境は充実しているとは言い切れません、みなさんが挑戦したこと、やってみたこと、実際に作成したアプリケーションなど、ぜひqiitaなどで公開していただければとおもいます！

よろしくおねがいします！