原创 GDE专栏 | 完整示例：Android Things和TensorFlow能擦出怎样的火花？

第一次阅读本专题的朋友可移步，阅读之前的文章：

1. 物联网到底是什么？


2. 完美支持 Android Things 的开发板都在这里了


3. Android Things 开发环境搭建


4. Android 与 Android Things，父子还是兄弟？


5. Android Things中的I2C

前面絮叨了这么多，好像还没有一个总体的概念，我们如何写一个完整的代码呢？

现在深度学习很火，那我们就在 Android Things 中，利用摄像头抓拍图片，让 TensorFlow 去识别图像，最后用扬声器告诉我们结果。

是不是很酷？说基本的功能就说了这么长一串，那垒代码得垒多久啊？

项目结构

我们就从 Android Studio 的环始境开始说起吧。

启动 Android Studio 之后，务必把 SDK Tools 的版本升级到 24 及以上。然后再把 SDK 升级到 Android 7.0 及以上。让 Android Studio 自己完成相关组件的更新，导入项目，项目的结构如下：

代码中的 TensorflowImageClassifier 是用于跟 TensorFlow 做交互的，还有摄头的 handler 级及图像处理相关的代码。我们再来看看外部的引用库。

包括了 Android Things 和 TensorFlow 的相关库，当然，Android 的 API 的版本是24。gradle 的依赖和 Manifest 中的 filer 是和之前搭建开发环境的讲解一致的。

引用的 TensorFlow 的库，是 aar 打包的 Tensorflow-Android-Inference-alpha-debug.aar，这就意味着我们不需要 NDK 环境就能够编译整个项目了。

主要是留意 dependencies 这一项，包括了 TensorFlow 的库和 Android Things 的库：

再申请了摄头相关的权限。补充一下，Android Things 是不支持动态权限的申请的。

硬件连接

接下来便是硬件如何连接了。

硬件清单如下：

• Android Things 兼容的开发板，比如 Raspberry Pi 3


• Android Things 兼容的摄像头，比如 Raspberry Pi 3 摄头模块


• 元器件:

1. 1 个按钮，见面包板


2. 2 个电阻，这块儿必须要说明一下：由于硬件连接的示意图是接的 5V 的电压，一般来说 GPIO 和 LED 的承压能力是 3V，有些 GPIO 是兼容 5V 的，所以中间需要串联 100～200 欧的电阻。


3. 1 个 LED 灯


4. 1 个面包板


5. 杜邦线若干


6. 可选：扬声器或者耳机


7. 可选：HDMI输出

连完了硬件，我们这时候就要理解操作流程了。

操作流程

按照前面讲解的内容，用 Andorid Studio，连接 ADB，配置好开发板的 Wi-Fi，然后把应用加载到开发板上。

操作流程如下：

1. 重启设备，运行程序，直到 LED 灯开始闪烁；


2. 把镜头对准猫啊，狗啊，或者一些家具；


3. 按下开关，开始拍摄图片；


4. 在 Raspberry Pi 3 中，一般在 1s 之内，可以完成图片抓拍，经 Tensorflow 处理，然后再通过 TTS 放出声音。在运行的过程中 LED 灯是熄灭的；


5. Logcat 中会打印出最终的结果，如果是有显示设备连接的话，图片和结果都会显示出来；


6. 如果有扬声器或者是耳机的话，会把结果语音播报出来。

由于代码的结构特别简单，注意一下几段关健的操作即可。想必图形、摄头的操作在Android 的编程中大家都会了，所以不做讲解了。

主要是看 LED 的初始化操作：

有必要说一下，ImageClassifierActivity 是应用唯一的 Activity 的入口。在 Manifest 中已经有定义，它初始化了 LED, Camera, TensorfFlow 等组件。其中，我们用到的 Button 是 BCM32 这个管脚，用到的 LED 是 BCM6 管脚，相关的初始化在这个 Activity 中已经完成。

这部分代码是捕捉按键按下的代码。当按下按键时，摄头开始捕捉数据。

把摄像头拍摄的数据转成 Bitmap 数据之后，我们会调用 TensorFlow 来处理图像。

这个函数调用了 TensorFlow 进行处理，最后把结果输出到 logcat 中。如果代码中调用了 tts 引擎，那么则把结果转成语音读出来。看来，最重要的就是 TensorFlowClassifier 类的 recognizeImage() 这个接口了。我们继续往下看。

这是最后的一步，调用 TensorFlow 进行图像识别：

1. 把 Bitmap 图像转成 TensorFlow 能够识别的数据；


2. 把数据拷到 TensorFlow 中；


3. 识别出图像，给出结果。

调用 TensorFlow 的过程还是挺好玩的，也挺方便。那么，为啥 TensorFlow 一下子就能够识别出是什么图片呢？Tensorflow 的官网给出的解答：

www.tensorflow.org/tutorials/image_recognition

有一点需要提示，TensorFlow 的图像识别分类可以用提交到网络服务器识别，也可以在本地用离线数据识别。可以先把 200M 左右的识别数据放在本地，然后进行本地识别。现在大概能分出 1000 个类别的图像，哪 1000 个类别呢？项目代码中已经包含了哦。

是不是运用 TensorFlow 来处理物联网的数据会特别简单，不光是 TensorFlow, Firebase 也可以用到 Android Things 中来。这功能，强大的没话说了！

今天提到的这个项目，来源于 Google 在 GitHub 上维护的项目，项目的地址是

github.com/androidthings/sample-tensorflow-imageclassifier

当然，GitHub 上还有很多 Android Things 的代码可以参考。

是不是迫不急待的自己写一个应用呢？实际上，这个项目稍加改动便能有新的玩法。例如加上一个红外感应器，一旦有生物在附近就马上拍图片，并且识别。

展开你的脑洞吧 :-)

后记

这一篇文章是这个专题的最后一篇了。写完整个专题，发现 Android Things 带给开发者太多太多的便利，如何烧写文件？如何运用 SDK？甚至如何用 Google 的其它服务做物联网相关的数据处理？都有太多太多的现成的方案供我们选择，感叹使用 Android Things 进行物联网应用开发实在太方便了！

您如果有任何涉及到 Android Things 方面的想法，都欢迎大家在下方留言，我们会把好的建议转交给 Android Things 的产品部门。也许在某一天，你的建议就是 Andorid Things 的一部分。