背景说明

1. 需求背景

• 未来已来，人工智能，已逐步步入人们的工作与生活。AIOT，即人工智能物联网，将AI应用于IOT，并与IOT的深度融合。 所谓AIOT，是指系统通过各种信息传感器实时采集各类信息，在终端设备、边缘或云中心通过机器学习对数据进行智能化 分析。
• 近年来，AIOT对边缘计算的能力要求越来越高，物联网设备端，如传感器、摄像头和移动设备等，具备一定的算力，可实 现关键特征信息的处理，而不需要将大量计算放在云端，从而消除因为传输过程中造成的延迟以及通信资源的占用。
• 安凯微电子着眼于智能家居和智能安防，专注于机器视觉、多媒体和深度学习等核心基础算法的研究开发，为客户提供优秀的AIOT芯片产品。

2. 产品简介

• 安凯微电子AK376xD，是一款应用于AIOT领域的音视频数据采集芯片。基于芯片打造的AnyCloudV500平台，通过模块化设计，为用户提供了完整的功能模块接口，用户可编写应用层软件，通过调用各功能模块接口，实现音视频信号采集、音 视频编解码及播放、二维图像处理、数据存储、网络通信等功能。

应用示例---楼宇可视对讲系统应用场景

• 当来访者需要进入小区或者楼层时，可以通过室外主 机拨号呼叫室内分机；
• 此时室外主机采集音视频进行编码处理，然后通过有 线网络传输到对应的室内分机；
• 室内分机接通呼叫后，可以通过视频看到来访人员， 并进行语音交流；在确定来访人员信息后，可以控制 室外主机打开门锁；
• 如果来访人员是小区住户，则可以直接通过室外主机 刷卡、指纹识别、人脸识别、输入密码等方式控制门 锁打开。

应用示例---室外主机应用框图

应用示例---室内分机应用框图

开发平台介绍---系统功能

1. 平台系统

• Linux内核4.4.xxx版本
• UCLIBC GCC交叉编译器
• 支持jffs2、yaffs2、initfs、squashfs文件系统
• 提供UART、MMC/SD、RTC、  Audio ADC、Audio DAC等模块的 系统驱动程序

2. 音频编解码

• 音频编解码格式：G711、AAC、ADPCM、PCM 、AMR、MP3
• 编码库支持8KHz/16KHz采样频率音 频编码
• 支持全双工回音消除算法，支持AGC算法

3. 视频编解码

• H.265/H.264/MJPEG编解码器
• 编码器支持SmartH.265/H.264模式
• 解码器支持最多8路视频同时解码
• 编解码性能支持1080P@25fps +VGA@25fps +1080P@1fps JPEG抓图，1536P@20fps + VGA@20fps + 1563P@1fps JPEG抓图，1920P@12.5fps + VGA@12.5fps + 1920P@1fps JPEG抓图

4. 显示控制器

• 支持4lane MIPI接口
• 支持8bits/16bits/18bits/24bits RGB接口
• 支持8bits/9bits/16bits/18bits MPU接口
• 常用的屏幕尺寸，如：2.8寸、3.5寸、4.3 寸、7寸和10.1寸等，最大支持1280*800分 辨率

5. 二维图像处理器（TDE）

• 支持矩形贴图功能
• 支持alpha blending功能
• 支持90°、180°和270° rotation功能
• 支持colorkey功能
• 支持blit功能
• 支持图像缩放功能
• 支持图像剪裁功能

6. 存储器

• SDRAM：芯片内置512Mbits/1Gbits的  DDR2 SDRAM
• Flash：64Mbits/128Mbits SPI Nor Flash、 1Gbits和2Gbits SPI Nand Flash
• SD卡：兼容各种容量的SD卡，最大支持  128GB

开发平台介绍---硬件平台

平台开发板采用“底板+核心板+扩展板”方式，其中核心板分为MIPI接口和RGB接口两种类型；扩展板包括PHY小板、LCD屏小板等，具 体如下表格所示。

开发板组成

开发平台介绍---芯片架构

开发平台介绍---产品开发包

平台的产品开发包主要由硬件开发套件、软件开发套件和配套工具组成，具体如下表所示。

开发平台介绍---软件系统

SDK软件架构

开发平台介绍---软件系统

室内机和门口机软件结构图

课题建议

课题建议：

• 音/视频采集播放。
• 视频数据采集处理，如图像裁剪、放大、缩小等。
• 基于网络传输的双向可视对讲产品。
• 音/视频数据采集后，在计算机或主芯片上实现音视频处理算法，如车牌识别、人 形检测、噪声消除、语音识别等，结果返回开发板显示。

通过应用安凯微电子AnyCloudV500平台完成毕业设计，你可以获得：

• 真正产品级的应用开发经验，初步掌握产品的三个属性特征（入口\联接\交互）。
• 通过产品应用开发，加深对AIOT应用的理解。
• 学习先进的AI处理算法，通过深度学习实现多场景、复杂环境下的目标识别。