一、项目介绍​

在当今数字化学习的时代，如何有效监督和了解学习者的学习状态成为了一个重要课题。本项目旨在利用先进的硬件技术与智能算法，打造一个能够实时检测学习者状态的系统，判断其是否处于玩手机、正常学习或其他状态。通过该系统，教师、家长或学习者自身能够直观地了解学习过程中的专注度，以便及时调整学习策略或进行干预。项目选用了 Seeed XIAO ESP32S3 Sense 开发板作为核心硬件，凭借其强大的处理能力、丰富的功能接口以及优秀的无线通信性能，为实现复杂的学习状态检测功能提供了坚实的基础。同时，借助 sensecraft AI 进行模型训练，确保状态识别的准确性和可靠性。

二、硬件介绍

（一）Seeed XIAO ESP32S3 Sense 开发板

强大的处理核心：集成 ESP32S3 32 位双核 Xtensa 处理器芯片，运行频率高达 240 MHz，可高效处理摄像头采集的图像数据以及运行复杂的机器学习模型。其多开发端口设计，方便连接各类外部设备，且支持 Arduino / MicroPython 编程，极大地降低了开发难度，提高了开发效率。

高级功能组件：配备可拆卸的 OV2640 摄像头传感器，能提供 1600x1200 分辨率的清晰图像，满足学习状态检测对图像精度的要求。同时，该开发板还兼容 OV3660 摄像头传感器（分辨率 2048x1536）以及 OV5640 摄像头传感器，可根据实际需求灵活更换。另外，集成的额外数字麦克风，虽在本项目主要功能中未直接使用，但为未来可能的音频分析拓展功能预留了接口。

精心设计的电源管理：具备锂电池充电管理功能。开发板提供 4 种功耗模式，其中深度睡眠模式下功耗低至 14μA，有效延长了电池续航时间，非常适合需要长时间运行的学习状态监测场景。

（二）其他硬件

双色 LED：用于直观显示检测结果。例如，绿色常亮表示学习者处于正常学习状态；红色常亮表示检测到玩手机状态；黄色闪烁表示处于其他状态，方便用户快速了解当前学习者的状态。

电位器：可用于调节摄像头的拍摄参数，如亮度、对比度等，以适应不同的光照环境和拍摄需求，确保采集到的图像质量能够满足状态检测模型的要求。

电池：在本系统中搭载了一颗 3.7V，800mAh 的锂电池，可实现设备的便携使用

三、方案框图和项目设计思路介绍

（一）方案框图

整个系统的方案框图主要由硬件采集部分、数据处理部分和结果输出部分构成。硬件采集部分以 XIAO ESP32S3 Sense 开发板的 OV2640 摄像头为主，负责采集学习者的图像数据。开发板的处理器对采集到的图像数据进行初步处理后，传输至 sensecraft AI 平台进行模型运算，判断学习者的状态。最终，根据判断结果，控制双色 LED 显示相应状态，同时也可通过 Wi-Fi 模块将数据传输至远程设备（如手机 APP 或服务器）进行存储和进一步分析。

（二）项目设计思路

数据采集：利用 OV2640 摄像头，以一定的帧率（如每秒 10 帧）持续采集学习者的图像。考虑到实际应用场景中的光线变化，通过电位器调节摄像头参数，保证采集到的图像清晰、稳定，包含足够的特征信息用于状态识别。

模型训练：在 sensecraft AI 平台上，使用大量包含玩手机、正常学习和其他状态的图像数据进行模型训练。这些数据经过标注，明确每张图像对应的状态类别。训练过程中，不断调整模型参数，优化模型性能，使其能够准确识别不同的学习状态。训练完成后，将训练好的模型下载至 XIAO ESP32S3 Sense 开发板的存储中。

状态检测与输出：开发板实时获取摄像头采集的图像，将其输入到训练好的模型中进行运算。模型输出状态判断结果，开发板根据结果控制双色 LED 显示相应颜色。同时，若开启了 Wi-Fi 通信，将状态数据打包发送至远程设备，方便用户远程查看学习状态。

四、软件流程

软件流程从系统初始化开始，包括开发板初始化、摄像头初始化、Wi-Fi 初始化以及加载训练好的模型。初始化完成后，进入循环采集图像阶段。每次采集到图像后，对图像进行预处理（如调整大小、归一化等），然后将预处理后的图像输入模型进行状态预测，根据预测结果控制双色 LED 显示。

五、功能展示图及说明

（一）正常学习状态

当学习者专注于学习，未使用手机等电子设备时，系统检测到正常学习状态。此时，双色 LED 的绿色灯亮起，直观地向用户反馈学习者处于良好的学习状态。

（二）玩手机状态

一旦系统检测到学习者在玩手机，双色 LED 的红色灯亮起，警示当前学习状态不佳。

（三）其他状态

当检测到学习者处于既非玩手机也非正常学习的其他状态时。

六、项目中遇到的难题和解决方法

（一）模型准确率不高

在使用 sensecraft AI 进行模型训练初期，模型对学习状态的识别准确率较低，尤其是在区分玩手机和其他状态时，容易出现误判。sensecraft AI无法像 roboflow 平台一样，通过框选对象的方式直观标注训练数据,导致初期训练的模型识别准确度受影响。

（二）焊接排针焊反问题

在硬件组装阶段，焊接排针时因操作疏忽出现焊反情况。此前虽在交流群了解过类似失误案例，仍未避免。焊反后重新拆卸焊接难度大，易损坏电路板。

解决方法：尝试对已焊反的引脚进行物理矫正，小心将焊反的引脚缓慢掰弯，调整至正确的安装方向，确保引脚与对应接口接触正常，经测试，设备可正常通电和通信，临时解决了硬件连接问题。后续操作中，提前在电路板上标记引脚方向，焊接时反复核对，避免同类失误。

七、对本次活动的心得体会

通过本次基于 XIAO ESP32S3 的学习状态检测项目开发，我收获颇丰。在技术方面，深入了解了 XIAO ESP32S3 Sense 开发板的硬件特性和软件开发流程，掌握了利用物联网技术和人工智能算法实现实际应用的方法。在项目实践中，锻炼了自己解决问题的能力，面对各种技术难题，通过查阅资料、试验不同方法，最终找到解决方案，这让我对技术开发有了更深刻的理解和认识。