About

说点什么

教育经历

• 2014 - 2018    哈尔滨工业大学    学士学位
  • 培养单位：计算机科学与技术学院
  • 专业：物联网工程
• 2018 - 2021    中国科学院大学    硕士学位
  • 校级培养单位：人工智能学院
  • 所级培养单位：中国科学院计算技术研究所
  • 专业：计算机技术

技术栈

开源项目

Virtual Idol Sharing Project - OpenVtuber

虚拟爱抖露(アイドル)共享计划, 是基于单目RGB摄像头的人眼与人脸特征点检测算法, 在实时3D面部捕捉以及模型驱动领域的应用.

将该年度ICCV/ECCV/CVPR中的SOTA算法复现并更新

在2019年发布的版本中, 我们采用改进的Faster Retina Face作为人脸检测器, 采用

ArcFace Based Real-Time Facial Recognition System

Faster Mobile Retina-Face

RetinaFace(CVPR 2020)是Single-Shot人脸检测的代表工作, 以平面像素点回归为核心思想, 将人脸定位、特征点标记、边框回归等任务集成在单个网络中. 尽管RetinaFace是目前State of the Art的人脸检测器, 但复杂的网络结构却导致其无法有效地运行在低功耗设备中.

为此, 我们以MobileNetV2为主干, 在RetinaFace框架的基础上进行多项改进, 实现了轻量级、高精度的Faster Mobile Retina-Face(FMRF). 在网络结构方面, 通过适当削减FPN层数并降低锚框密度而减少了不必要的特征提取与分类; 特征点检测分支的移除也显著提升了模型的推断效率. 此外, FMRF还对框架的实现细节进行了优化. 在预处理阶段, 通过直接调用底层接口以绕开多余的格式校验; 在推断过程中则通过缓存Runtime Anchors避免了重复计算; 而针对NMS算法的向量化改进也显著降低了后处理阶段的耗时.

在公开数据集WIDER FACE上的实验结果表明, 我们的方法能够在保持同等精度的前提下, 取得最高32%的速度提升, 并占用更少的内存与显存资源.

文章与专利

A Backbone Replaceable Fine-tuning Network for Stable Face Alignment

Xu Sun, Yingjie Guo, Shihong Xia*

CoRR abs/2010.09501 (2020)

Paper  |  Video  |  Code