亚马逊AWS官方博客

Amazon Rekognition Video 发布：基于深度学习技术的视频识别功能

在去年这个时候举办的 re:Invent 2016 大会上，Jeff 宣布推出 Amazon Rekognition 服务。我非常高兴能参与此项服务的开发工作，以构建图像识别解决方案。您可能已经知道，Amazon Rekognition Image 是一种利用深度学习技术提供可扩展的图像识别和分析功能的云服务。Amazon Rekognition Image 让您能够在应用程序和系统中构建和集成对象及场景检测、实时面部识别、名人识别、图片审阅和文本识别功能。

Amazon Rekognition Image 服务使用深度学习神经网络模型创建，基于与 Prime Photos 相同的技术 (此项技术使 Prime Photos 具备了每天分析数十亿张图像的强大能力)。发布之初，Rekognition 的关注点在于提供可扩展、自动化的图像分析、搜索和分类功能。今天，我很高兴地向大家宣布，此服务增加了一些新功能。

你好，Amazon Rekognition Video

大家好，这是我的新朋友，Amazon Rekognition Video。对，你们猜得没错，我一开始写的是《疤面煞星》里的台词：“来跟我的小朋友问个好”。但我最终没有这样写，而是走了一条“新路”，所以大家必须给我的创新精神点个赞。好了，言归正传，我们来讨论一下这项令人兴奋的新人工智能服务功能 – Amazon Rekognition Video。

Amazon Rekognition Video 是一种新的视频分析服务功能，可为 S3 存储的视频以及实时视频流提供可扩展的计算机视觉分析能力。借助 Rekognition video，您可以准确检测、跟踪、识别、提取和审阅视频中的数千个对象、面部和内容。对于这项新功能，我认为更棒的是，它不仅能够提供有关视频中对象的准确信息，而且还是同类中第一个能够使用完整的视频内影像、时间和动作上下文执行活动检测和人员跟踪的视频分析服务。因此，借助其基于深度学习的功能，您可获得有关视频中正在执行什么活动的更完整的见解。例如，此服务功能可以识别视频中的人、车、树，以及推断出视频中的男子正在跑向汽车。这很酷，对吧！您可以想象一下，这项功能可为客户带来多么广阔的应用场景。

使用异步 Amazon Rekognition Video API 进行视频分析的过程如下：

  1. 对 .mp4 或 .mov 视频调用 Rekognition Video Start 操作 API。请注意，视频必须使用 H.264 编解码器编码。Start 操作 API 包括：
    • StartPersonTracking
    • StartFaceDetection
    • StartLabelDetection
    • StartCelebrityRecognition
    • StartContentModeration
  2. Amazon Rekognition Video 处理视频并将 Start 操作 API 请求的完成状态发布到 Amazon SNS 主题。
  3. 您通过订阅 Amazon SQS 队列或您为 SNS 主题指定的 AWS Lambda 函数获取 API 完成结果通知。
  4. 使用 SNS 通知中提供的 JobID 调用与处理视频的 Start 操作 API 关联的 Get 操作 API。此外，Start API 响应中也包含 JobID。Get 操作 API 包括：
    • GetPersonTracking
    • GetFaceDetection
    • GetLabelDetection
    • GetCelebrityRecognition
    • GetContentModeration
  5. 通过 Get 操作 API 返回的 JSON 和下组结果的分页标记 (如果适用) 获取视频分析结果。

您可以通过 AWS CLI、AWS 软件开发工具包和/或 REST API 使用 Amazon Rekognition Video 的视频分析功能。我坚信，在学习一项新服务时，没有比亲身实践和体验更好的学习方法了。那么，我们来试试吧！

首先，我将两个 .mp4 文件格式的音乐视频上传到存储我的播放列表歌曲的 S3 存储桶。两个音乐视频分别是 Foo Fighters 的 Run 和 DJ Khaled 的 Wild Thoughts。对，您想的没错，我对音乐的品味就是这么广博和多样！

接下来，我为 Rekognition Video 通知创建一个 SNS 主题，并创建一个接收 SNS 主题通知的 SQS 队列。


将我的 SQS 队列 RekognitionVideoQueue 订阅到我的 SNS 主题 SNS-RekogntionVideo-Topic。


然后，使用 AWS CLI 对我的视频 DJ_Khaled-Wild_Thoughts.mp4 调用 start-face-detection API 操作，并从 API 响应中获取 JobId。

系统通知 RekognitionVideoQueue SQS 队列收到来自 SNS 主题的消息，消息中的 Status 为 SUCCEEDED。此时，我可以使用 JobId 调用 get-face-detection API 操作获取视频分析结果。


我也可以调用 start-label-detection 和 get-label-detection API 操作来对另一个视频 Foo_Fighters-Run.mp4 进行视频分析，以获取视频帧中检测到的对象的相关信息。

总结

利用 Rekognition Video 和使用手机、摄像机、物联网视频传感器拍摄的视频，可以使用实时流视频处理创建可扩展、高精度的视频分析解决方案。这项新的深度学习视频功能可自动执行检测视频中对象、人脸和活动所需的一切任务，通过与其他 AWS 服务集成，您能够构建适合不同工作负载的强大媒体应用程序。

有关 Amazon Rekognition 和 Rekognition Video 新功能的更多信息，请查阅产品页面上的“入门”部分或 AWS 文档中的 Rekognition 开发人员指南。

– Tara