但是 ， 日益增长的视频消费需求对未来的视频编解码器提出了更高的要求 ， 应该具备以下功能：

• 比特率和感知质量指标的直接优化
• 简化的编解码器开发
• 内在的大规模并行性
• 高效执行和更新已部署硬件的能力
• 可下载的编解码器更新

随着深度神经网络（DNN）技术的显著进步及其在计算机视觉和通信系统领域的广泛应用 ， 基于神经网络的视频编解码器有可能提供所有上述期望的功能 。具体来说 ， 这类视频编解码器不仅可以在为其他 AI 应用开发的 AI 硬件加速器上运行 ， 还能实现更高效的熵编码并行化 。
在这种潜力的驱动下 ， 过去几年神经网络视频编解码器成为了研究热门 ， 如 2017 年谷歌提出的 Hyperprior 自编码器、18 年上海交通大学等机构提出的端到端深度视频压缩（Deep Video Compression ）框架以及 2020 年谷歌研究院感知团队提出的用于端到端优化视频压缩的扩展空间流（Scale-Space Flow） 。这类神经视频编解码器展现出了令人瞩目的压缩性能 ， 并缩小了与传统编解码器之间的差距 。
基于 AI 的压缩具有绝对优势 。
但还应看到 ， 将 AI 研究从实验室带到实际应用场景往往并不容易 。这也意味着 ， 神经视频编解码器的实际部署面临着很大的挑战 。大多数相关研究利用具有浮点计算的壁式驱动的高端 GPU ， 并且神经网络模型架构往往没有针对快速推理进行优化 。因此 ， 对于具有固定计算、功率和温度约束的移动设备而言 ， 在这类神经网络解码器模型上运行实时推理不切实际或不可行 。
在骁龙 888 SoC 的商用智能手机上 ， 高通 AI 研究院在基于软硬件结合的神经网络视频解码器方面实现了新的突破 。
利用骁龙 888 的 CPU 和 AI 引擎 ， 实现 30 fps 的高清视频解码
凭借在节能 AI 方面的专业知识以及骁龙 888 平台的强大 AI 算力 ， 高通在商用智能手机上实现了实时帧内神经视频编码 。高效率视频编码（HEVC）中的帧内编码可以视为高端视频编码（AVC）的扩展 ， 它们利用空间上的取样预测来编码 。帧内编码过程与帧间编码共用部分的处理步骤包含转换、量化、熵编码等 。为此 ， 高通 AI 研究院在以下几个方面进行了优化：
重新设计网络架构以降低复杂度；
在 AI 推理引擎上量化和加速神经网络；
利用并行熵编码 。
基于以上几个方面的优化 ， 高通利用骁龙 888 移动平台上的 CPU 和 AI 引擎 ， 开发出了一种基于软硬件结合的神经视频解码器 ， 以超过 30fps 的速度解码了分辨率 1280×704 的高清视频 ， 并且无需视频解码单元的任何帮助 。骁龙 888 集成第六代高通 AI 引擎 ， 作为一整套处理器协作系统 ， 这代 AI 引擎包含了重新设计的 Hexagon 780 处理器 ， 将 AI 全方位赋能极速通信、专业影像、游戏体验等诸多方面 。
具有高效解码性能的 8 比特模型
解码器架构优化、并行熵解码（PEC）和 AIMET 量化感知训练是高通 AI 研究院实现智能手机端高效神经编码的三个重要步骤 。
第一步 ， 基于一个 SOTA 帧对压缩网络 ， 通过剪枝通道和优化网络操作实现了解码器架构优化 ， 依靠骁龙 888 内置的 AI 引擎进行加速 ， 降低了计算复杂度 。
第二步 ， 创建一种快速并行化熵解码（fast parallel entropy decoding）算法 。该算法可以利用数据级和线程级并行化 ， 从而可以实现更高的熵编码吞吐量 。在高通的方案中 ， 骁龙 888 的 CPU 用来处理并行熵解码 。
第三步 ， 优化后模型的权重和激活量化至 8 比特 ， 然后通过量化感知训练来恢复速率失真带来的损失 。这里用到了高通创新中心开源的 AI 模型效率工具包（AI Model Efficiency Toolkit, AIMET） ， 该工具于 2020 年 5 月推出并开源 ， 是一个支持神经网络模型训练的高级量化和压缩技术的库 。

• 我来分享通过小米手机助手传文件的详细操作。
• 我来分享录屏王APP导出视频的图文操作。
• 分享录屏王APP剪辑视频的操作过程。
• 我来教你通过录屏大师APP给视频添加字幕的图文操作。
• 小编分享苹果手机中备忘录删除了进行恢复的操作教程。
• 我来教你在苹果手机里使用备忘录画画的操作内容讲解。
• 分享苹果手机分享备忘录的操作教程分享。
• 我来教你在苹果手机中使用备忘录录音的操作教程。
• 小编教你苹果手机中备忘录进行撤销的操作步骤。
• 我来教你苹果手机关闭掉电话按键音的操作过程。