湖南科技网 湖南科技网-科技创新战略,引领时代先锋

Google大脑工程师详解:深度学习技术能带来哪些新产品?

2019-06-21 18:02 已围观69次 来源:网易考拉 编辑:张馨予

  定制化数据压缩

  离线AI

Google大脑工程师详解:深度学习技术能带来哪些新产品?

  幸运的是,深度学习给了我们借助数据校准解码算法的能力。

Google大脑工程师详解:深度学习技术能带来哪些新产品?

  假设你在设计一个视频直播应用,希望用一套有损编码方案来减少需要向互联网上传的包。

Google大脑工程师详解:深度学习技术能带来哪些新产品?

  深度学习在这方面尤其合适。训练阶段结束后,神经网络的前馈环节运行得非常快,另外,把大型神经网络一直缩小到可以在智能手机上运行也很简单,虽然准确率上会有所损失。


Google大脑工程师详解:深度学习技术能带来哪些新产品?

  Deep Learning是指包含以下特征的一类机器学习技术:

  目前,深度学习技术已经在众多领域达到了先进水平,例如视觉、声音、机器人、自然语言处理。深度学习最近的进展吸收了统计学习[1, 2]、增强学习和数值优化的思想。关于这个领域的概况,见参考文献[9, 10]。

编者按:提到深度学习,你可能会想到认猫、认脸,或者下围棋、翻译……其实,这项技术还能用在很多你意想不到的地方。

  更精确的摄影和MRI成像技术应该对几何误差进行补偿,无论这些误差来自潜在错误源还是制造缺陷。

本文引用地址:

  Quora上就有这样一个问题,而Google Brain的研究工程师Eric Jiang也给出一个最高赞的答案。下面就是Jiang的回答,大周末的,让我们一起来涨涨姿势:

  你可以用H.264这样现成的编码解码器,但是H.264并不是最理想的解决方案,因为它是为通用视频校准的,也就是从猫咪视频到故事片都能用。改用为FaceTime视频而校准的编解码器可能会更好,因为当我们利用了“屏幕中间总是有张脸”这一点,能省下更多流量。

  使用WiFi无线电波干扰可以透视墙壁另一侧的人(MIT Wi-Vi);

  声纳、激光雷达信息的更精确重现。

  超分辨率算法(waifu2X),就是美剧CSI迈阿密里“增强”按钮的真实版;

  压缩感知

  · 大数据(例如百万级的彩色图像、棋谱等)

  好的传感器和测量装置通常依赖于昂贵、精密的部件。

  我下面列出一些借助目前的深度学习技术才可能实现的产品类别,排名不分先后:

  定制化数据压缩、压缩感知、数据驱动的传感器校准、离线AI、人机交互、游戏、艺术助手、非结构化数据挖掘、语音合成。

  · 大规模神经网络(包含百万级的自由变量);

  深度学习适用于这个任务,因为我们不需要人工标注特征就能用神经网络来学习稀疏结构。以下是一些产品应用:

  压缩感知和有损压缩的解码方面紧密相关。很多有趣的信号都有特定的结构,也就是说,信号的分布并不完全是任意的。这说明实际上,我们不需要为了获取信号的完美重建而在奈奎斯特极限采样,只要我们的解码算法可以正确地找出它的结构。

  我们以数码相机为例。数码相机假设镜头中的玻璃镜片遵循一种精密的几何结构,拍照时,内置的处理器负责用光线通过透镜的等式,来计算出最终的图像。

  这让神经网络更加强大,能用于更复杂的、特定领域的压缩,从在Facebook上存大量自拍到加载速度更快的YouTube视频,科学数据压缩再到降低你个人iTunes资料库所占的空间,都能用上这种技术。设想一下,假如你的iTunes资料库为了让你的音乐少占一点空间,它可能专门学习一种“乡村歌曲编码器”哦!

  然而,设计一个这样的编码方案是有难度的。我们要怎样说明脸在什么位置,视频对象有多少根眉毛、眼睛是什么颜色、下巴是什么形状等等特征?如果头发挡住了眉毛怎么办?图像中没有脸或者有多个人的脸怎么办?

  那么,“深度学习的最新进展能带来哪些产品上的突破?”

  如果透镜有刮痕、弯曲、变形,就打破了相机原本的假设,图像的质量也不会好。

Google大脑工程师详解:深度学习技术能带来哪些新产品?




  不同于“均码”的解码模型(例如卡尔曼滤波器),我们可以针对每个受体或者测量仪器进行调整,从而表示出更复杂的偏差。如果相机镜头有刮痕,我们可以训练解码软件对变化了的几何形态进行补偿。也就是说,我们不再需要以极高的精度制造和排列传感器,也就节约了大量资金。


  这时候,深度学习就派上用场了。自动编码器是一种神经网络,只是它的输出和输入数据一样而已。学习这个“恒等映射(identity mapping)”之所以重要,是因为这个自动编码器的隐藏层神经网络比输入层要小。这个“信息瓶颈”迫使自动编码器在隐藏层中学习一种数据的压缩表示(compressed representation),这种压缩表示还将被神经网络的其它层解码回原始形态。

  基于不完全观察(例如2D图像、部分遮挡的图像)解译3D结构;

  能在不联网的情况下运行AI算法,对要求低延迟(例如机器人、自动驾驶汽车)或者没有稳定网络连接(如旅行方面)的应用来说至关重要。

  通过端到端的训练,自动编码器等深度学习技术可以适应你数据的细微差别。不同于主成分分析法(PCA),编解码步骤不受(线性)仿射变换的限制。PCA学习的是一种“编码线性变换”,自动编码器学习的是“编码程序”。

  数据驱动的传感器校准

  · 高性能计算(上千个并行处理器);

  某些情况下,我们可以在完全去除了硬件的情况下,让算法去进行补偿。哥伦比亚大学的计算摄影学实验室开发了一种没有镜片的相机,也就是软件定义成像(software-defined imaging)

  Google在Google Translate应用的离线拍照翻译功能上已经这么做了。

Google大脑工程师详解:深度学习技术能带来哪些新产品?