官网首页 / 资讯 / 之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

2021-01-04 18:26


之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

编译 陈彩娴

近来,有一篇宣布在arXiv的论文“Deep Learning and the Global Workspace Theory”提出了一个斗胆的猜测

两位作者认为,当下的深度学习现已能够依据一个认识模型,即“大局作业空间理论”GWT将处理不同模态转化的神经网络即功用模块,结合为一个,然后迈向完结通用人工智能的下一个阶段。总结成公式便是:GWT深度学习→通用人工智能。

之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

可是,深度学习的那些被人广泛诟病的问题,如脆弱性、不行解说性等等,能够经过这个结构来处理吗?现在学术界一向发起的结合常识、结合图网络、结合因果联系等观念,他们又怎样看待呢?

作者在论文中也部分地给出了自己的答案。他们认为,该能够进步神经网络的对立鲁棒性,完结Bengio提出的2认知,以及关于了解因果联系很重要的反现实推理等等。

这个理论是否可行,尚不行知,但其描绘的图景值得一看。

论文摘要

跟着深度学习的不断发展,人工智能在许多感知、了解、言语与认知使命中已接近人类。可是,咱们对依据大脑的认知架构的需求也在不断增加。

大局作业空间理论指的是一个将专业模块网络中的信息整合和分发,以创立更高档的认知和认识办法的大规模。

作者认为,现在正是运用深度学习技能完结大局作业空间理论的机遇。因而,他们依据多个隐空间之间的无神经翻译提出了一个路线图,以创立一个共同的非模态大局隐作业空间

大脑与机器中的认知神经架构

在机器学习的体系中,深度学习的特征是运用在输入与输出层之间具有多个“躲藏”层的人工神经网络。人工智能的许多最新打破,都要归功于深度学习。神经科学家也指出了大脑与深度人工神经网络之间的类似性与差异性。

深度学习的呈现,使核算机能够有用履行此前无法完结的感知与认知功用。在这篇论文中,作者等人期望将深度学习扩展至大局作业空间理论GWT是感知、履行功用乃至认识的根底。

GWT是一种认识模型,开始由美国心思学家Bernard J. Baars等人提出,是今世首要的神经科学认识理论之一

该理论提议将大脑分为履行不同功用的专用模块,模块与模块之间具有长距离衔接。经过留意挑选的进程确认输入或使命要求后,专用模块内的信息能够在不同模块之间传达与同享。依据该理论,每一时刻的及时同享信息构成了咱们的认识感觉。从功用的视点来看,大局作业空间能够经过和谐多个专用模块来处理单个模块的功用所无法处理的问题。

之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

在大局作业空间中,信息处理的特点是长距离的互连性强,因而能够将新的信息传抵达其他模块。在任何给定时刻内,专用模块的子集都会依靠数据与使命被调到作业空间中。大局作业空间的内容反映了咱们不断改变的认识。

图1B是GWT映射到山公大脑。图左,视觉信息能够经过视觉传达,并激活曾经馈办法操控行为输出的额叶区域—在这种情况下,信息是无认识的。图右,当输入满足强壮或与使命相关时,输入将激活循环衔接,导致大局作业空间“焚烧”ignition,一个高度非线性、非零的进程

图C是受Dehaene和Changeux启示的大局神经元作业空间完结,包括了具有前馈和循环衔接的处理层的分层结构

图D所示的简略循环网络是大局作业空间的全或无“焚烧”的原因地点:与漏掉的或未检测到的输入分别是Correct Rejection与Miss比较,大脑有认识感知到的输入Hits的首要特征是额叶区域的全或无激活或“焚烧”。

Dehaene等人提出了该理论的神经元版别,即大局神经元作业空间依据GNW理论,当新的信息经过在前额叶、额颞叶和扣带状皮层中密布散布着远距离轴突的神经元网络抵达大局多个大脑时,认识灵通就会发生GNW要害方面的尖峰神经网络完结,捕获了大局作业空间理论的实质以及认识陈述与神经元反应之间的已知联系但这种办法是否能够以满足的灵敏性扩展来处理人工智能中的问题,仍未可知。

鄙人文中,作者们测验一步步界说AI中完结大局作业空间的必要和充沛组件。这些进程构成了一个路线图,研讨人员能够依照该路线图来完结这个方针。

需求着重的是,下面所描绘的一切组件都是独自存在,有些乃至在各自的功用上抵达或超越人类水平。某些细节或许存在缝隙;此外,也或许有多种办法来完结大局作业空间。全体而言,作者认为下文的战略最有或许成功。

3.1 多个专用模块

GWT的第一个组成部分是N个独立的专用模块每个模块都有自己的高档隐空间这些模块能够是经过预练习的、专门用于感知的神经网络,能够是天然言语处理模块,能够是长时刻回忆存储模块,能够是强化学习智能体,也能够是运动操控等等。当然,挑选这些专用模块十分要害,由于这决议了整个大局作业空间的功用,以及大局作业空间或许履行的使命规模。但这不会影响下面列出的其他准则。

之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

图 2:深度学习隐空间的示例,指一个能够捕获输入域或使命的相关结构和拓扑的低维空间,通常指判别模型的终究一个特征层与生成模型的第一层。

深度学习隐空间的示例包括:

A. MNIST数据集的隐空间。数据会集的每个图画都是左边空间中的一个点,依据数字类别进行上色。定时在2D矩阵中对隐空间进行采样会促进右侧的图画重建

B. 词嵌入空间Word2Vec算法隐空间的不同部分专心于不同的语义域例如插图中的“sea”。

C. ImageNet天然场景数据集的隐空间。每行沿着256维隐空间中的单个矢量采样不同的点。

D. VAE-GAN模型的人脸隐空间。针对每一列,从隐空间中采样一个点,向其间增加数量不等的预先核算的“浅笑”或“男性”向量。有必要着重的是,潜在表明实质上是神经激活的向量,能够运用代数运算进行内插外推或更广泛的操作。

从理论上讲,将N个前馈判别模型衔接在一起便足以构建一个多模态作业空间

但实际上,参加生成模型的优点有许多:网络能够生成运动或言语输出,还会生成具有自上而下的生成途径的传感,例如主动编码器、GAN与猜测编码网络。

假如大局作业空间的方针是影响的行为输出,那么包括生成网络是十分必要的。此外,包括生成网络对能够具有创造力或“想象力”比方生成心思图画对经过迭代想象一个或许的未来状况或反现实状况来进行思想模仿,意义都十分严重。终究,当一个输入抵达认识,且相应的模块被移动到有认识的大局作业空间中时,一个循环的、自上而下的途径或许是解说从大脑中观察到的“焚烧”特性的要害图1B与D

3.2 大局隐作业空间

GLW是一个独立的中心同享隐空间,在实质上对错模态的,经过练习后能够在专用模块的N个隐空间之间履行无的神经翻译

尽管在深度学习中有许多多模态翻译的比方,但在本文中,作者着重循环一致性是神经翻译的首要无练习方针。如此,GLW或许会在任何一对模块之间进行转录,即便模块之间没有匹配数据咱们也能够直观地辨认出玩家的状况何时变得不同。

当然,假如默许的无神经翻译战略也能够在有相关数据可用时弥补有的方针,天然是最好的。按预期,这个中心空间的维数应该与每个输入隐空间的维数持平或更高,但远低于一切输入隐空间的总和。这个“瓶颈”现象能够保证仅对相关信息在某个时刻点进行编码,并迫使优先处理带有留意力的竞争性输入。

之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

如图3所示,深度学习“大局隐作业空间”的专用模块散布在外围,能够是针对各种使命的预练习网络:感知物体辨认,检测,切割,语音辨认...运动机器人手臂操控,语音生成…,言语文本了解,机器翻译,文本-语音转化...回忆存储,或更高档别的与认知和行为相关的功用直观物理引擎,RL战略,使命嵌入...每个模块都经过模块的相关隐空间的内部副本衔接到GLW如图所示,坐落中心

经过运用循环一致性方针进行深化练习,这个作业空间学会了以简直无人的办法在恣意两个模块的隐空间表明之间进行转化,不需求或仅需求少量配对数据当自下而上或自上而下的留意力从一个模块中挑选输入时,其隐空间激活被复制到GLW中,并立即被转化为适用于其他各个模块的表明办法。

可是,这些模块中只要少量模块将有用地接纳和处理相应的数据。例如,在视觉场景中辨认出山君后,“山君”的NLP单词嵌入和与逃跑相关的举动方案会呈现在作业空间中;可是,假如此刻在作业空间中采取了特定的相应模块那么“山君”一词就仅仅发音,或发动逃跑。

3.3 留意力

在大脑中,留意力决议了哪些信息能被有认识地感知,以及哪些信息会被丢掉相同,在原始GWT中,由留意力挑选进入作业空间的信息。

相同地,咱们能够想象一个键-查询匹配进程,以挑选抵达GLW的输入。假如作业空间包括当前使命的潜在表明,则该信号可用于发送自上而下的留意查询:每逢输入模块的隐空间发生一个匹配键时,相关信息就会被带入作业空间。

在没有明确使命的情况下,或许在有反常激烈或令人惊奇的输入的情况下,自下而上的留意或许会占上风:在上述术语中,显信息具有替代一切查询的“主键”以数据依靠和使命依靠的办法生成键和查询的留意力机制有必要经过运用特定方针函数的练习来优化。

3.4 内部副本

当挑选一个特定模块的信息进入作业空间时,隐空间激活向量的副本也会被带入GLW。假如隐空间是概率性的就能够从概率散布中获取仅有的样本—这能够保证始终保持GLW的一致表明,与咱们的片面经历和神经科学依据保持一致。

3.5 播送

被选上的信息很快得到播送,即转化为其他模块的隐空间。这个转化进程是主动的:无需其他尽力就能有认识地了解咱们的内部和外部环境。这也是有认识的输入获取“意义”的办法,由于这些输入会忽然与相应的言语、运动、视觉与听觉等表明办法衔接。

这仅意味着,相关格局的相关信息对这些来说是“可用”的但不一定要运用人们不会总是形象化地联想到一张心智图画的细节,也不是总会说出他们的主意或心里话,也并非总是依照运动方案来举动,等等。

决议这些信息是否会被这些运用的,是它们本身现在是否已衔接到作业空间比方,由于它们的使命相关性许多在作业空间内播送有认识输入时主动构成的潜在表明不会为本身有认识地感知,但或许与Crick和Koch所描绘的“认识半影”penumbra of consciousness相对应。

GLW的功用优势

本文介绍的GLW架构有一个首要的可特性,即全体应大于其各个部分的总和。换句话说,GLW的附加功用特点也能够进步与其衔接的一切模块的功用。除了这些已有的单个使命外,大局作业空间还供给了组合模块以履行全新使命的或许性。

首要,GLW中的主动多模态对齐表明是完结信息根底的抱负途径。感知输入或运动输出不再是各自隐空间中的无意义矢量,而是与其他感知运动域中的相应表明与相关的言语表明发生了相关,这促成了感知运动数据的语义根底。

与语义信息的感知运动根底相反,仅捕获空心“言语符号”之间的长时刻计算联系的言语嵌入向量经过与感知环境或智能体的运动和行为办法的相关部分进行相关而得到转化。

因而,感知运动接地的概念与Gibsonian可供性的概念严密相关,且与Gibson在脑科学中的生态学办法有更广泛的衔接。终究,接地的潜在表明能够为与大局作业空间衔接的每个模块进步功用,尤其是在进步散布外样本的鲁棒性方面。

当有满足多样化的模块可用时,它们的或许组合实际上是无限的。获得这种灵敏性需求支付很多的时刻和精力:思想功用组合是一个缓慢而有序的进程,需求重复运用自上而下的留意力,以调用相关的模块,一次运用一个功用。这也是Kahneman和Bengio所说的2认知。

这种灵敏的思想组成具有的一个首要功用是反现实推理,或答复“假如…会怎样”的才能。这种才能是高档认知中绝大标志性特点的中心:想象力和创造力,规划,思想模仿,关于未来的或许状况的迭代推理。在这种情况下,国际模型在寻觅新使命的处理方案上特别有用,由于它们供给了使命独立的相关信息,能够让智能体经过内部模仿进行离线学习。

能够说,这些假定的功用优势应为可查验的猜测。每个模块潜在的、得到改进的功用和鲁棒功用够经过现有基准轻松验证。尽管高档认知功用或许需求新的渠道,但搬迁学习和使命组成基准现已存在。终究,这篇论文所罗列的优势,是捕获人类和动物的认识功用,以及迈向通用人工智能的途径。

术语解说:经过循环一致性进行无神经翻译

在天然言语处理中,神经翻译是一种运用神经网络的机器翻译算法。规范的机器翻译是经过源言语和方针言语的匹配示例来学习。

最近人们提出了一种新办法,依靠于循环一致性的练习方针:从言语A到言语B进行接连翻译,从言语B翻译到言语A,假如能翻译回本来的语句,言语对齐就获得了成功。类似的办法已在不同范畴之间的神经翻译上得到使用,例如不成对的图画到图画翻译,文本到图画翻译,或触觉到图画翻译。经过循环一致性练习进行的域对齐也是最近研讨无域适应和搬迁学习使命的研讨中心。

之间的无监督神经翻译提出了一个路线图,GWT,深度学习,以及迈向通用人工智能的途径

图 I:言语表明之间的对齐。来自恣意两种言语X和Y的隐空间同享类似的拓扑,还能够经过改换W与同享的隐空间Z对齐。

赠书福利

AI科技谈论本次联合为我们带来15本“《labuladong 的算法小抄》”正版新书。

活动规矩:

3. 本活动时刻为2021年1月1日 - 2020年1月7日,活动推送内仅答应中奖一次。

本文相关词条概念解析:

模块

模块是对词条中部分内容进行格局化收拾的模板。界说1:整个体系的设备和设备按工艺安置要求组装在钢构架内,全体运送和吊装的集装块。所属学科:船只工程;海洋油气开发工程设备与设备界说2:在海洋工程中专指整个体系的设备和设备按工艺要求组装在钢构架内,可全体运送和吊装的集装块。所属学科:海洋科技;海洋技能;海洋工程。



服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!