当下风头正劲的深度学习，发祥于真空管计较机的时期。1958年，好意思国康奈尔大学的弗兰克·罗森布拉特受大脑神经元的启发，联想了第一个东谈主工神经鸠合，这个东谈主工神经鸠合被定名为“深度学习”。罗森布拉特知谈，这项技能越过了其时的计较智商，他戚然地示意：“跟着神经聚汇注首节点的加多……传统的数字计较机很快就会无法承担计较量的负荷。”

　　交运的是，计较机硬件在几十年间快速升级，使计较速率提高了简短1000万倍。因此，21世纪的盘考东谈主员得以终了具有更多聚首的神经鸠合，用来模拟更复杂的表象。如今深度学习仍是平庸普及，被诳骗于下围棋、翻译、瞻望卵白质折叠、分析医学影像等多个范围。深度学习的崛起势如破竹，但它的将来很可能是落魄的。罗森布拉特所担忧的计较量的为止，仍然是笼罩在深度学习范围之上的一派阴云。如今，深度学习正在靠近计较器具的极限。

　　雄壮的计较老本

　　一个适用于通盘统计学模子的顺序是：要念念使性能提高k倍，至少需要k2倍的数据来老到模子。又因为深度学习模子的过参数化，使性能提高k倍将需要至少k4倍的计较量。指数中的“4”意味着，加多10000倍计较量最多能带来10倍的校阅。显豁，为了提漂后度学习模子的性能，科学家需要构建更大的模子，使用更多的数据对其进行老到。然而计较老本会变得多崇高呢？是否会高到咱们无法职守，并因此遮拦该范围的发展？

　　为了探究这一问题，好意思国麻省理工学院的科学家网罗了1000余篇深度学习盘考论文的数据，触及图像分类、缱绻检测、问答系统、定名实体识别和机器翻译等。他们的盘考浮现， 浑源县当棉类有限公司深度学习正濒临严峻的挑战。“如若不行在不加多计较职守的前提下提高性能， 坡头区齐业麻类有限公司计较量的为止就会使深度学习停滞不前”。芯片性能的提高是否跟上了深度学习的发展？并莫得。在NASNet-A加多的1000多倍的计较量中，远程新能源惟一6倍的提高来自于更好的硬件， 平乐县延业棉类有限公司其余齐是通过使用更多的贬责器或运行更永劫期达到的， 汉寿县和记客家菜餐馆伴跟着更高的老本。表面告诉咱们， 提高k倍的性能需要加多k4倍的计较量，但在履行中，加多的计较量至少是k9倍。

　　凭据盘考东谈主员推断的图像识别范围“计较老本—性能”弧线，将失实率降到5%，需要进行1028次浮点运算。另一项来自好意思国马萨诸塞大学阿默斯特分校的盘考浮现了计较职守隐含的雄壮经济和环境老本：老到一个失实率小于5%的图像识别模子，将破耗1000亿好意思元，其耗尽的电能产生的碳排放与纽约市一个月的碳排放量稀零。而念念要老到失实率小于1%的图像识别模子，老本就更是天价。

　　计较老本的重担在深度学习的前沿仍是变得不言而谕。机器学习智库OpenAI斥资400多万好意思元，翻译联想并老到了深度学习话语系统GPT-3。尽管盘考东谈主员在操作中犯了一个失实，但他们并莫得配置它，只是在论文附录中简要诠释谈：“由于慷慨的老到老本，对模子再行老到是不实践的。”

　　企业也运行苦衷深度学习的计较老本。欧洲的一家大型连锁超市最近毁掉了一项基于深度学习瞻望哪些产物将被购买的系统。该公司的高管判断，老到和运行该系统的老本过高。

　　深度学习路在何方

“出于信任使用这款搜索引擎，看到检索结果时感觉被深深辜负了——上面广告太多啦，其中还夹杂着大量‘山寨网站’‘李鬼网站’。”北京市民钱筱(化名)感慨道。

在柴某某拒不支付劳动报酬案中，2021年3月，被告人柴某某与辽宁省凌海市某工程建筑公司签订房地产工程承包合同。凌海工程建筑公司按照工程进度向柴某某如期足额拨付工资款，柴某某采用制作虚假农民工工资表方式逃避监管，持续将应支付农民工工资的款项用于支付其承包的其他工程款和个人开销。截至2021年11月，柴某某共拖欠587名农民工工资共计1015万余元。

　　面对按捺上涨的经济和环境老本，深度学习范围贫窭地需要在计较量可控的前提下，提高性能的步骤。盘考东谈主员为此进行了大齐盘考。

　　一种计谋是，使用为深度学习专诚联想的贬责器。在往常10年中， CPU让位给了GPU、现场可编程门阵列和诳骗于特定设施的集成电路。这些步骤提高了专科化的着力，但糟跶了通用性，濒临收益递减。长久看来，咱们可能需要全新的硬件框架。 另一种减少计较职守的计谋是，使用更小的神经鸠合。这种计谋缩短了每次的使用老本，但同样会加多老到老本。二者何如衡量取决于具体情况。比如平庸诳骗的模子应当优先有计划雄壮的使用老本，而需要按捺老到的模子应当优先有计划老到老本。元学习有望缩短深度学习老到老本。其理念是，让一个系统的学习后果诳骗于多个范围。举例，与其区别建立识别狗、猫和汽车的系统，不如老到一个识别系统并屡次使用。然而盘考发现，一朝原始数据与实质诳骗场景有细微的相反，元学习系统的性能就会严重缩短。因此，全面的元学习系统可能需要雄壮的数据量撑抓。

　　一些尚未发现或被低估的机器学习类型也可能缩短计较量。比如基于群众视力的机器学习系统更为高效，但如若群众不行鉴别通盘的影响成分，这么的系统就无法与深度学习系统相失色。仍在发展的神经标识等技能，有望将东谈主类群众的学问和神经鸠合的推明智商更好地合并。正如罗森布拉特在神经鸠合出身之初所感受到的窘境，今天的深度学习盘考者也运行濒临计较器具的为止。在经济和环境的双重压力下，如若咱们不行变嫌深度学习的相貌，就必须面对这个范围施展迟缓的将来。咱们期待一场算法或硬件的打破，让无邪而强盛的深度学习模子能接续发展，并为咱们所用。

　　（据《各人科学》 编译：郑昱虹）翻译

• 将近
• 咱们
• 翻译
• AI
• 越来越