网络升级在疫情来临之前需要考虑的事项
Facebook AI已经证明TransCoder可以成功地在C ++,Java和Python之间完成语言转换。TransCoder的性能优于开放源代码的且基于商业规则的翻译程序。在Facebook AI的评估中,该模型正确地将90%以上的Java函数转换为C ++,将74.8%的C ++函数转换为Java,并将68.7%的函数从Java转换为Python。 相比之下,市售工具只能正确地将61.0%的功能从C ++转换为Java,而开源翻译器仅准确地转换了38.3%的Java函数转换为C ++。 自我监督的培训对于在编程语言转换中特别重要。传统的监督学习方法依赖于大规模并行数据集的训练,但是对于从COBOL到C ++或从C ++到Python来说,并不适用。 TransCoder完全依赖仅用一种编程语言编写的源代码。它不需要编程语言方面的专业知识,并且很容易推广到其他编程语言。 TransCoder对于将遗留代码库更新为现代编程语言很有用,现代编程语言通常更高效且易于维护。它还显示了如何将神经机器翻译技术应用于新领域。 seq2seq模型发挥了大作用在自然语言中,即使在越来越依赖自动化机器翻译系统的专业翻译人员中,神经机器翻译的最新进展也被广泛接受。但是,由于该领域中并行数据的稀缺性,它们在代码转换中的应用受到了限制。程序员仍然依赖基于规则的代码转换器,这需要专家审查和调试输出,或者他们只是手动翻译代码。TransCoder通过利用无监督机器翻译到编程语言方面的最新进展来克服这些挑战。
Facebook AI特别注意构建了一个seq2seq模型,该模型由具有变压器架构的编码器和解码器组成。TransCoder使用单个共享模型,部分基于Facebook AI在XLM上的先前工作,适用于所有编程语言。Facebook AI按照无监督机器翻译的三个原则:初始化,语言建模和反向翻译。 博士期间,姜炜文在国际会议和主要期刊上发表了50多篇研究论文,其中包括10多篇 IEEE/ACM 会刊论文,他在硬件加速和神经网络结构方面的合作研究获得了 DAC’19,CODES+ ISSS’19和 ASP-DAC’20最佳论文提名。 他在神经网络和并行系统等方面的研究工作引起了业界的广泛关注,得到了美国国家科学基金会国际自然科学联合会的科研基金,与 Facebook、 Edgecortix inc. (日本/新加坡)等公司开展了合作研究,并在过去一年中,获得了超过$250K的研究基金资助。 姜炜文曾在2015年「NVMSA」及2017年「ICCD」中获得两项最佳论文奖,并在2016年「 ASP-DAC 」、2019年「 DAC 」、2019年「 CODES+ISSS 」及2020年「 ASP-DAC 」中获得四项最佳论文提名。
深度学习的进步很大程度上依赖算力,而现在传统硬件的算力增长已经赶不上超级人工智能的需求,如果神经网络能无缝迁移到量子计算机,像数据从CPU移到GPU中一样,将是人工智能科学家们的福音。 图 5: 二值分类示例,在 IBM 包含 5 个量子比特的量子计算机 “ibmq_essex” 上,获取了 82% 的精度。 图 5(e) 展示了有 QF-FB 在传统计算系统上获得的标准结果,图 5(f) 展示了使用 IBM Qiskit Aer 模拟进行 QF-FB 的结果,其准确度达到 98%。而图 5(g) 展示了不采用 QF-Map 而采用 IBM Qikist 自带编译器进行映射所得到的结果,正确率仅为 68%。最后,使用 QF-Map 可以将正确率提升至 82%。 该实验展示了量子计算实现神经网络的可能性,尽管 IBM 量子计算机的错误率在 10^−2 量级(相较于数字电路的 10^−15 错误率),通过 QuantumFlow 协同设计的神经网络量子计算系统已经能够对数据进行有效地分类处理。结果展示了 QuantumFlow 的有效性。 QuantumFlow 将于近期开源,详细信息请关注 。 作者简介
论文第一作者姜炜文目前是圣母大学的博士后研究助理。2019年获重庆大学博士学位。2017年到2019年,曾在匹兹堡大学电子和计算机工程系参与研究工作。 (编辑:惠州站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |