永利网站网址 1

LLNL研发新型深度学习算法提升防核扩散分析能力,机器学习及其应用2013

原标题:LLNL研发新型深度学习算法提升防核扩散分析能力

机器学习及其应用2013  

永利网站网址 1

内容简介

    书籍
    计算机书籍
机器学习是计算机科学和人工智能中非常重要的一个研究领域。近年来,机器学习不仅在计算机科学的众多领域中大显身手,还成为一些交叉学科的重要支持技术。本书邀请国内外相关领域的专家撰文,以综述的形式分别介绍机器学习不同分支及相关领域的研究进展。全书共分8章,内容分别涉及稀疏话题表示学习、基于向量场的流形学习和排序、秩极小化、实值多变量维数约简等技术,知识挖掘与用户建模、异质人脸图像合成等应用,以及对多视图在利用未标记数据学习中的效用、面向高维多视图数据的广义相关分析的探讨。
《机器学习及其应用2013》可供高校、科研院所计算机、自动化及相关专业的师生、科技工作者和相关企业的工程技术人员阅读参考。 

为加快防止核扩散分析的速度及增加分析所需的数据集,美国劳伦斯利弗莫尔国家实验室(LLNL)正在研发新的深度学习和高性能计算算法,可提升对有关核扩散活动证据大量数据的分析能力。

目录

《机器学习及其应用2013》 
Learning Sparse Topical RepresentationsJun ZhuAonan ZhangEric P. Xing 
1 Introduction 
2 Related Work 
2.1Probabilistic LDA 
2.2Non-negative Matrix Factorization 
3 Sparse Topical Coding 
3.1A Probabilistic Generative Process 
3.2STC for MAP Estimation 
3.3Optimization with Coordinate Descent 
4 Extensions 
4.1Collapsed STC 
4.2Supervised Sparse Topical Coding 
5 Experiments 
5.1Sparse Word Code 
5.2Prediction Accuracy 
5.3Time Efficiency 
6 Conclusion 
References 
多视图在利用未标记数据学习中的效用王魏 周志华 

1引言 
2多视图在半监督学习中的效用 
3多视图在主动学习中的效用 
4多视图在主动半监督学习中的效用 
5视图分割 
6结束语 
参考文献 
知识挖掘与用户建模王海峰 赵世奇 向伟 徐倩 田浩 吴甜 
1引言 
2技术综述 
3本体知识体系构建 
3.1知识挖掘 
3.2知识加工 
3.3语义计算 
3.4实验结果 
3.5基于本体知识的需求主题体系构建 
4跨产品用户日志挖掘 
4.1技术框架 
4.2跨产品用户数据session分割 
4.3跨产品用户数据关注点挖掘 
5用户建模 
5.1用户属性建模 
5.2用户兴趣建模 
5.3用户状态建模 
5.4多维度用户行为分析模型 
5.5用户兴趣模型的地域性关联分析 
6结语 
参考文献 
异质人脸图慷合成高新波 王楠楠 
1引言 
2基于子空间学习的图像合成方法 
2.1基于线性子空间学习的方法 
2.2基于流形学习的方法 
3基于贝叶斯推理的合成方法 
3.1基于嵌人式隐马尔科夫模型的方法 
3.2基于马尔科夫随机场的方法 
4基于人脸幻像思想的合成方法 
5实验结果 
6结束语 
参考文献 
面向高维多视图数据的广义相关分析陈晓红 陈松灿 
1引言 
1.1多视图数据 
1.2数据降维的意义与方法 
2基于相关分析的降维方法所面临的问题与解决方案 
2.1忽视多视图数据的监督信息 
2.2要求不同视图间的数据全配对 
2.3现有解决方案 
3我们的研究工作 
3.1半配对局部相关分析 
3.2半监督半配对广义相关分析 
3.3邻域相关分析 
4小结 
参考文献 
基于向量场的流形学习和排序何晓飞 
1引言 
2平行向量场和线性函数 
2.1流形上半监督学习问题 
2.2平行向量场和线性函数 
2.3目标函数 
3离散化和优化 
3.1切空间和向量场离散化 
3.2梯度场计算 
3.3平行向量场计算 
3.4离散形式的目标函数 
3.5目标函数优化 
4基于平行向量场正则化的排序 
4.1向量场正则化 
4.2 R1和R2的离散化 
4.3目标函数离散化 
4.4目标函数优化 
4.5实验 
5结束语与展望 
参考文献 
秩极小化:理论、算法与应用林宙辰 
1引言 
2主要数学模型 
3理论分析 
4算法 
4.1加速近邻梯度法及其推广 
4.2交错方向法及其线性化 
4.3奇异值分解的计算 
5应用 
5.1背景建模 
5.2图像批量对齐 
5.3变换不变低秩纹理 
5.4运动分割 
5.5图像分割 
5.6图像显著区域检测 
6结束语 
参考文献 
实值多变量维数约简单洪明 张军平 夏威 
1引言 
2实值多变量维数约简 
2.1切片逆回归法 
2.2切片逆回归的推广 
2.3主Hessian方向 
2.4子空间简介 
2.5稀疏充分维数约简 
2.6核维数约简 
2.7最小平方维数约简 
3树形结构的核维数约简 
3.1动机 
3.2树形算法的介绍 
3.3(残差)树形核维数约简 
3.4实验部分 
3.5结论 
4核维数约简在人群计数中的应用 
4.1核维数约简 
4.2多核学习 
5结论 
参考文献 

 

 

 

 

机器学习及其应用2015

  • 作者: 高新波、张军平   
  • 丛书名: 中国计算机学会学术著作丛书——知识科学系列
  • 出版社:清华大学出版社
  • ISBN:9787302406594
  • 上架时间:2015-10-16
  • 出版日期:2015 年10月
  • 开本:16开
  • 页码:228
  • 版次:1-1
  • 所属分类:

    计算机 > 人工智能 > 综合
     

一、研究背景

内容简介

    书籍
    计算机书籍
本书是对第十一届和十二届中国机器学习及其应用研讨会的一个总结,共邀请了会议中的10位专家就其研究领域撰文,以综述的形式探讨了机器学习不同分支及相关领域的研究进展。全书共分10章,内容分别涉及稀疏学习、众包数据中的隐类别分析、演化优化、深度学习、半监督支持向量机、差分隐私保护等技术,以及机器学习在图像质量评价、图像语义分割、多模态图像分析等方面的应用,此外,还介绍了新硬件寒武纪神经网络计算机的研究进展。
本书可供计算机、自动化及相关专业的研究人员、教师、研究生和工程技术人员参考。 

人工神经网络已深度嵌入互联网日常功能,如帮助电子邮件程序过滤掉垃圾邮件等。神经网络也可在国家安全中发挥关键作用,帮助开展防止核扩散活动分析,阻止个别国家或行为体建造核武器。

目录

稀疏学习在多任务学习中的应用  龚平华张长水
1引言
2鲁棒多任务特征学习
3多阶段多任务特征学习
4结语
参考文献
众包数据标注中的隐类别分析田 天朱 军
1引言
2众包标注问题
3标注整合的几种基本模型
3.1多数投票模型
3.2混淆矩阵模型
4众包标注中的隐类别结构
5隐类别估计
6实验表现
7结语
参考文献
演化优化的理论研究进展俞扬
1引言
2演化优化算法

3演化优化的理论发展
4运行时间分析方法
5逼近性能分析
6算法参数分析
7结语
参考文献
基于贝叶斯卷积网络的深度学习算法陈渤
1引言
2多层稀疏因子分析
2.1单层模型
2.2抽取和最大池化
2.3模型特征和可视化
3层次化贝叶斯分析
3.1层级结构
3.2计算
3.3贝叶斯输出的应用
3.4与之前模型的相关性
4推理中发掘卷积
4.1Gibbs采样
4.2VB推理
4.3在线VB
5实验结果
5.1参数设定
5.2合成数据以及MNIST数据
5.3Caltech 101 数据分析
5.4每层的激活情况
5.5稀疏性
5.6对于Caltech 101的分类
5.7在线VB和梵·高油画分析
6结语
参考文献
半监督支持向量机学习方法的研究李宇峰周志华
1引言
2半监督支持向量机简介
3半监督支持向量机学习方法
3.1多: 用于多训练示例的大规模半监督支持向量机
3.2快: 用于提升学习效率的快速半监督支持向量机
3.3好: 用于提供性能保障的安全半监督支持向量机
3.4省: 用于代价抑制的代价敏感半监督支持向量机
4结语
参考文献
差分隐私保护的机器学习王立威郑凯
1引言
2相关定义及性质
3常用机制
4针对光滑查询的隐私保护机制
5实验结果
6结语
参考文献
学习无参考型图像质量评价方法研究高新波何立火
1引言
2基于特征表示的图像质量评价方法
2.1基于特征降维的无参考型图像质量评价方法
2.2基于图像块学习的无参考型图像质量评价方法
2.3基于稀疏表示的无参考型图像质量评价方法
3基于回归分析的图像质量评价方法
3.1基于支撑矢量回归的无参考型图像质量评价方法
3.2基于神经网络的无参考型图像质量评价方法
3.3基于多核学习的无参考型图像质量评价方法
4基于贝叶斯推理的图像质量评价方法
4.1简单概率模型图像质量评价方法
4.2基于主题概率模型的图像质量评价方法
4.3基于深度学习的图像质量评价方法
5实验结果
6结语
参考文献
图像语义分割薛向阳
1引言
2无监督图像区域分割
3全监督语义分割方法
永利网站网址,3.1基于多尺度分割的语义分割方法
3.2基于多特征融合的语义分割方法
3.3基于深度网络的语义分割方法
4弱监督语义分割方法
4.1带Bounding Box训练图像数据
4.2有精确图像层标签的训练图像数据
4.3带噪声标签的训练图像数据
5面向语义图像分割的常用数据集
6不同监督条件下state of the art方法对比
7结语
参考文献
机器学习在多模态脑图像分析中的应用张道强程 波接 标刘明霞
1引言
2流形正则化多任务特征学习
3多模态流形正则化迁移学习
4视图中心化的多图谱分类
5实验结果
5.1流形正则化多任务特征学习
5.2多模态流形正则化迁移学习
5.3视图中心化的多图谱分类
6结语
参考文献
寒武纪神经网络计算机陈天石陈云霁
1人工神经网络
2曾经的失败
2.1算法: SVM的崛起
2.2应用: 认知任务被忽略
2.3工艺:通用处理器享受摩尔定律红利
3神经网络计算机的涅槃
3.1算法: 深度学习的有效训练算法
3.2应用: 认知任务的普遍化
3.3工艺: 暗硅时代的到来
3.4第二代神经网络的兴起
4主要挑战
5寒武纪神经网络(机器学习)处理器
5.1DianNao
5.2DaDianNao
5.3PuDianNao
6未来工作
参考文献 

↑折 叠

 

LLNL的数据科学副主任吉姆·布雷斯表示,其目标是汇集能源部实验室各种新型数据科学能力,帮助解决核不扩散中所面临的挑战。

前言

     随着大数据时代的来临,来自互联网、安全、金融、医疗、科学观测等众多领域的数据呈爆发式增长。在享受巨量数据提供的丰富信息的同时,我们也淹没在数据的海洋中,很难挖掘出急需的信息和最有用的知识。要解决这一矛盾,一个重要的策略是利用机器学习。
     机器学习发源于人工智能,近三十年来已经逐渐发展成为一门相对完备且独立的学科,广受计算机科学、统计学、认知科学等相关领域的关注。在理论方面,针对数据采样分布与真实分布的差异,形成了概率近似逼近(PAC)的学习机制,并在此基础上发展了传统的统计学习理论。为避免数据预测中目标函数的病态问题,一系列正则化理论被提出,如侧重于可解释性的稀疏学习技术、侧重于保持数据非线性几何结构的流形正则化理论、期望保持最优分类性能的最大间隔正则技术等。不仅如此,应用驱动的机器学习也推动了众多新兴研究方向的产生,如考虑无标签数据的半监督学习,考虑不同数据分布的迁移学习、领域自适应学习,考虑数据“多”特性的多标签、多示例、多视角、多任务学习,考虑网络数据标记策略的众包学习等。与优化技术如随机梯度下降、半正定规划等的融合,也促进了对大规模数据的处理和对全局最优化求解。值得一提的是,近年来深度(神经网络)学习通过逐阶递减的特征提取技术以及大数据的训练策略,在多个层面如图像、语音甚至文本分类性能上都超越了统计学习为主导的机器学习方法。这使得神经网络在经历了近二十多年的低谷后,再次把广大研究人员的眼球重新吸引回来。它不仅掀起了机器学习的新一轮热潮,也直接导致了工业界对机器学习的研究和发展前所未有的关注。
      2002年,陆汝钤院士在复旦大学智能信息处理实验室发起组织了“智能信息处理系列研讨会”,并将“机器学习及其应用”列为当年支持的研讨会之一。2002年11月,研讨会成功举行,并确定了会议不征文、不收费、报告人由组织者邀请,以及“学术至上,其他从简”的办会宗旨。2004年11月,在复旦大学举行了第二届“机器学习及其应用”研讨会,两天半的会议一直有100余人旁听。2005年起,研讨会由南京大学软件新技术国家重点实验室举办。2005年11月举办的第三届研讨会吸引了来自全国近10个省市的250余人旁听;2006年11月、2007年11月分别由南京航空航天大学信息科学与技术学院、南京师范大学数学与计算机学院协办第四届和第五届研讨会,两次均吸引了来自全国10余个省市的约300人旁听;2008年11月举行的第六届研讨会,适逢南京大学计算机学科建立50周年,吸引了来自全国10余个省市的380余人旁听;此后在2009年11月和2010年11月在南京大学分别举行了第七、八届研讨会,均有约400人旁听。2011年11月和2012年11月由清华大学自动化系、智能科学与系统国家重点实验室、清华大学信息科学与技术国家实验室(筹)举办第九届和第十届研讨会,两次会议均有500多人旁听。2013年11月由复旦大学计算机科学技术学院和上海市智能信息处理实验室举行了第十一届研讨会,2014年11月在西安电子科技大学举办了第十二届研讨会,这两次会议均有600多人旁听。可以说,“机器学习及其应用”研讨会已经成为机器学习及其相关领域研究人员的盛会。
      本书是对第十一届和十二届中国机器学习及其应用研讨会的一个总结,共邀请了会议中的10位专家就其研究领域撰文,以综述的形式探讨了机器学习不同分支及相关领域的研究进展。全书共分10章,内容分别涉及稀疏学习、众包数据中的隐类别分析、演化优化、深度学习、半监督支持向量机、差分隐私保护等技术,以及机器学习在图像质量评价、图像语义分割、多模态图像分析等方面的应用,此外,还介绍了新硬件寒武纪神经网络计算机的研究进展。
      其中,龚平华博士与张长水教授在第1章研究了稀疏学习在鲁棒多任务特征学习和多阶段多任务特征学习中的理论和算法。田天博士与朱军教授在第2章综述了众包标注问题和标注整合的两种基本模型后,提出了众包学习中的隐类别结构模型。针对多数演化算法常依赖于启发式算法的不足,俞扬教授在第3章分析了演化优化的理论基础。通过借鉴深度学习的多层结构框架,陈渤教授在第4章发展了层次化贝叶斯分析以及在线变分贝叶斯推断方法。李宇峰博士与周志华教授在第5章从“多”“快”“好”“省”四个方面详细讨论和分析了半监督支持向量机近十年来的研究新进展。考虑到多数机器学习算法是建立在包含用户敏感信息的数据集上,王立威教授与郑凯博士在第6章分析现有隐私保护模型的优势和不足后,并基于差分隐私策略提出了针对光滑查询的隐私保护机制。作为视觉大数据中最重要的载体之一,图像的质量评价是视觉信息质量评价的基本问题。高新波教授与何立火博士在第7章引入了基于特征表示、回归分析和贝叶斯推理等机器学习方法对图像质量进行了客观评价,提出了一系列的无参考型图像质量评价的测度。除此以外,考虑到图像的高层语义提取一直是计算机视觉中的“难”问题,薛向阳教授在第8章从特征融合、深度网络、弱监督策略等方面分析了图像语义分割问题。在脑图像分析中,多种采集设备可形成多模态的图像。为了有效融合多模态异质脑图像数据,张道强教授与程波博士等人在第9章从多任务学习、多模态流形正则迁移学习、多视图分类的角度分析了机器学习在多模态脑图像分析的应用。最后,陈天石与陈云霁教授从硬件的角度探讨了机器学习固化的可能性,并对中国科学院计算技术研究所研发的寒武纪系列处理器进行了简要介绍。
      本书概括了国内机器学习及其应用的最新研究进展,可供计算机、自动化、信息处理及相关专业的研究人员、教师、研究生和工程技术人员参考,也可作为人工智能、机器学习课程的辅助内容,希望对有志于从事机器学习研究的人员有所帮助。
  高新波张军平
  2015年7月 

二、研究成果

(1)“语义轮”深度学习框架。项目的核心是LLNL研发的深度学习框架,名为“语义轮”(Semantic
Wheel)。该框架使用神经网络将多模态数据(即图像、文本和视频)“映射”到特征空间,在这些特征空间中它们的彼此相对接近度由其内涵意义的紧密度决定,类似用于多模态数据的“杜威十进制系统”。

LLNL计算机科学家巴里·陈表示,人类无法关注到所有数据,但如果可以教电脑过滤无用信息,分析人员就能更快、更彻底地对关键指标进行分析。陈所研究的深度学习系统能根据数据和武器建造过程的关系,对图像视频以及任何类型的输入数据进行分类,并进行初始筛选。然后,分析人员可查看那些系统建议与武器化过程相关的数据,并评估当前有多少证据表明有关行为体能完成这些武器建造步骤。

例如,“语义轮”可使防止核扩散分析人员使用简单文本来查询“铀浓缩”,并找到与“铀浓缩”相关的先前未标记的图像和视频。为完成该搜索,“语义轮”将在特征空间中返回与“铀浓缩”文本短语相近的数据。这将有助于分析人员快速找到相关的铀浓缩图像和视频,而无需手动查看数百万张图像或花费大量时间观看视频。

研究人员表示,“语义轮”显著的优势是可以找到概念相关的数据,即使这些数据缺少关键词标签。鉴于大多数数据都属于未标记数据,因此这一点非常关键。它还解决了机器学习研究人员训练AI系统所面临的一个关键挑战,即人类注释数据(如带有文本内容描述的的图像和视频)的有限可用性。

(2)自我监督学习方法。先进的神经网络亟需人类注释的数据,并需数百万个样本用于“受监督”学习算法。为应对这一挑战,LLNL团队研发了新的“自我监督”学习算法,不需人工标记数据。这使研究人员能够利用几乎无限的未标记数据来训练神经网络。

通过自我监督学习,该神经网络可自动学习哪些特征有助于其“查看”和“读取”每种数据类型。之后,研究团队将训练更多的“映射”神经网络,将相关概念的图像、视频和文本特征映射到“语义轮”特征空间的近端位置。最后一步则需人工注释的数据,但是研究人员注意到,具有单峰特征的自我监督学习极大地减少了系统学习映射网络和检索跨模态数据所需的数据量。研究人员表示,LLNL的自我监督学习方法在广泛的图像识别任务中表现卓越,在精确度方面全面优于其他无监督深度学习系统。

三、研究意义

LLNL开展了一项为期三年的“实验室定向研发(LDRD)战略计划”项目。作为该项目的一部分,“语义轮”旨在“推动深度学习和高性能超级计算机的极限”。研究团队计划通过增加更多数据进一步改进神经网络。同时,新的研究方法将为美国国家核安全管理局(NNSA)未来开发和应用数据分析、改进核扩散活动的探测奠定基础。

该项目防止核扩散分析负责人雅娜·费尔德曼表示,通过该系统,分析人员能够系统地搜索有关潜在核扩散活动证据的更多数据,包括图像和视频。

来源:美国劳伦斯利弗莫尔国家实验室网站/图片来自互联网

申 淼

如需转载请注明出处:“国防科技要闻”(ID:CDSTIC)

人工智能

陆军

海军

空军

航天

网络空间

电子信息

核武器

精确打击

新概念武器

基础科学

技术

与能源

与制造返回搜狐,查看更多

责任编辑:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

标签:, , , ,
网站地图xml地图