当前位置:首页> 圈子> 大咖秀场

陈左宁:人工智能模型和算法的7大发展趋势

来源: 时间:

9月28日,为期3天的2020全国高性能计算学术年会(HPC China 2020)在郑州举行。中国工程院副院长、中国工程院院士陈左宁进行了题为《人工智能进展对算力需求分析》的报告。陈左宁提出人工智能模型和算法的7大发展趋势,并对AI趋势对算力的需求进行分析和预测:

1. 向无监督的方向发展

人工智能需要适应“小数据”、减少标注需求、减少计算开销。现在用的比较多的是主动学习,即算法主动提出标注请求,将一些经过筛选的数据提交给专家标注。迁移学习即增强训练好的模型,解决目标领域中仅有少量有标签样本数据的问题。强化学习即用agents构成系统来描述行为并给予评价和反馈学习。从主动学习到迁移学习再到强化学习,需要的能力也由“人机交互能力、数据整合能力”到“大算力预训练、数据处理能力”再到“信息采集能力、概率计算能力”不断演化。

2. 可解释(XAI)越来越重要

首先,深度学习进一步设计算法和参数,提高泛化能力,需要模型算法可解释。对抗样本如果导致模型失效,那训练数据将不合理地被局部放大。另外,模型愈复杂,越容易失去可调试性和透明性。人工智能模型有透明模型和事后可解释模式,无论是哪一个模型,他们都有对算力的需求,具体需求是需要我们将可解释技术融入软件环境中,为现有软件框架增加可解释技术接口;第二个需求是将人-AI系统结合。以人为中心,把人对事情的解释跟整个模型融合在一起。

3. 人工智能模型的自学习、自演化

从自动机器学习(AutoML)到限制约束条件的AutoML再到不设初始条件,搜索空间极大丰富的自演化AutoML,人工智能模型的自学习、自演化需要我们提供计算框架支撑、大算力支撑、辅助设备支撑。

4. 多种算法、模型的有机组合

这个趋势目前已经非常明显了,目前单一的算法或模型难以解决实际问题,经过分析,我们可以把多种模型有机结合起来,另外,人工智能模型的发展希望融入多种技术来解决已有问题。当然,人工智能的应用流程越来越复杂,所以,不同流程所涉及的环境也多样化,这就需要不同的算法和模型的组合,需要计算存储等可扩展能力和基础软件能力提升,支持复杂模型。

5. 人工智能应用需要关注生命周期

从设计到数据预处理,建立、训练、优化模型,部署、推理,保持和更新,数据积累,准备,训练,得到推理结果等这些全周期不同任务具有不同的事件、空间和计算需求,全生命周期都要考虑可解释、公平性需求。

6. 分布式、分散式的需求越来越突出

首先,大型、复杂模型,海量数据需要并行、分布式计算;第二,联邦学习等分散场景需要分布式ML原生算法。因此这就需要大算力、原生支持分散场景,而并行的、分散的人工智能模型算法本身的需求越来越突出。

7. 深度推理

清华大学唐杰老师认为,从计算、感知、认知到意识,对算力的需求,从最初的计算存储、输入输出,到语音图像等识别,再到认知推理、自学习、顿悟等,反映出对计算需求的演进。如何应对多种形式的不确定性是目前的一大难题。比如从环境中感知的信息、知识的情景特异性、缺乏完全解释自然现象的完整理论、计算的有限合理性等。我们可以从以下三个方面有效应对多种形式的不确定性,如概率计算,类脑、仿脑体系结构、模拟计算。

总结下来,人工智能对算力的需求有如下特点:关系和概率计算更加突出,同时不要求高精度、不要求高容错;并且在节点上简单了,此外,人在环路中的需求非常明显。这些特点可能随着人工智能的发展不断突破。

热门板块