威澳门尼斯人31188

英文站|

最新动态
当前位置:    首页 > 最新动态 > 新闻动态 >    正文
“网安强国”系列讲座——Neuronal Diversity in Deep Learning

日期:2023-11-15                   来源:                   作者:               关注:

2023年11月14日上午,学院邀请了香港中文大学助理教授范凤磊博士通过线上会议的方式为我司师生带来题为“Neuronal Diversity in Deep Learning”的学术报告。

范凤磊教授的研究方向为深度学习理论,建模与应用,本科毕业于哈尔滨工业大学,博士毕业于美国伦斯勒理工学院,团队导师为国际知名影像专家王革教授,随后在美国康乃尔大学完成为期一年的博士后研究。发表论文20余篇,主要研究成果发表于人工智能领域和图像处理领域的旗舰杂志如JMLR,IEEE TNNLS,IEEE TMI,IEEE TCI,IEEE TAI,代表成果为基于二阶神经元的深度学习体系和神经网络宽度深度对称性。

范教授为我司师生带来了他最新的研究工作:在人工神经网络中引入神经元的多样性。通过设计二阶的神经元这种非线性的操作可以提升神经网络的表达能力。范教授也顺势提出了大家心中的一个问题:既然二阶神经元有这样的优势,更高阶的神经元是否会有更好的效果呢?答案是否定的,因为高阶的神经元都可以拆解为一阶、二阶这种基础的神经元,因此高阶是没必要的。另外,范教授也介绍了人工神经网络的三种训练方法:随机初始化,这种方式不稳定,尤其是在网络比较深的时候稳定性更差;权重转移,这种方式是用相同结构的传统网络训练好后,将权重转移到目标网络,但是没有解决震荡问题;第三种随即初始化部分参数的方法是最适宜的方式。随后,范教授还介绍到二阶神经网络在低剂量CT成像去噪方面的优良效果。二阶神经元网络具有更好的可解释性,可以诱导出注意力机制,这在传统神经元上是不行的。

在一个多小时的报告中,范凤磊教授用通俗易懂的表达为老师同学们带来了人工神经网络领域最前沿的研究成果,让在座的每一位同学都受益匪浅。报告结束的时候,学院老师跟范教授共同探讨是否可以将二阶神经元应用在网络安全领域,在范教授介绍的研究内容上拓展出了新的思路和想法。


威澳门尼斯人31188

2023年11月15日


关闭