第77章 我给的灵感?(1 / 1)

漆昊想起了之前他指出Sigmoid函数在反向传播时,每一层梯度都会打折。

当时他说过梯度没有消失,只是在衰减,这是激活函数选取带来的结构性缺陷,所以必须更换激活函数。

现在,陈工等人听从了自己的建议,可为什么换了之后,梯度不仅没救回来,反而疯狂抽风,不是直接卡死,就是爆出NaN导致程序崩溃?

漆昊想要从面前的数据中找出一点线索。

轻量化网络、波动性的点云原始输入、以及……机载芯片。

等一下,这地方不对啊。

“陈工,我能再看看相关的代码吗?”

“稍等。”陈工开始操作,在屏幕上调出了训练端基于NumPy写的网络初始化和数据预处理脚本。

漆昊看了一会儿,指着屏幕某处说:“陈工,你看这行输入,原始点云的数据范围在0.5米到50米之间,你们没有做Zscore或者MinMax归一化,直接以原始float值喂了进去。”

“然后,你们的参数初始化,用的是刚提出来的Xavier初始化对吧?”

“我看你给的文献中,有这么一篇。”

陈工有些得意:“那当然,这是学术界最前沿的初始化方法,论文里证明了它能保证输入和输出的方差一致。”

漆昊轻叹了口气,完了,他的想法是对的。

“陈工,Xavier初始化是有严格前提的,它是专门给Sigmoid或者Tanh这种对称激活函数设计的,推导的假设是,激活函数关于原点对称……”

“每一层网络的输出方差,都会直接缩水一半,如果是10层网络,传到最后一层,方差也没剩下多少,这跟梯度消失有什么区别?”

“那NaN又是怎么爆出来的?”

“机载芯片算力差,你们直接喂了原始点云,点云原始数值大,输入方差可能高达上千,再加上Xavie使用场景不合适,问题就暴露了出来。”

陈工疑惑地问道:“这是你刚才想出来的?”

“是的,这也多亏陈工刚才的讲解,才让我找到了灵感。”

陈工顿时一脸懵圈。

我给的灵感?

我自个儿想了几天,脑袋都快想秃了也没整明白,我什么时候给你灵感了?

陈工仔细想了下,漆昊这一手基于方差传播的数学推导看上去没什么问题,但作为典型的工科博士,他们显然不可能只凭嘴上说说就彻底信服,毕竟,在工程落地领域,再完美的数学公式也必须经历实际代码的检验。

陈工没轻易说好或者不好,只是斟酌道:“漆昊同学,你这个Relu初始化方差修正的思路现在听起来没问题,但是,神经网络在多层级迭代中的实际表现很复杂,我们得把你这一套写进初始化脚本里,重新跑一遍几万组的点云训练数据,看看收敛曲线才能下结论。”

“没错,实践是检验真理的唯一标准。”漆昊爽快回答。

“大概需要多久能出测试结果?”

“咱们组里这几台工作站虽然配了显卡,但由于数据集庞大,加上要跑满完整的epoch观察稳定性,怎么着也得等个七八天吧。”陈工估算了一下时间。

“时间有点长,这快要除夕了,我建议你先回家,有什么进展我们随时沟通。”

漆昊心想确实不可能在这守着他们,于是说:“那我先回家,我家就在本地,坐公交车也就一个多小时,非常方便,等你们跑出训练结果了,随时给我打电话或者发QQ消息,我马上过来。”

陈工见他不仅学术能力强,而且工作态度积极主动,比一般研究生都认真,顿时大为感动:“没问题,大过年的还让你跟着操心,真是不好意思,你先回家休息,只要有结果了,我第一时间联系你!”

告别了他们,漆昊背上包,径直走向了数院大楼。

老王在QQ上给他发了消息,让他有空过去一趟。

推开办公室的门,王教授一见到漆昊,板着的脸上顿时多了笑容:“你快来坐!”

等他坐下,老王从抽屉里取出一叠合同协议和一个信封,推到漆昊面前。

“这是你攻克一维Laurent像猜想的奖金。”

漆昊看着桌子上的东西,说出了自己的担忧:“王老师,这笔奖金数额这么大,交税的问题……”

“我就知道你小子要问,这一块学校早就帮你想好了。”

“三家企业奖励的一百四十万,税费由他们完成全额代扣代缴,所以这方面你就不用担心了。”

“而由学校发放的一百万,财务预估后发现税费非常高,所以学校在想办法上报申请专项表彰,走特殊申报渠道。”

“这样可以减免税费。”

漆昊不知道这里面的门道,听得很认真,他完全没想到学校会为他考虑到这个地步,如果学校不走特殊申报渠道,漆昊其实也没办法。

想到这里,漆昊立刻说:“谢谢王老师和学校帮我张罗这些,否则我都摸不着头脑。”

王老师眼里满是对漆昊的赏识,说:“后勤琐事,本就该我们替你扛下来,好了,上面签个字,三张支票就是你的了。”

漆昊从老王手里接过钢笔,在三份协议上郑重签下了自己的名字。

“你拿着支票,到中行天府分行去找分行经理,那是我们的开户行,已经预约了,你直接去,到时候会有人专门协助你。”

漆昊道了谢,回宿舍将省图借阅卡和之前借的三本厚重的书塞进背包,省图和中行天府分行很近,他打算顺路去一趟省立图书馆,把手里的书给还了,顺便淘几本新的。

来到中行,漆昊等了没多久,分行经理就快步走了过来,满脸堆笑地将漆昊迎进了专门的VIP贵宾接待室,由于学校早就把一切做好了,所以过了十多分钟,漆昊的手机便陆续发出了提示音。

【……已入账1,000,000.00元……】

【……已入账200,000.00元……】

【……已入账200,000.00元……】

一百四十万!

没想到他在大学待了一学期就拿到了那么钱,还有一百万不久后应该也能到账了。

真学霸,就是值钱啊!