第78章 三维融合架构芯片要提上日程
纪弘掷地有声的话撩拨着每一个人的心弦,整个人仿佛都年轻了十岁一样。
“嗯。”文琛思索了好久,最终沉声道:“我会好好的总结今天的东西,并且上报,纪弘,你的责任很重,我看好你!”
纪总、纪教授、你、纪弘……
今天一场会,文琛对纪弘的四种称呼,纪弘最喜欢的是最后这一句。
一个年近花甲的老者,这句话的分量很重,他不是领导对下属叮嘱,也不是对合作伙伴的要求,这是一位老者对未来、对下一代的一种希冀。
纪弘郑重的点了点头:“长者之言,始终牢记,铭记于心。”
……
会议结束的时候,天色已经渐晚,纪弘一回到家里,就看到程荟在那咋咋呼呼的喊着:“我老公真厉害呢!”
得,本来还想问问今天下午的+1具体是什么情况呢,这也不用问了——眼前的情景已经说明了一切。
“你看什么呢啊在?”纪弘走过去,十分好奇的问道。
“视频啊,你看看,如果不是这个UP主,就连我都不知道,其他企业训练AI竟然这么麻烦呢!”程荟一脸好奇宝宝的样子。
“额~”纪弘愕然,这个他好像还真没有跟程荟讲过。
而自己这边,赛博女友用的是别家的大模型加上类思维决策过程优化,私人工作助理和插件更是直接全部使用的具有一定决策能力的类思维,还真没有在家从头训练过一个普通大模型。
什么UP主这么牛,找机会一定要谢谢你。纪弘心道。
接过平板看了一会儿,这种想法就更加的浓郁了——里边的很多场景就连纪弘都忍不住直接笑了——不过想想这也正常,以GPT2的水平,闹出什么样的笑话都不意外。
早些年不还被称为人工智障呢吗,也就GPT3.5之后才渐渐的好了起来。
“还有人科普【类人泛化能力】和【类思维】的区别呢。”见纪弘看完,程荟又扒拉了几下收藏夹,说道:“诺,就这个,不过我看的有点儿晕乎!”
“【类人泛化能力】就是在变化的任务环境中训练模型,使模型逐步获得组合词汇含义的系统性推理能力。”
纪弘无语,这个科普就不如刚才那个夏飞同学,这么讲除了专业人士谁能看得懂呢,他想了想,跟程荟解释道:“其实很好理解,首先你要知道,人的泛化能力指的是啥,其实就是联想能力,举一反三的能力。
“而对于机器来说,这非常困难。微软联合OpenAI搞的这种方式,是怎么做的呢?这么说吧,假如说,本来的大模型是一张网,网你见过,就跟渔网一样,一个疙瘩通过几个线条跟另外几个疙瘩相连。
“跟它不相连的疙瘩,是很难去直接联系的。人工智能模型也类似,所以模型的联想能力是偏弱的,举一反三很困难。
“但,我们发现,咦,这两个东西虽然隔得很远,但是其实是一回事儿,比如,秦始皇和嬴政。所以我们就在任何环境的变化中,都给他人为的标一起。
“类似的情形还有很多,那就人为的一个个全标上。这样,经过长时间的训练,模型就具备了时时把两个相似东西联想到一块儿的能力。
“语言模型本身就是一张网,而这就相当于在原来的语言模型中,又织造了一个新的网,网中之网。”
这么说着,纪弘内心也是非常佩服这帮人,人工强硬标记联系,加上大规模的算力,竟然真的训练出了类似于人类的【语言泛化能力】。
真要算力无限,说不定真的能搞出什么更大的名堂呢。
不过,算力无限这事儿,想想也就罢了——就算把全世界所有的沙子都做成芯片,所有的能源都用来发电,量再大,那也是有定数的。
“那咱们的类思维呢?”程荟问道。
“类思维不是综合模型,不单单是语言模型。”纪弘说道:“甚至,类思维更偏向于决策过程。
“对于正式文件、说明文档、技术资料这些,类思维更擅长,不管是工作助理还是系统自动化插件,都是基于此的。
“但是,私人工作助理你用了,模型的语言能力是不是也不弱?基本正常的对话,它基本都能理解。
“语言能力确实是现阶段类思维模型的弱项之一,但哪怕是弱项,那也不是所谓的【类人泛化】的所谓MLC训练法——一个靠人工标记然后算力堆积训练出来的方法训练出来的东西所能比的。”
“那是,当然是我老公最厉害了!”程荟眼里又开始冒小星星了。
【得到认可,人泛化能力形成机理思维灵感+1】
“嗡!”纪弘的脑子瞬间爆了——不是因为这些灵感有多多,而是因为这个机理好像涉及到了另一个层面——人泛化能力形成机理研究的好像是人脑本身。
不仅如此,它好像和下午开会时候获得的【类人泛化能力实现方式的思维灵感】还能结合起来!
不过仔细一想,这又非常的合情合理,一个是人本身泛化能力的形成机理,另一个是模仿的。类人泛化能力——光从名称就能看得出来。
“这下可是齐活了。”纪弘心下感叹,更是激动的直接抱着程荟转了好几圈。
“呀!”程荟更是惊叫一声,随即呼喊:“放我下来,怎么了你今天这是,三十岁的人了,也不怕闪着腰?”
“没事的!”纪弘放程荟下来,还拍了拍自己的几块腹肌:“强着呢!”
还别说,这一段时间效果还真是明显,上次这么玩儿还是在大学的时候呢。
“样子!”程荟嘻嘻道:“今天不会忙到很晚吧?”
“不会!”纪弘道:“开会的时候交代了一些事情,我过去整理一下,绝对不会太晚,十点之前准能搞定!”
下午的灵感思路只记录一个大概,鬼画符似的只有今天的纪弘能看懂,等放到明天说不定就得抓瞎。
而刚刚获得的灵感也需要整理和记录一番——纪弘跟程荟交代一声,立即转移阵地到书房。
“类人泛化能力,人泛化能力的形成机理,这俩……”
纪弘一边整理思路,一边还思索着——这好像和之前的类思维也都有某种共性啊,能不能结合一下呢?
脑子里不断的浮现着两种东西之间的关联,不断地写写画画着,纪弘最终得出结论:“这样的话,好像需要新的硬件支持……
“存算三维融合架构芯片?”瞬间想到上次获得的灵感,纪弘也是迅速的翻出当时的记录,一对比之下,发现果然如此!
这三者之间是有联系的!
纪弘的思维瞬间被打开,灵感的源泉就仿佛洪流冲垮了堤坝,随即就一发不可收拾,再也抵挡不住了!
芯片、算法、模型……三者正好有机的结合起来,整个链条一瞬间通了!
“嗯,三维融合架构芯片要提上日程!”纪弘点了点头,如此考虑着。
先发两章五千字,回去应该还能写一章,会晚一些!
请收藏本站:https://www.n9com.com。笔下文学手机版:https://m.n9com.com
“嗯。”文琛思索了好久,最终沉声道:“我会好好的总结今天的东西,并且上报,纪弘,你的责任很重,我看好你!”
纪总、纪教授、你、纪弘……
今天一场会,文琛对纪弘的四种称呼,纪弘最喜欢的是最后这一句。
一个年近花甲的老者,这句话的分量很重,他不是领导对下属叮嘱,也不是对合作伙伴的要求,这是一位老者对未来、对下一代的一种希冀。
纪弘郑重的点了点头:“长者之言,始终牢记,铭记于心。”
……
会议结束的时候,天色已经渐晚,纪弘一回到家里,就看到程荟在那咋咋呼呼的喊着:“我老公真厉害呢!”
得,本来还想问问今天下午的+1具体是什么情况呢,这也不用问了——眼前的情景已经说明了一切。
“你看什么呢啊在?”纪弘走过去,十分好奇的问道。
“视频啊,你看看,如果不是这个UP主,就连我都不知道,其他企业训练AI竟然这么麻烦呢!”程荟一脸好奇宝宝的样子。
“额~”纪弘愕然,这个他好像还真没有跟程荟讲过。
而自己这边,赛博女友用的是别家的大模型加上类思维决策过程优化,私人工作助理和插件更是直接全部使用的具有一定决策能力的类思维,还真没有在家从头训练过一个普通大模型。
什么UP主这么牛,找机会一定要谢谢你。纪弘心道。
接过平板看了一会儿,这种想法就更加的浓郁了——里边的很多场景就连纪弘都忍不住直接笑了——不过想想这也正常,以GPT2的水平,闹出什么样的笑话都不意外。
早些年不还被称为人工智障呢吗,也就GPT3.5之后才渐渐的好了起来。
“还有人科普【类人泛化能力】和【类思维】的区别呢。”见纪弘看完,程荟又扒拉了几下收藏夹,说道:“诺,就这个,不过我看的有点儿晕乎!”
“【类人泛化能力】就是在变化的任务环境中训练模型,使模型逐步获得组合词汇含义的系统性推理能力。”
纪弘无语,这个科普就不如刚才那个夏飞同学,这么讲除了专业人士谁能看得懂呢,他想了想,跟程荟解释道:“其实很好理解,首先你要知道,人的泛化能力指的是啥,其实就是联想能力,举一反三的能力。
“而对于机器来说,这非常困难。微软联合OpenAI搞的这种方式,是怎么做的呢?这么说吧,假如说,本来的大模型是一张网,网你见过,就跟渔网一样,一个疙瘩通过几个线条跟另外几个疙瘩相连。
“跟它不相连的疙瘩,是很难去直接联系的。人工智能模型也类似,所以模型的联想能力是偏弱的,举一反三很困难。
“但,我们发现,咦,这两个东西虽然隔得很远,但是其实是一回事儿,比如,秦始皇和嬴政。所以我们就在任何环境的变化中,都给他人为的标一起。
“类似的情形还有很多,那就人为的一个个全标上。这样,经过长时间的训练,模型就具备了时时把两个相似东西联想到一块儿的能力。
“语言模型本身就是一张网,而这就相当于在原来的语言模型中,又织造了一个新的网,网中之网。”
这么说着,纪弘内心也是非常佩服这帮人,人工强硬标记联系,加上大规模的算力,竟然真的训练出了类似于人类的【语言泛化能力】。
真要算力无限,说不定真的能搞出什么更大的名堂呢。
不过,算力无限这事儿,想想也就罢了——就算把全世界所有的沙子都做成芯片,所有的能源都用来发电,量再大,那也是有定数的。
“那咱们的类思维呢?”程荟问道。
“类思维不是综合模型,不单单是语言模型。”纪弘说道:“甚至,类思维更偏向于决策过程。
“对于正式文件、说明文档、技术资料这些,类思维更擅长,不管是工作助理还是系统自动化插件,都是基于此的。
“但是,私人工作助理你用了,模型的语言能力是不是也不弱?基本正常的对话,它基本都能理解。
“语言能力确实是现阶段类思维模型的弱项之一,但哪怕是弱项,那也不是所谓的【类人泛化】的所谓MLC训练法——一个靠人工标记然后算力堆积训练出来的方法训练出来的东西所能比的。”
“那是,当然是我老公最厉害了!”程荟眼里又开始冒小星星了。
【得到认可,人泛化能力形成机理思维灵感+1】
“嗡!”纪弘的脑子瞬间爆了——不是因为这些灵感有多多,而是因为这个机理好像涉及到了另一个层面——人泛化能力形成机理研究的好像是人脑本身。
不仅如此,它好像和下午开会时候获得的【类人泛化能力实现方式的思维灵感】还能结合起来!
不过仔细一想,这又非常的合情合理,一个是人本身泛化能力的形成机理,另一个是模仿的。类人泛化能力——光从名称就能看得出来。
“这下可是齐活了。”纪弘心下感叹,更是激动的直接抱着程荟转了好几圈。
“呀!”程荟更是惊叫一声,随即呼喊:“放我下来,怎么了你今天这是,三十岁的人了,也不怕闪着腰?”
“没事的!”纪弘放程荟下来,还拍了拍自己的几块腹肌:“强着呢!”
还别说,这一段时间效果还真是明显,上次这么玩儿还是在大学的时候呢。
“样子!”程荟嘻嘻道:“今天不会忙到很晚吧?”
“不会!”纪弘道:“开会的时候交代了一些事情,我过去整理一下,绝对不会太晚,十点之前准能搞定!”
下午的灵感思路只记录一个大概,鬼画符似的只有今天的纪弘能看懂,等放到明天说不定就得抓瞎。
而刚刚获得的灵感也需要整理和记录一番——纪弘跟程荟交代一声,立即转移阵地到书房。
“类人泛化能力,人泛化能力的形成机理,这俩……”
纪弘一边整理思路,一边还思索着——这好像和之前的类思维也都有某种共性啊,能不能结合一下呢?
脑子里不断的浮现着两种东西之间的关联,不断地写写画画着,纪弘最终得出结论:“这样的话,好像需要新的硬件支持……
“存算三维融合架构芯片?”瞬间想到上次获得的灵感,纪弘也是迅速的翻出当时的记录,一对比之下,发现果然如此!
这三者之间是有联系的!
纪弘的思维瞬间被打开,灵感的源泉就仿佛洪流冲垮了堤坝,随即就一发不可收拾,再也抵挡不住了!
芯片、算法、模型……三者正好有机的结合起来,整个链条一瞬间通了!
“嗯,三维融合架构芯片要提上日程!”纪弘点了点头,如此考虑着。
先发两章五千字,回去应该还能写一章,会晚一些!
请收藏本站:https://www.n9com.com。笔下文学手机版:https://m.n9com.com