在AI大模型中,“Scaling Laws”(规模效应)意味着当参数和数据规模大到一定程度时,大模型的智能表现将涌现跃升,也便是“智能呈现”。
漆远比拟人类大脑和AI模型指出,人脑里的链接是百万亿到千万亿级别,而GPT-4等大模型的参数规模才到万亿级。
在他看来,仍旧可以通过扩大AI模型的参数规模,以求提高模型的智能表现,“但这仍面临着诸多寻衅”。

第一个寻衅便是AI的能耗问题。
漆远提到,一个GPU(图形处理器,现常用于AI打算)的能耗在几百瓦(W)到数千瓦之间,目前用于演习AI模型的打算矩阵,已经达到了“万卡”(即上万个GPU)。
如果连续扩大AI模型的参数规模,达到百万亿、千万亿参数级别的AI模型将面临着巨大的能源寻衅,“这对一个城市或一个地区的能量都可能是非常大的花费”。

此外,从“有用的玩具”到“有用的工具”,AI模型还有很长的路要走。
漆远指出,目前的AI模型更善于快思考,它可以很快地回答,是一个很好的谈天工具,“但真正作为生产力工具,须要慢思考,须要严谨的逻辑推理”。

他认为,要实现这一目标,须要将以深度学习为根本的快思考“黑盒”模型,与慢思考、可以阐明逻辑推理过程的“白盒”模型相结合,打造“灰盒”可信大模型,“这可能是将AI模型,从一个非常故意思的谈天工具,变成一个可信、可控、可阐明的有用工具的可行路径。

专家将AI模型参数做大年夜仍具有红利但也面临寻衅

7月19日,“2024中国联通互助伙伴大会”在上海开幕,上海科学智能研究院院长、复旦大学特聘教授漆远在主峰会上揭橥专家演讲。
中青报·中青网见习 贾骥业/摄

来源:中国青年报客户端