日前,美国研究公司open-ai公布了其大型语言模型(llm)的最新版本——gpt-4;该版本可以更准确地解决人们的难题,它还可以生成、编辑具有创意性或技术性的文章,在高级推理方面的表现超过其前辈(如gpt-3.5)。所以有专家认为,gpt-4正在全球掀起研究热潮。
此外,openai正在与凯发天生赢家一触即发官网的合作伙伴be my eyes一起测试gpt-4的图像输入能力(注:be my eyes是一款即将推出的智能手机app,可以识别场景并对其进行描述,类似于大家常见的识图的加强版)。除了介绍网站,openai还提供了描述gpt-4功能的技术性论文,以及详细描述其局限性的系统卡片模型。
openai计划通过chatgpt及其应用编程接口(api)为用户提供gpt-4的文本功能支持,但目前还需要大家等待。gpt-4现在仅 chatgptplus账号可用,可选其模式进行对话,每4小时限制发送100条消息。收费方面,大约750个单词的提示收取约3美分的费用,约750个单词的响应则收取6美分(openai将支持到2023年6月14日)。
据悉,gpt-4比以前的版本更大,这意味着它已经借助比前辈更多的数据进行了训练,并且在模型文件中有更多的权重,从而使得它的运行成本更高。就任务而言,gpt-4 的表现比前辈更好,它可以遵循自然语言的复杂指令并生成技术或创意内容,而且它可以还更深入地做到这一点:它支持生成和处理多达32768个标记,从而实现比前辈更长的内容创建或文本分析。
openai表示,gpt-4错误答案更少,而且也会减少偏离话题的可能,也尽可能不会再谈论禁忌话题,甚至在许多标准化测试中比人类表现得都要更好一些。例如,gpt-4在模拟律师考试的成绩在考生中排名前10%左右,在sat阅读考试中排名前7%左右,在sat数学考试中排名前11%左右。相比之下,gpt-4的得分比gpt-3.5高40%,而后者在律师考试中的得分一般都是倒数10%左右。
近年大型语言模型通常有bert模式、gpt模式和混合模式;其中我国大多采用混合模式,但美、英、德、法等国的主流大型语言模型走的是gpt技术路线,直到2022年底在gpt-3.5的基础上产生了chatgpt。大型语言模型按照从数据到知识来划分,数据可分为通用数据和领域数据,知识分为语言知识和世界知识;从任务类型来划分,可以分为单一任务和多任务、理解类和生成类。所以gpt-4属于自然语言处理中的多模态模型。
很明显,gpt-4不太可能成为openai唯一的产品名称,但会带来一些创造性的想象,chatgpt的名字,极有可能与驱动其改进的模型gpt-4结合起来。从业者及管理者需要重点关注gpt-4、chatgpt目前的工作进展,以及openai何时可能发布下一次重大升级。具体来看,gpt系列模型使用transformer架构,当前基于该架构的多模态研究为领域研究热点,有望支撑gpt系列模型走向多模态应用,构筑利用技术生成内容领域的核心能力基石。
gpt-4凭借卓越的多轮对话和内容生成能力,正在全球掀起新一轮研究的热潮。不过,它仍有很多问题,比如事实检索性和复杂计算性效果差,无法实现一些实时性、动态变化性的任务等。然而,优化这些问题以及提升大模型能力的研究正在飞速推进;作为一种大型自然语言生成模型,gpt-4是openai在研究中的一项重大突破。正如我国著名学者周海中先生曾经所言:“技术将广泛应用到各学科领域,会产生意想不到的效果。”可以预料,gpt系列一定会成为未来的拳头产品。
文/黄芳(作者单位:哈尔滨工业大学计算学部)