谷歌展示“双子座”AI,称其可以击败GPT-4
2023-12-11 17:57:58行业资讯

google-gemini-gpt-4.jpeg

谷歌已经正式展示了其备受期待的人工智能模型Gemini -它声称比OpenAI的GPT-4大型语言模型(LLM)更强大,并表示它可以在智力测试中与“专家级”人类相媲美。

该模型是首席执行官Sundar Pichai在5月份的公司I/O会议上首次推出的,将有三种风格:Nano,Pro和Ultra,其中Ultra是最有能力的,据称可以超越GPT-4。

根据一篇官方博客文章,一个“微调版的Gemini Pro”已经集成到谷歌的Bard聊天机器人中。Ultra仍在进行“广泛的信任和安全检查”和“微调”,但最终也将在“明年初”内置到Bard中。“

但是,除了一些简单的视频演示,该公司今天分享,这或多或少是我们所知道的关于谷歌最新的人工智能。例如,我们不知道它有多少参数,也不知道它是在什么数据上训练的,这使得我们无法与竞争对手的人工智能模型进行准确的比较。

更不用说缺乏一个公认的行业标准基准来衡量任何AI模型的智能。

Gemini是“天生的多模式”,这意味着它可以“联合收割机不同类型的信息,包括文本,代码,音频,图像和视频,”根据博客文章。

在一系列视频中,谷歌展示了Gemini的能力。一段视频显示,一个程序正确识别了一只蓝色鸭子的图画。另一段视频显示,人工智能阅读学生对数学问题的答案,并解释为什么学生是对的或错的。

但它与OpenAI的竞争对手GPT-4相比如何?

在今天的声明中,该公司声称其Gemini Ultra模型在MMLU(大规模多任务语言理解)测试中获得了90%的分数,该测试“使用了57个科目的组合,如数学,物理,历史,法律,医学和伦理学,以测试世界知识和解决问题的能力。“

这使得它成为“第一个在测试中表现优于人类专家的模型”。“专家级”人类得分仅为89.8%。

根据谷歌的数据,GPT-4在测试中只得到了86.4%。然而,集成到谷歌Bard聊天机器人中的中档Gemini Pro模型在同一测试中仅能击败GPT-3.5。

换句话说,根据谷歌今天发布的数据,这仍然是一场非常激烈的比赛。