开源王者归来!谷歌上新开源模型Gemma,领跑Llama-2,手机PC可跑
开源王者归来!谷歌上新开源模型Gemma,领跑Llama-2,手机PC可跑
文|邓咏仪
编辑|苏建勋
2024 年刚开年,AI 巨头们的竞赛,一波未平一波又起。
前几日,尽管和 OpenAI Sora 的比试里遗憾落了下风,但进击的谷歌,默默在深夜再度出了个大招——
北京时间 2 月 21 日深夜,谷歌正式宣布,推出全新开源模型 Gemma。
Gemma 官网 来源:谷歌
对于 Gemma,谷歌自己的官方描述是:
Gemma 是先进的轻量级开放模型系列,采用了与创建 Gemini 模型相同的研究和技术。受到 Gemini 的启发,Google DeepMind 和 Google 其他团队合作开发了 Gemma,并用拉丁语中意为 " 宝石 " 的 gemma 为其命名。
Gemma 是一个小尺寸的大语言模型,与谷歌自家现在最强的大模型 Gemini 同出一源,共享技术。本次,谷歌发布了 Gemma 的两个版本:Gemma 2B(20 亿参数)和 Gemma 7B(70 亿参数)。每种规模都提供了预训练和指令微调版本。
相较于百亿甚至千亿级别的通用基座大模型,2B 和 7B 两个版本算是入门级的模型尺寸,相对应地,其应用成本也会更低。
比如,2B 体量的大模型连手机都可以带得动而 7B(70 亿)则是一个检验模型性能的经典尺寸。大部分厂商在发布模型时,都会先选择发布近似这个体量的版本。
值得注意的是,Gemma 和现在谷歌自家最强的大模型 Gemini 共享同一套技术。这相当于,谷歌把更小体量的 Gemini 放出来,跟现在的一众开源模型对打。
当前,Gemma 2B 和 7B 允许所有组织(无论规模大小)负责任地进行商用和分发。未来,Gemma 这个系列还会发布更大尺寸的模型。
而为了方便开发者,谷歌不仅开源模型,还附带开发套装,包括全新的 " 负责任生成式 AI 工具包 ",为基于 Gemma 开发安全的人工智能应用程序提供了必要指导和工具,以及跨主流框架(如 JAX、PyTorch 及原生 Keras 3.0 下的 TensorFlow)的推理和监督微调(SFT)工具链。
各种设备也已经适配好。谷歌已经基于英伟达的 GPUs 和谷歌云 TPUs 等多个 AI 硬件平台,对 Gemma 进行优化,让模型可以直接在笔记本电脑或台式机上运行。
谷歌此举,俘获了不少技术开发者的心。有人表示:好消息,谷歌终于再度回到开源路线了。
△网友迅速产出嘲笑 OpenAI 闭源的梗图 来源:X(Twitter)
不过,吃瓜的网友还是占大多数,有网友说:未来又有一众厂商又有技术型突破了,还有人吆喝:快通知这几天火遍国内的 AI 卖课大师李一舟。
△来源:Twitter(X)
小尺寸高性能,领跑 Llama 2
此前,全球被用得最多的开源模型,是 Meta 旗下的 Lalma-2。谷歌发布 Gemma,可以说直指开源竞赛——不少从业者表示,最强开源大模型,今日易主。
在 Gemma 的技术报告中,谷歌放出了大量训练细节,其中就包括 Llama-2 的测试对比结果图,大多数指标都超过了 Llama-2。
△来源:谷歌
在训练数据上,Gemma 主要在大量英文文本数据上进行训练的,这些数据主要来源于网络文档、数学和代码。具体来说,Gemma 2B 模型训练了大约 2 万亿(2T)个 token,而 Gemma 7B 模型则训练了大约 6 万亿(6T)个 token。
不过,Gemma 没有接受过处理图像或视频等非文本数据的训练,也没有专门针对多语言任务进行优化。
在谷歌的测试结果中,Gemma 模型在 18 个文本任务中的 11 个上超越了同样规模的开放模型。它们在多个领域,包括问答、常识推理、数学和科学以及编程等领域,展示了先进的理解和推理能力。
谷歌甚至表示,Gemma 模型在 70 亿参数规模的语言模型中表现最佳,甚至超过了一些参数量更大的模型。
△在各类英文数据集上,Gemma 与其他相近体量开源模型对比 来源:谷歌
而最近风头正盛,号称要做 " 欧洲版 OpenAI" 的 MistralAI 是开源领域的新势力,旗下的 Mistral 7B 被誉为是 " 最强 7B 模型 "。
对此,Gemma 说:也没带怕的。在问答、推理、数学、代码场景里,Gemma 的表现同样领先。
谷歌再度领先开源竞赛
在大模型开源这件事上,谷歌可以说是鼻祖。在最初的 Transformer、Bert 等大模型路线,都离不开谷歌的经典论文、开源的多个基座模型等等重要贡献。
但 OpenAI 自从发布 ChatGPT,此后的模型便开始转向闭源,这招致了 AI 界的批评和反对—— OpenAI 这个名字也多了几分讽刺意味。
对此,硅谷技术圈内的开源竞赛号角再度吹响。从 2023 年开始,Meta 开源 Llama、欧洲版 OpenAI Mistral 开源最强 7B 模型,还有马斯克的 Grok,都在加速追赶开源社区追赶闭源模型的脚步。
△一张经典的开源 / 闭源模型性能对比图 来源:ARK Invest
不过,对 AI 大模型的安全规范,学界、工业界依然争论不休,对于是否要让更大尺寸的模型开源,各家厂商都采取不一样的路线和开源程度。
比如,如 OpenAI、谷歌和 Meta 等大公司,都在开源的节奏上更为审慎。2023 年 7 月,Meta 开源 Llama-2 时,就一口气提供了 Llama-2 的三种参数规模版本(70 亿、130 亿和 700 亿)。对此,OpenAI 的首席科学家安德烈 · 卡帕西(Andrej Karpathy)就说,"Llama 2 是任何人都可以拿到的最强大语言模型。"
相对应地,Meta 在开源时也设置了条件,有条件地开源给商业使用,而且超过 7 亿用户量的还要单独申请。
而在 2023 年新成立的 AI 公司 Mistral,由一群从 DeepMind 和 MetaAI 出走的科学家远赴欧洲成立。
他们的路线更为激进,更像是原始版本的 OpenAI:要让 GenAI(生成式 AI)为所有企业所用,完全开源。
△ MistralAI
MistralAI 的进展也不容忽视。就在这个月,Mistral 在和客户沟通的时候泄露了一个中等尺寸的模型版本,各方面性能都已经相当接近 GPT-4,引发开源社区的又一波震动。
开源模型的进展已然不容忽视。本次谷歌 Gemma 的发布,也再度证明谷歌在开源领域的野心和实力。
△来源:X(Twitter)
参考来源:Gemma 官网:ai.google.dev/gemma
扫码加入「智涌 AI 交流群」
欢迎交流
-
- 藏族六字真言是什么意思 观音菩萨六字真言是什么意思
-
2024-02-22 18:57:21
-
- 两污治理指的是哪两污? 两污治理是指什么意思
-
2024-02-22 18:55:06
-
- 快递已妥投是什么意思 什么叫快递妥投
-
2024-02-22 18:52:50
-
- 呵呵哒是什么意思 笑呵呵是什么意思
-
2024-02-22 18:50:34
-
- 端午节的端午是什么意思?怎么来的 端午节是啥意思
-
2024-02-22 18:48:18
-
- 形容男生闷骚是什么意思 形容女人闷骚是什么意思
-
2024-02-22 18:46:03
-
- 汽车esp是什么意思有什么功能 电动汽车esp是什么意思
-
2024-02-22 18:43:47
-
- 女生说打螺丝是什么意思怎么回答 女人说打螺丝是什么意思?
-
2024-02-22 18:41:31
-
- 哺乳动物是什么意思 哺乳动物的眼睛一般都长在头的前部
-
2024-02-22 18:39:15
-
- vc是啥意思 vci在医学是什么意思
-
2024-02-22 18:37:00
-
- 红海危机挡住埃及财路 苏伊士运河今年来收入锐减约一半
-
2024-02-21 21:40:58
-
- 「圣至润合」完成数千万元Pre-A轮融资,金鼎资本投资
-
2024-02-21 21:38:42
-
- 电影《第二十条》热映 最高检回应
-
2024-02-21 21:36:26
-
- 7年前被党内警告的原地级市市长,被开除党籍!
-
2024-02-21 21:34:10
-
- 住建部:推动城市房地产融资协调机制加快落地见效
-
2024-02-21 21:31:54
-
- YouTube前CEO之子在学校宿舍突然身亡,疑与过量服用药物有关
-
2024-02-21 21:29:38
-
- 英国货船遇袭新进展 也门胡塞武装声称船只已完全沉没
-
2024-02-21 21:27:22
-
- 萨默斯:美国经济能否软着陆,是影响大选的关键因素
-
2024-02-21 21:25:06
-
- 女星豪宅被偷空,暴露“美国病”
-
2024-02-21 21:22:51
-
- 伪冒“上海女教师”开直播赚流量,律师分析:已经涉嫌诈骗
-
2024-02-21 21:20:35