一夜之间,人工智能(AI)大模型格局再次发生巨变。
钛媒体App获悉,北京时间7月19日凌晨,市值近8000亿美元的科技巨头Meta(原Facebook,NASDAQ: META)发布最新AI 大语言模型Llama 2系列,包含70亿、130亿和700亿三种参数版本,模型信息和起始代码全部开源,并支持免费可商用,还包含针对会话聊天场景微调的Llama 2-CHAT模型版本。
相较于今年2月发布的Llama 1,最新Llama 2训练所用的token翻了一倍至2万亿。Meta表示,在包括推理、编码、精通性和知识测试等多个外部基准评分测评中,Llama 2表现优于所有开源的Chat模型。
同时,Meta今晨还宣布与微软、高通公司展开合作,Llama 2将部署在微软云服务Azure上,同时Llama 2将能在高通芯片上运行,打破市场上英伟达、AMD处理器对 AI 算力市场的垄断。
“微软是我们Llama 2的首选合作伙伴,并扩大我们在生成式人工智能(AIGC)方面的努力。”Meta认为,开放的方法对于当今 AI 模型开发是正确的,特别是那些在技术快速发展的大模型。公司还在论文中称,根据Meta对有用性和安全性的人工评估,Llama 2可能是封闭模型的合适替代产品。
微软CEO纳德拉(Satya Nadella)和Meta CEO扎克伯格(来源:扎克伯格ins)
2018年图灵奖得主、Meta首席 AI 科学家杨立昆(Yann LeCun)则发布推文直言,“这将会改变大型语言模型(LLM)市场的格局。”
Meta挑战OpenAI:Chat性能更强、更安全,整体接近GPT-3.5
十多年来,Meta不仅玩“元宇宙”,而且一直有一个 AI 技术研究的布局,尤其它的instagram、Facebook等社交产品急需算法带来广告支持。
今年2月,Meta发布了AI大模型Llama 1。公司称,研究人员对Llama 1的巨大需求震惊了,有超过10万条访问请求,而且更多开发者通过在Llama上面构建模型应用,并取得的惊人成就。不过,Llama因为开源协议问题,一直不可免费商用。
时隔五个月后,当地时间7月18日,Meta发布开源大模型Llama 2,不仅可免费商用,而且公布了一份论文式技术报告,全面展示了Llama 2的技术能力和评测信息。
(注:论文地址:https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/ ;项目地址:https://github.com/facebookresearch/llama)
据悉,Llama 2是Llama 1的更新版本。相比于Llama 1,Llama 2 的预训练模型是在2万亿token(文本数据单位)上训练的,比Llama 1数据大小多了40%(增加1.4倍),上下文长度也翻倍,并采用了分组查询注意力(GQA)机制,而精调Chat模型是在 100 万人类标记数据上训练的。
在技术上,新的Llama 2使用了优化的自回归Transformer框架,当然也支持PyTorch,执行了更稳健的数据清理,更新了混合数据。
目前,Llama 2的系列模型有 7B、13B 和 70B 三种。而且Meta AI表示他们还在训练34B的版本,但暂时不会对外发布。而Meta的精调版大模型LLAMA 2-chat,是基于LLAMA 2针对对话场景微调的版本,同样支持7B、13B 和70B参数三个版本,使用RLHF、监督微调 (SFT)等技术对模型进行迭代优化。
根据Meta展示的多个评测信息,截至目前,Llama 2 70B的性能表现更加接近 GPT-3.5,与谷歌 PaLM (540B) 持平或表现更好,但Meta也承认Llama 2距离 GPT-4 和谷歌PaLM-2-L等领先非开源模型的性能仍存在较大差距。
Alpaca 研究团队的斯坦福基础模型研究中心主任 Percy Liang表示,“但对于很多场景,你并不需要GPT-4。”
此外,论文还提及了Llama 2在安全性上的努力。其中Meta 在安全微调中使用了监督安全微调、安全RLHF、安全上下文蒸馏等技术,而且使用三个常用基准评估了Llama 2的安全性,整体良好,比其他大型语言模型更加稳定、更佳安全。
微软“脚踩两只船”:不仅联姻Meta,而且对GPT版office涨价
引领这一轮AI浪潮的微软,在今天全球合作伙伴大会(Inspire 2023)上终于亮出新战略。
当地时间7月18日,Meta和微软联合宣布,自今天开始,Meta公司的Llama 2将在微软的Azure和Windows平台上线。
微软CEO纳德拉表示,Llama 2可以让Microsoft Azure的开发人员能够使用它进行构建,并利用他们的云原生工具进行内容过滤和安全功能。它还经过优化,可以在Windows上本地运行,为开发人员提供无缝的工作流程。
Meta公司表示,Llama 2将在微软的Azure云上线,后续将在亚马逊AWS和Hugging Face等其他平台上分发,向全球开发者首发基于Llama 2模型的云服务。
微软CEO纳德拉(Satya Nadella)
所以,目前在微软的开发平台上拥有两个大模型选项:不仅拥有OpenAI的GPT系列大模型,而且还有Meta的Llama 2大模型。
同时,微软周二还宣布,面向Office 365 E3、E5、商业标准版和商业进阶版的订阅商户,微软Microsoft 365 Copilot将统一定价为每个用户每月30美元。根据官网定价,这些面向企业用户的订阅服务,收费标准从每个用户12.5美元至38美元/月不等,这意味着微软把商业用户Office服务的定价提升了1-3倍。
微软企业副总裁兼消费领域首席营销官Yusuf Mehdi表示,在过去几个月里,全球已经有600家公司已经参与了该产品的抢先体验计划,其中就有毕马威、阿联酋国家发展银行等知名机构。他强调,使用Copilot的客户越多,他们对Copilot的热情就越高。很快,没人会愿意在没有它的情况下工作了。
这足以显现微软与OpenAI实现Office AI产品,对于市场的定价权和吸引力。
微软曾透露,截至2023年第一季度,全球总共有3.82亿人正在使用商业版本的Microsoft(Office)365软件。
不过,微软今天并没有公布该产品正式上线的日期。除微软,谷歌也曾在今年早些时候宣布将把AI功能集成到云办公套件Google Workspace里。包括Zoom等细分行业的互联网软件服务商也在抓紧上架AI功能。
值得注意的是,芯片巨头高通今晨联合宣布,计划从2024年起,在旗舰智能手机和PC上支持基于Meta Llama 2的AI部署,赋能开发者使用骁龙平台的AI能力,推出全新生成式AI应用。
微软股价日线图(来源:TradingView)
受新消息影响,截至美股周二,微软股价收涨3.98%,创出历史新高。2023年至今,微软累计涨幅达50.05%。
(本文首发钛媒体App,作者|林志佳)