ChatGPT以及硅谷AI大战终于升级，长出了“眼睛”和“嘴”。5月中旬，OpenAI和前后发布重磅AI更新，从基于翰墨交互的ChatGPT全面升级，杀青了“声息沙巴百家乐，翰墨和视觉”三者全面攀附的东谈主工智能新友互功能，而这，也记号着硅谷科技巨头的生成式AI之战肃穆投入到第二轮。新一轮竞争，只会愈加浓烈、愈加全面。

全球好，接待来到硅谷101，此次咱们聊聊此次多模态AI之战对科技巨头们的买卖领土意味着什么变化，以及生成式AI智能时间的下一步会发生什么。那咱们最初来快速复盘一下OpenAI和谷歌发布的多模态重磅更新。

01 OpenAI GPT-4o：低延长语音交互，《Her》成为推行

OpenAI此次的发布时长很短，全程就26分钟，发了一款居品GPT-4o。

GPT-4o的“o”是拉丁词根“Omni”，酷爱是“整个的”、“全部的”或“万能”，意味着文本、音频和图像的放荡组调和为输入，并生成文本、音频和图像输出的身手，这样的“全面”多模态身手。

说真话，2024年AI之战会升级到多模态居品，这个预期在2023年也曾是行业共鸣，咱们在之前多期视频皆提到过，只是是翰墨的prompt很难抒发东谈主类的意图，相当低效也相当受限，是以有语音和视觉的加捏的多模态AI交互是东谈主类通往AGI谈路上的必经之路。但当多模态AI交互果真到来的时候，我以为照旧会被震撼到。

OpenAI说，GPT-4o不错在232毫秒内反映音频输入，平均为320毫秒，这也曾达到东谈主与东谈主之间的反映时候。也等于说，AI语音对话的交互也曾能作念到相当低延长、很丝滑的像真东谈主相似对话了。

GPT-4o发布之前，ChatGPT的语音模式功能有着好几秒的延长，这让整个这个词交互体验相当差，这是因为之前的GPT系列的语音功能是好几个模子的拼合，先把声息转录成文本，再用GPT大模子收受后，输出文本，然后再用text to speech模子生成音频，但这其中会耗损相当多的信息，比如说语调，口吻中的样貌情谊，多个语言东谈主的识别，布景的声息等等，是以语音功能会很慢很平缓也很基础。

而此次，GPT-4o是OpenAI专门老成的跨文本、语音和视觉的端到端新模子，整个输入和输出皆由统一个神经采集处理，这使得GPT-4o或者收受文本、音频和图像的放荡组调和为输入，并生成文本、音频和图像的放荡组合输出，是兼具了“听觉”、“视觉”的多模态模子，同期还撑捏半途打断和对话插入，且具备凹凸文缅想身手。

这样的多模态模子是OpenAI初次发布，示意还有好多探索的空间，但咫尺展现出的功能也曾让东谈主惊喜。比如说，在现场demo中，GPT-4o不错集聚东谈主们的呼吸仓猝声息并用削弱的样子安危东谈主类。

它不错识别东谈主脸颜料，以及辨别样貌。

它不错简易变换口吻和作风来讲故事。

同期，GPT-4o还不错通过硬件诞生通过视觉来分析东谈主们正在从事的职责、看的书，不错带领东谈主们解题，不错切换语言及时翻译，也能通过视觉识别给它的信息何况给出相当拟东谈主化的反馈。

说真话，在直播发布会中胜利现场演示这件事情是很需要勇气的，因为一朝出错会激勉相当大的公关厄运，但OpenAI有这个勇气去胜利现场演示直播，给东谈主的嗅觉相当自信。除了现场的演示除外，OpenAI还在官网上放出了更多更复杂场景的交互，展现出AI多模态的更多的后劲。

比如说，在官网上OpenAI作念了17个案例展示，包括了像片转漫画、3D物体合成、海报创作、变装遐想等样本。

此外，OpenAI总裁Greg Brockman的演示视频中，GPT-4o不错识别出他所穿的穿着、身处的环境、不错识别出Brockman的样貌和口吻和房间里正出现的新动作，但最让外界怜惜的一个动作是，让两台运行GPT-4o的诞生进行语音或视频交互。

也等于说，OpenAI的GPT-4o多模态给了AI交互的声息和视觉，不仅升级了东谈主和AI之间的交互，也升级了AI和AI之间的交互，这样的交互更当然，更拟东谈主，有着更大空间的应用场景。而且整个这个词AI的声息和语言相当的灵动，机器东谈主感相比弱，会开打趣会安危东谈主会害羞，难怪好多东谈主在OpenAI发布会之后直呼，那部讲明注解东谈主类和AI语音助手Samantha电影《Her》的期间果真到来了。

戴雨森 真格基金治理合资东谈主 我我方口角常清脆的啊。因为我一直以为咱们对于 AI 落地的应用预期，其实不一定是准确的，全球可能在AI一启动的时候，以为分娩力的场景也很胜利，然则当今可能发现，好多（AI）Agent（东谈主工智能体）的落地反而相比难，然则理性的角度反而会愈加容易少许。 对于绝大部分东谈主来讲，生计其实是单调的，或者是一成不变的，是乏味的。那这个时候其实无论像 《Her》 里面说所谓的这种，男女情谊的抒发，照旧说一种伴随、一种倾听，其实皆是很稀缺的一种资源或内容。当 AI 或者作念到以一个低延长、低老本，很好的格式去抒发这种样貌价值的时候，这可能会对咱们的外交社会带来很大的影响，也会带来很大的这个契机。

跟着AI身手的升迁，图灵测试这个办法会越来越微辞化，电影Her中刻画的场景杀青确凿是夙夜的事。但AI多模态带来的不单是是情谊上的伴随和交互，更多的是整个这个词职责场景和生态上的颠覆。

就在OpenAI发布会的一天之后，谷歌发布的一系列多模态更新，进一步的讲明了AI多模态能带来的颠覆性后劲。

02 谷歌的战书：Project Astra及\"120次AI\"的全生态升级

对比起OpenAI的发布会，谷歌的发布会就更像一个巨头了：长达两小时，在各个生态标的用AI发力。连CEO Sundar Pichai我方也说，整场Keynote的演讲稿里所有提了120次“AI”，标明谷歌咫尺整个的职责皆围绕多模态AI模子Gemini来伸开。

最初，胜利与OpenAI前一天发布的GPT-4o对标的是Project Astra。

2.1 语音助手Project Astra

诚然谷歌不是现场演示，不像OpenAI那么敢，毕竟巨头照旧需要保守一些，但从谷歌的demo视频来看，淌若谷歌的demo是及时生成的，谷歌的Gemini多模态模子比起OpenAI在功能上也不算弱。

谷歌DeepMind负责东谈主Demis Hassabis在台上文牍了Project Astra，Project Astra基于Gemini多模态大模子，是一个及时、多模态的东谈主工智能助手，不错通过硬件诞生“看到”寰宇，知谈东西是什么以及你把它们放在那儿，何况不错回话问题或匡助你作念确凿任何事情。在谷歌的demo视频中，谷歌伦敦奇迹处的别称职责主谈主员用Astra识别我方的地舆位置，找到丢失的眼镜，搜检代码等等。

淌若谷歌demo是及时拍摄的，归正Demis Hassabis是打保票说这个视频莫得任何点窜，那么毫无疑问这会解锁浩荡的交互场景。Hassabis说，“预测改日，东谈主工智能的故事将不再是对于模子自己，而是对于它们能为你作念什么”。

而与OpenAI的GPT4o讲和的Project Astra只是其中的一个居品良友，谷歌其实发布了相当多的更新，包括谷歌展示了最新版Gemini加捏的搜索功能。

2.2 AI搜索

谷歌最初在好意思国上线名为AI Overviews的AI时间生成摘记功能。浮浅来说，在你搜索信息的时候，谷歌的AI就胜利帮你查找、整理和展示了。具体来说，通过多步推理，Gemini不错代替用户讨论，杀青更好更高效的搜索追思和截止，比如说筹商一日三餐，购物餐厅选拔，行程筹商，皆不错在AI搜索中完成，更重要的是，这样的AI搜索还会胜利帮你作念筹商，比如说“帮我创建一个3天的饮食谋略”，谷歌AI搜索就胜利一个谋略书摆在你眼前了。

皇冠hg86a

另外让我以为很期待的两个功能，一个是多模态搜索。你会不会碰到过这种情况，搜索时发现难以用语言刻画问题，或者碰到不熟悉不虞志的物体，不知谈如何去搜索相干的名词。

当今你就不错胜利拍张像片或者录段视频用语音或打字问AI搜索，这个是啥，怎样修理，之后谷歌就会帮你整理出相干的各式信息。

对于我这种3C杀手、频频容易弄坏各式电器的东谈主来说，我确凿太期待这个多模态搜索功能了。而多模态模子Gemini的坚定搜索和推理身手还能作念更多的事情，也适值是我的痛点。

比如说，CEO Pichai在现场演示，Gemini不错在谷歌相册Google Photos里进行更多的相干搜索，比如通过名为Ask Photos with Gemini的新功能让Gemini找到用户想要的车派司号。

真话告诉全球，我等于阿谁记不住我家车招牌的东谈主，是以，谷歌Gemini不错在用户的相册中搜索，找到相应信息和对应的像片，比如说得回像片中拍到的车派司号码，这个功能对我来说，果真口角常期待。以及任何不错帮我寻找以往像片、文 件中信息的功能，我以为皆会治理好多痛点。

还有一个对我来说很大匡助的是，谷歌AI将会攀附到谷歌的整个workspace中，俗称“谷歌全家桶” ，也等于说，在 Gemini 的加捏下，Google Workspace，包括 Gmail、Google Docs、Google Drive、Google Calendar、Google Meet 等皆不错买通，不错在这里进行跨文档搜索。比如说，你在邮箱里收到了一张发票，那么不错胜利通过Gemini，把这张发票，整理到网盘Google Drive和表格Google Sheet中。还不错在邮件中搜索、读取信息和亮点、归纳追思，这些功能皆会在本年稍后推出。

另外谷歌还发布了一系列其他的模子更新，包括绘制的 Imagen 3，音乐的 Music AI Sandbox，还有生成视频的 Veo，还有有史以来最长、凹凸文窗口200万token的Gemini 1.5 Pro，还有Gemini app以及谷歌的自研芯片第6代 TPU等等，因为细节和居品太多了这个视频咱们就不逐个复述了，淌若感兴致的小伙伴不错去望望谷歌的两小时发布会全程。

看到这里，你可能会问，在OpenAI之后发布这一系列重磅更新的谷歌，两个敌手这一轮的发布，谁是赢家呢？

03 OpenAI vs. Google：多模态之战与AI的应用落地

两场发布会之后，我看到不少东谈主在对比OpenAI和谷歌的居品发布。咱们从公司计谋层来解读一下。

最初，OpenAI比谷歌IO早一天发布了春季更新，而且相当临时，很难臆想不是有利抢在谷歌前边的，发布时长也只捏续26分钟，相当聚焦在GPT-4o这一个居品上。诚然外界对GPT-4o的评价莫得说像那时发布ChatGPT时那么惊喜那么触动，但不得不说，业内的好多东谈主照旧以为是一个很重要的里程碑，诚然多模态的这些功能是前年业内共鸣，OpenAI会在2024年作念出来并发布，并莫得那么多惊喜或转变，然则“杀青”了全球“期待中夙夜会杀青的AI更新”，也口角常有道理的，何况亦然正确的发展谈路。

Howie Xu AI及云服务行业高管、斯坦福大学客座教化 OpenAI这个GPT 4模子出来，也或者作念些translation（翻译），翻译什么的并不是一个新东西，淌若莫得及时效应，其实是很难落地，但星期一他阿谁文牍的东西，让我嗅觉到我有可能果真会去用，比如下次我跟你一谈去场所谁或者跟谁讲话，语言欠亨（的时候），咱们果真可能就大开咱们的手机来给来用translation。就以前的，阿谁延长这样慢，后果很不好，你皆不好酷爱拿出来就用对吧？ 那为什么或者作念到延长性这样低，皇冠导航网那被世俗认为的等于因为它是作念到了Native（原生的）Multimodal（多模态模子），我看到阿谁demo，我的第一反应是说OK，以前他说的这些东西我皆是玩玩是不错的，然则我是不会拎出来用的，然则他星期一给我的东西，我就以为有可能我会拿来，就在实质的生计职责的场景里面可能用得到。

淌若光从语音助手这个居品上来看，GPT-4o对打谷歌Project Astra，咫尺业内好多声息仍然认为OpenAI是朝上的。单从多模态模子上来说，GPT-4o是OpenAI第一款完全原生的多模态模子。

咱们视频之前也说到，它整个的多模态输入和输出皆由统一个神经采集处理，这使得GPT-4o或者收受文本、音频和图像的放荡组调和为输入，并生成文本、音频和图像的放荡组合输出，是所谓的“multimodal in（多模态输入）, multimodal out（多模态输出）”。

但咫尺不少业内东谈主士认为，谷歌的Gemini咫尺并莫得作念到这个进度，比如说英伟达高档科学家Jim Fan在LinkedIn上发表不雅点认为，谷歌是多模态算作输入，但并不是多模态算作输出（multimodal in, but not multimodal out）。

这意味着谷歌本次更新的视频、音乐等模子依然是孤苦于Gemini大模子的存在，只是输出的时候把整个模子给整合起来领有的多模态输出身手。是以Jim Fan认为，谷歌整合整个的输入输出模态，将是不行幸免的改日发展。

“在电动车的规范化过程中，充电问题是最为核心的问题。”北京社科院研究员王鹏对北京商报记者表示，“在家里、走廊充电的事件时有发生，容易造成火灾，影响人身安全、带来经济损失。”有统计数据显示，约80%的电动自行车火灾发生在充电过程中。

日播时尚日前披露多份公告，宣布重组及易主计划。公告显示，公司实控人王卫东、控股股东日播控股拟将所持公司7100万股股份转让给梁丰、上海阔元，共计作价7.73亿元。同时，日播时尚实施重组，以资产置换及发行股份的方式收购梁丰实控的上海锦源晟新能源材料有限公司(下称“锦源晟”)100%股权。

但他还有一句批驳挺专诚念念的，Jim Fan说，谷歌在此次发布会中作念对的一件事是：“他们终于施展辛苦将AI集成到搜索框中。谷歌最坚固的护城河是分销，Gemini不一定要成为最佳的模子，才能成为寰宇上被使用最多的模子。”

也等于说，谷歌在整个这个词生态中只消顺畅的融入AI功能，让用户以为能治理问题，提高生计和职责效能，因为谷歌在搜索、邮箱、谷歌云上的各类积蓄和上风，谷歌的分销上风依然能保证谷歌在AI期间中立于所向无敌。

是以，按照这个逻辑来看，谷歌在此次发布会上在全生态上全面升级AI功能，其实是作念到了。是以，就算OpenAI前一天抢跑发布亮点的GPT4o，谷歌全体来看，这一局也不算输，第二天的股价稳中飞腾也应证了市集的看法。

戴雨森 真格基金治理合资东谈主 OpenAI发布会之后，Google 发布会之前，我跟一位Google的同学聊，然后他提到一个不雅点还挺专诚念念。他说一年以前OpenAI发GPT4的时候，他们有好多东西，他们是不知谈OpenAI怎样作念到的，以为哇他们好强横，当今OpenAI发布会发了之后，他们看到是说，这个东西咱们也知谈怎样作念，但咱们可能还莫得像他那样作念得那么好，或者那么ready（准备好）去demo，是以我以为咫尺来看的话，他们笃定在这上头是有一些这个教诲，是以我嗅觉等于两边的统统差距照旧在镌汰的。Howie Xu AI及云服务行业高管、斯坦福大学客座教化 相对来讲，Google留意的是一个solution（治理决议），等于治理决议，阿谁OpenAI咫尺留意的，更多的照旧一个technology（时间），它在technology（时间）上头相当的惊艳，但你说他怎样去跟咱们东谈主的通俗，无论是生计、职责去攀附起来，他莫得那么多的东谈主力，他也没这样多念念考，而且这不是他的坚忍。 Google IO的阿谁发布，看上去可能从某些角度来讲，好像还莫得阿谁前一天，OpenAI的东西那么惊艳，但实质上我以为很惊艳，我以为惊艳不单是说是一个model（模子）的惊艳，model只是一个维度，还有其他维度，怎样跟我的生计、职责或者攀附起来，比如说跟我的手机攀附起来，它一些的announcement（发布）是这个时间，是以说AI这件时间，我以为今天落地是一个很大的一个挑战，或者说一件事情。

是以不错预期到，接下来，多模态的络续整合和优化，以及将AI功能整合到谷歌的各个居品中，以及AI agent（东谈主工智能体）的引入，将会是谷歌发力的要点。除此除外，这两场发布会听下来还让我相当感兴致的少许是，硬件。

OpenAI整个这个词demo用的是苹果手机和苹果电脑，谷歌用的是安卓手机和硬件，同期还在视频demo中提到了一个谷歌里面访佛谷歌眼镜相似的prototype原型设配，是以接下来，硬件和AI大模子的整合，也到了加入战场的时刻。而这个赛谈的大哥，苹果，在干什么呢？

04 转移端AI大战开启，苹果行将入局？

诚然苹果公司在这轮硅谷科技巨头AI大战中迟迟莫得发声，但最近有不少的公论风向稍许给咱们勾画出了苹果潜在的想法和布局。

咫尺市集皆在恭候6月10日举行的苹果2024年全球拓荒者大会WWDC，计算会在届时会文牍一系列在AI和硬件上的居品发布。

包括可能会和OpenAI调和，将ChatGPT整合到 iOS 18 操作系统，此外，外界期待苹果会文牍哄骗大模子全面升级Siri，给用户提供AI赋能的交互体验，还有苹果如何将大模子塞进手机转移端的“苹果全家桶”，亦然随即召开的苹果发布会的最大看点。

本年早前，苹果发布了一系列的论文，包括第一个手机端UI多模态大模子Ferret-UI。

还有本年一月发布的一篇将大模子塞进 iPhone 的要害性论文，“使用有限的内存杀青更快的LLM推理”。

还有这篇，苹果Siri团队在论文《哄骗大型语言模子进行诞生指向性语音检测的多模态依次》中筹商了去掉叫醒词的依次。

同期， 在本年3月发布的另外一篇论文中，苹果初次露馅一个具有高达 300 亿参数的多模态模子MM1，这个多模态身手淌若集成到iPhone 上，就能或者通过视觉、语音和文本等多种样子集聚并反映用户的需求。

是以要而论之，诚然近两年来，苹果常常为东谈主诟病在 AI 界限动作平缓，然则嗅觉，苹果是在等一个正确的时机来加入战局，它并莫得过期，而是一直在恭候。如今，多模态时间老成，特地是翰墨输入、语音和视觉的交互和手机等硬件是自然的适配，OpenAI和谷歌的AI多模态之战打响之际，亦然苹果入局的时候了。

戴雨森 真格基金治理合资东谈主 淌若你看互联网和转移互联网期间，其实它们在软件的渗入上，皆要调换一个硬件的渗入，全球要买PC、手机，是以导致，之前软件的渗入速率，其实是相对相比慢的，那为什么ChatGPT一出来就渗入到了这样多的用户，实质上是因为它跑在一个，相比老成的硬件上。是以我以为在咫尺来讲，AI落地笃定首选照旧在手机上，我笃定是期待像AI的这些模子，怎样样在苹果的生态系统中去落地，其实说全新形态的硬件，我我方以为可能性相比低，然则在这个上头有了，包括最近刚发M4 对吧，全球说iPad这个上头有这样强的这个芯片，你淌若照旧作念本来的任务，是不是就破坏了，你是不是用来干一些AI的任务呢

而对于智高东谈主机、智高东谈主表、乃至于以后的VR和AR眼镜诞生，更小的端模子将是业界留意发力的要点。在本年4月，苹果文牍在全球最大AI开源社区 Hugging Face 发布了全新的开源大型语言OpenELM系列模子，包括4个不同参数界限的模子：270 Million（百万）、450 Million（百万）、1.1 Billion（十亿）和3 Billion（十亿），没错，最大的也只消30亿个参数，对转移端小模子的布局有着长远的意图。而Howie Xu在场所中认为，端模子是东谈主类应用AI发展的势必趋势。

Howie Xu AI及云服务行业高管、斯坦福大学客座教化 个东谈主相当看好端模子，因为昔时一年咱们多半的元气心灵、筹商皆是在越大越好，然则万亿级的parameter（参数），不相宜放在手机上头，那另外一个问题等于说，阿谁不是万亿级的，千亿级的，或者百亿级的参数，是不是或者把模子作念到填塞好。 当今咱们看到的好多的小的模子可能是700亿参数的，一年之内咱们或者看到等于，十亿这样一个参数的一个模子，或者作念到当初ChatGPT出来时候，让全球惊艳的阿谁嗅觉，特地于（GPT）3.5的阿谁model（模子）的身手，我以为是一个billion（十亿）的parameter（参数）是应该或者作念到。 淌若或者这个端上头或者运行一个十亿参数级别的模子，或者作念到（GPT）3.5的（的身手），那就大开了好多的假想空间，然后接下去会有更小的模子，因为模子总归是越小，对耗电、对各方面的皆有很大刚正，我以为以至是sub 1 billion（小于10亿参数）的会更好，从privacy（隐讳）的角度，从耗电的角度，从各方面角度，我以为小模子是必须的。

著作的终末，咱们来追思一下OpenAI和谷歌的这两场发布会，AI多模态之战打响之后，在更多更广的应用上，咱们看到了AI杀手级应用的朝阳，有了更落地更切实的可用性，这将重塑东谈主类和AI以及电子诞生的交互样子。

此外，诚然OpenAI和谷歌名义上刀光剑影，但两家公司的计谋宗旨是有些隔离的：前者一齐勇上前宗旨scaling law（界限规定）和AGI，后者更留意自家生态和应用落地来捍卫买卖营收与市集分销护城河——可能模子是不是最佳的，并莫得那么重要。是以咫尺的多模态初战，OpenAI诚然赢了，但谷歌也没输。

而在硬件端，万般硬件与AI的攀附将带来高大的新契机，而大模子“瘦身”进手机只是启动，打造应用体验才是要害所在。

此外，让东谈主惊喜的是谷歌demo终末展示的AR眼镜与AI的攀附，这给“AR智能眼镜”这个起改革伏了好几个周期的居品，带来了新的朝阳和但愿，除了谷歌多年的AR教诲，Meta在AR硬件上的布局，与苹果在Vision Pro以及自家AR团队的改日计谋，皆可能成为下一场科技硬件巨头们比拼的新战场。

对了，不要健忘微软这家与OpenAI深度绑定的巨头，它并莫得将全部鸡蛋皆放在OpenAI的篮子中。微软咫尺在AI布局上的上风，加上在软硬件上皆有多年教诲和布局，最近还收编了之前主打情谊伴随大模子公司Inflection的大部分AI顶级东谈主才、发布了我方的大模子MAI-1。

是以咱们很振奋得能嗅觉到，生成式AI的第二轮多模态战役打响了，越来越多的科技巨头入局，何况战术和标的也越发明晰，也带来的是AI应用的潜在落地与爆发。这场战争，硅谷101在最前哨，咱们拭目以俟。