最近AI領(lǐng)域備受矚目的新聞中，OpenAI和谷歌的新品發(fā)布會(huì)，無(wú)疑占據(jù)了最多的頭條。

我們團(tuán)隊(duì)當(dāng)然也不例外，不僅第一時(shí)間觀看了兩家公司的發(fā)布會(huì)，還親身上手體驗(yàn)了號(hào)稱“顛覆世界”“世界又科幻了”的GPT-4o。

一句話總結(jié)：OpenAI發(fā)布會(huì)，失望；谷歌發(fā)布會(huì)，無(wú)聊。

并不是我們要故作驚人之語(yǔ)。實(shí)際上，AI業(yè)內(nèi)專業(yè)人士普遍都有類似的看法。

一些國(guó)內(nèi)從事AI工程化項(xiàng)目的人表示，“不關(guān)心，因?yàn)橛钟貌坏?rdquo;。而AI科學(xué)家和專家也有不少人直言，“看著看著睡著了，谷歌幾乎所有的東西都是對(duì)標(biāo)和追趕，沒(méi)有太多的新鮮感”。

又又又一次在與OpenAI的較量中處于下風(fēng)，一個(gè)只有谷歌受傷的世界達(dá)成了。

盡管兩大AI巨頭的新技術(shù)方向，仍然值得關(guān)注，但可以明確的是，隨著大型AI模型的產(chǎn)業(yè)化進(jìn)程不斷深入，國(guó)內(nèi)外參與者也越來(lái)越冷靜，更加專注于自身的AI策略與節(jié)奏。

有人將這兩場(chǎng)發(fā)布會(huì)比作是一場(chǎng)斗地主游戲，OpenAI打出一對(duì)二，谷歌就跟四個(gè)王。那么，這一次較量的核心——多模態(tài)大模型，國(guó)內(nèi)AI行業(yè)是否要跟進(jìn)呢？如果要跟進(jìn)，又該提前考量到哪些問(wèn)題呢？

每一次新產(chǎn)品問(wèn)世，如果只跟著新聞“震驚”是很難進(jìn)步的。不妨和我們一起，認(rèn)真給GPT-4o算筆賬。

全能模型究竟“驚艷”在哪里？

谷歌反擊OpenAI的發(fā)布會(huì)，被稱為“腹瀉式更新”，一口氣推出了十來(lái)款新品及升級(jí)。之所以讓人看到睡著，是因?yàn)榇蠹乙呀?jīng)在前一天被GPT-4o“驚艷”過(guò)了。

而這次谷歌開(kāi)發(fā)者大會(huì)上所演示的其他產(chǎn)品，OpenAI早都發(fā)布過(guò)。對(duì)標(biāo)GPT-4o的Gemini Astra，表現(xiàn)又略遜一籌，也難怪大家興趣缺缺。顯然，這是一次針對(duì)谷歌的精準(zhǔn)狙擊。此前，谷歌已經(jīng)對(duì)外放出了語(yǔ)音助手demo演示的預(yù)熱視頻，而GPT-4o最讓人驚艷的地方就是“天花板級(jí)別”的人機(jī)自然語(yǔ)音交互。

那么，OpenAI機(jī)關(guān)算盡、谷歌有備而來(lái)的多模態(tài)大模型，究竟有什么神奇之處？

GPT-4o中的“o”代表“omni”，意為“全能”，以此為版本號(hào)，凸顯了GPT-4o的多功能特性，可以從三個(gè)方面理解：

1.多模態(tài)。

GPT-4o接受文本、音頻和圖像的任意組合作為輸入，實(shí)時(shí)對(duì)音頻、視覺(jué)和文本進(jìn)行推理，生成相應(yīng)的輸出。相比ChatGPT的文生文、文生圖，Sora的文生視頻等，GPT-4o是一個(gè)原生多模態(tài)的融合體。這一點(diǎn)，谷歌的Gemini Astra也能實(shí)現(xiàn)，支持多模態(tài)的推理。在演示視頻中，谷歌的智能助手可以理解手機(jī)攝像頭拍攝的世界（視頻、圖像），并用文字詳細(xì)地講述出來(lái)。

當(dāng)然，多模態(tài)大模型并不是什么新鮮事物。不只這倆AI巨頭，國(guó)內(nèi)在多模態(tài)大模型領(lǐng)域也有一些研究和開(kāi)發(fā)。此前就有浙大校友開(kāi)源了多模態(tài)大模型LLaVA，對(duì)標(biāo)OpenAI的GPT-4V。既然多模態(tài)大模型并不稀奇，那GPT-4o憑啥“驚艷”？答案就在第二點(diǎn)。

2.低時(shí)延。

GPT-4o是一個(gè)端到端、全鏈路貫穿的多模態(tài)大模型。

此前，語(yǔ)音產(chǎn)品一般由三個(gè)獨(dú)立模型組成：SLM1將音頻轉(zhuǎn)錄為文本——LLM將文本輸出為文本——SLM2將生成文本轉(zhuǎn)換為音頻。每一步的網(wǎng)絡(luò)延遲疊加起來(lái)，結(jié)果就是AI推理速度跟不上人嘴巴說(shuō)話的速度。大家可能都有過(guò)類似的經(jīng)歷，自己都說(shuō)完了，AI大模型還沒(méi)識(shí)別完全，互動(dòng)總被打斷，有時(shí)還會(huì)丟失很多信息，連基本的文字都聽(tīng)不清，更別說(shuō)從笑聲、停頓、嘆氣等因素中分析出人的情緒了，人當(dāng)然也就沒(méi)有了說(shuō)下去的興致。

而GPT-4o的端到端，就是省去了中間的處理步驟，由同一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)接受并處理來(lái)自不同模態(tài)（如文本、視覺(jué)和音頻）的輸入數(shù)據(jù)，并直接輸出結(jié)果。這樣就可以將語(yǔ)音交互的響應(yīng)時(shí)延，控制在232 毫秒以內(nèi)，體感上比人類回應(yīng)還要迅速。

OpenAI演示完GPT-4o，大家紛紛表示，科幻電影中《Her》跟機(jī)器談情說(shuō)愛(ài)的未來(lái)就要實(shí)現(xiàn)了。不過(guò)，谷歌并不這樣想。

（截圖自?shī)W特曼的社交媒體）

在晚一天的谷歌發(fā)布會(huì)上，谷歌Gemini 1.5 Flash的響應(yīng)其實(shí)也很快速，同樣能幾乎沒(méi)有延遲地跟人類流暢互動(dòng)，但還是比GPT-4o要長(zhǎng)一些。不過(guò)谷歌聲稱，自己的兩段演示視頻均為“單次拍攝、實(shí)時(shí)錄制完成”。

我們猜測(cè)，這是在暗示OpenAI又在“貸款領(lǐng)先”了，GPT-4o實(shí)際可能無(wú)法很快真的落地，畢竟OpenAI搞誤導(dǎo)性營(yíng)銷(xiāo)是有前科的，Sora就曾爆出，拿藝術(shù)家編輯過(guò)的視頻當(dāng)原視頻宣傳，演示效果并非完全由AI生成。

展示效果是真是假，有待時(shí)間驗(yàn)證，不過(guò)OpenAI和谷歌在端到端方面的工作，證明了人機(jī)語(yǔ)音交互的超低時(shí)延是可以實(shí)現(xiàn)的，達(dá)到媲美人類交流的水平。而這，就為語(yǔ)音交互的多場(chǎng)景應(yīng)用，打下了新的技術(shù)根基。

3.多場(chǎng)景。

大家應(yīng)該都還記得，ChatGPT問(wèn)世時(shí)舉世震驚的效果。大語(yǔ)言模型的強(qiáng)大理解能力和泛化性，可以促成NLP在多種文本任務(wù)上帶來(lái)顛覆式的影響，而這類任務(wù)幾乎遍布在各行各業(yè)。

再看GPT-4o，多模態(tài)大模型在音視頻理解方面尤其出色，也是一個(gè)非常泛在的通用型技術(shù)。而毫不夸張地說(shuō)，GPT-4o將語(yǔ)音交互體驗(yàn)做到了“天花板級(jí)別”，這幾乎可以給語(yǔ)音場(chǎng)景都帶來(lái)改變。

比如OpenAI所展示的輔導(dǎo)孩子數(shù)學(xué)題，可以替代家長(zhǎng)輔導(dǎo)作業(yè)，讓家家都過(guò)上和諧的日子；《Her》電影中跟智能語(yǔ)音機(jī)器人談戀愛(ài)的場(chǎng)景，可以讓人人都擁有自己的網(wǎng)絡(luò)戀愛(ài)/在線情感撫慰師。延展開(kāi)來(lái)，此前曾被嘲笑“人工智障”的手機(jī)語(yǔ)音助手，銀行、電信等行業(yè)的客服機(jī)器人，缺乏充足師資力量的偏遠(yuǎn)學(xué)校，游戲里跟玩家互動(dòng)的NPC紙片人，以及能識(shí)別用戶情緒的精準(zhǔn)營(yíng)銷(xiāo)……

凡有人聲處，皆可詠AI，正隨著端到端多模態(tài)大模型的進(jìn)化與落地，讓更自然、更逼真、富有感情的人機(jī)交互成為可能。

從這個(gè)角度說(shuō)，GPT-4o所代表的技術(shù)前瞻性，確實(shí)配得上“全能o”這個(gè)詞。既然如此，為什么說(shuō)只有谷歌一家受傷了呢？