行業(yè)主要上市公司：阿里巴巴(09988.HK，BABA.US);百度(09888.HK，BIDU.US);騰訊(00700.HK， TCEHY);科大訊飛(002230.SZ);萬興科技(300624.SZ);三六零(601360.SH);昆侖萬維(300418.SZ);云從科技(688327.SH);拓爾思(300229.SZ)等

多模態(tài)大模型類型及綜合對比

視覺+語言的多模態(tài)大模型目前主流方法是：借助預訓練好的大語言模型和圖像編碼器，用一個圖文特征對齊模塊來連接，從而讓語言模型理解圖像特征并進行更深層的問答推理。這樣可以利用已有的大量單模態(tài)訓練數據訓練得到的單模態(tài)模型，減少對于高質量圖文對數據的依賴，并通過特征對齊、指令微調等方式打通兩個模態(tài)的表征。

多模態(tài)大模型類型-CLIP

CLIP是OpenAI提出的連接圖像和文本特征表示的對比學習方法。CLIP是利用文本信息訓練一個可以實現zero-shot的視覺模型。利用預訓練好的網絡去做分類。具體來說，給網絡一堆分類標簽，比如cat，dog，bird，利用文本編碼器得到向量表示。然后分別計算這些標簽與圖片的余弦相似度;最終相似度最高的標簽即是預測的分類結果。論文提到，相比于單純地給定分類標簽，給定一個句子的分類效果更好。比如一種句子模板A photo of a.，后面填入分類標簽。這種句子模板叫做 prompt(提示)。句子模板的選擇很有講究，還專門討論了prompt engineering，測試了好多種類的句子模板。提示信息有多種，下圖可以看到它用不同的類別替換一句話中不同的詞，形成不同的標簽。

多模態(tài)大模型類型-Flamingo

Flamingo是一門多模態(tài)大型語言模型 (LLM)于 2022年推出。視覺和語言組件的工作原理如下：視覺編碼器將圖像或視頻轉換為嵌入(數字列表)。與CLIP不同，Flamingo可以生成文本響應。從簡化的角度來看，Flamingo是 CLIP +語言模型，并添加了技術，使語言模型能夠根據視覺和文本輸入生成文本標記。Flamingo的4個數據集：2個(圖像、文本)對數據集、1個(視頻、文本)對數據集和1個交錯的圖像和文本數據集。

多模態(tài)大模型類型- BLIP

BLIP(Bootstrapping Language-lmage Pretraining)是由Salesforce在2022年提出的多模態(tài)預訓練模型，它旨在統(tǒng)一視覺語言任務的理解與生成能力，并通過對噪聲數據的處理來提高模型性能口。BLIP的創(chuàng)新主要有兩個方面：與CLIP相比，BLIP不僅處理圖像和文本的對齊問題，還旨在解決包括圖像生成、視覺問答和圖像描述等更復雜的任務。BLIP采用了“引導學習”的方式，通過自監(jiān)督的方式來增強模型對語言和視覺信息的理解。這些特點使其在處理圖像和文本數據方面展現了卓越的性能，成為眾多領域解決復雜問題的強大工具。

多模態(tài)大模型類型-LLaMA

使用視覺編碼器CLIP ViT-L/14+語言解碼器LLaMA構成多模態(tài)大模型，然后使用生成的數據進行指令微調。輸入圖片X經過與訓練好的視覺編碼器的到圖片特征Z，圖片特征Z經過一個映射矩陣W轉化為視覺Token H，這樣Vison Token Hv與Language Token Hq指令就都在同一個特征空間，拼接后一起輸入大模型。這里的映射層W也可以替換為更復雜的網絡來提升性能，比如Flamingo中用的gated cross-attentio，BLIP-2中用的Q-former。

更多本行業(yè)研究分析詳見前瞻產業(yè)研究院《全球及中國多模態(tài)大模型行業(yè)發(fā)展前景與投資戰(zhàn)略規(guī)劃分析報告》

同時前瞻產業(yè)研究院還提供產業(yè)新賽道研究、投資可行性研究、產業(yè)規(guī)劃、園區(qū)規(guī)劃、產業(yè)招商、產業(yè)圖譜、產業(yè)大數據、智慧招商系統(tǒng)、行業(yè)地位證明、IPO咨詢/募投可研、專精特新小巨人申報、十五五規(guī)劃等解決方案。如需轉載引用本篇文章內容，請注明資料來源（前瞻產業(yè)研究院）。

更多深度行業(yè)分析盡在【前瞻經濟學人APP】，還可以與500+經濟學家/資深行業(yè)研究員交流互動。更多企業(yè)數據、企業(yè)資訊、企業(yè)發(fā)展情況盡在【企查貓APP】，性價比最高功能最全的企業(yè)查詢平臺。