亚洲www 1区二区,日韩伦理短片在线观看,亚洲人妻最新在线视频,人妻无码熟妇乱视频,免费午夜在线视频,国产一二不卡2021,精品人妻伦九区久久69,国产 另类 在线,亚洲一级 在线观看

來源：智東西

(資料圖)

智東西4月6日消息，根據(jù)Meta官方博客，Meta在本周三推出了一個(gè)AI模型Segment Anything Model（SAM，分割一切模型），能夠根據(jù)文本指令等方式實(shí)現(xiàn)圖像分割，而且萬物皆可識別和一鍵摳圖。

Meta在博客中稱，SAM的靈活性在圖像分割領(lǐng)域內(nèi)屬首創(chuàng)，SAM以交互式方式標(biāo)注一個(gè)掩碼（mask）僅需約14秒。英偉達(dá)AI研究科學(xué)家Jim Fan稱，該模型的發(fā)布是計(jì)算機(jī)視覺領(lǐng)域的“GPT-3時(shí)刻”，因?yàn)樵撃Ｐ湍軐奈从?xùn)練過的圖片進(jìn)行精準(zhǔn)分割。在推出SAM的同時(shí)，Meta還發(fā)布了一個(gè)圖像注釋數(shù)據(jù)集Segment Anything 1-Billion mask（SA-1B），該數(shù)據(jù)集包含超11億個(gè)掩碼，據(jù)稱是同類數(shù)據(jù)集中最大的。

目前，Meta內(nèi)部已經(jīng)在使用SAM技術(shù)來進(jìn)行標(biāo)記照片、審核內(nèi)容以及向Facebook和Instagram用戶推薦內(nèi)容等，同時(shí)更多在VR/AR、智慧農(nóng)業(yè)等領(lǐng)域的顛覆性應(yīng)用暢想也在官網(wǎng)展示了出來。

Meta研發(fā)團(tuán)隊(duì)在官網(wǎng)上發(fā)布了關(guān)于Segment Anything的論文細(xì)節(jié)。

論文鏈接：https://ai.facebook.com/research/publications/segment-anything/

SAM可以識別圖像和視頻中的任何物體，即使是在此前的訓(xùn)練過程中從未遇到過的。Meta官網(wǎng)中提供了SAM的免費(fèi)演示，并為用戶提供了三種分割圖像部分的方法：

一是“懸停和點(diǎn)擊（Hover&Click）”，當(dāng)用戶把鼠標(biāo)放在想要分割出的部分上并點(diǎn)擊時(shí)，SAM會(huì)自動(dòng)提取出該部分。

二是“方框（Boxing）”，用戶將自己想要的部分框定出來，SAM會(huì)識別其中的物體并將其與背景進(jìn)行分割。

三是“全選（Everything）”，在這種模式下SAM會(huì)自動(dòng)識別圖像內(nèi)的所有物體。

雖然還沒有發(fā)布產(chǎn)品，但Meta已展示了SAM的部分功能，目前官網(wǎng)介紹的功能包括：用交互點(diǎn)式和手動(dòng)框定來選擇物體；

SAM自動(dòng)分割圖像中的所有內(nèi)容；

自動(dòng)給不明確的提示生成多個(gè)valid mask（有效掩碼），讓用戶能精準(zhǔn)選中圖像；

此外，SAM還可與其它系統(tǒng)靈活集成，從其它系統(tǒng)中獲取輸入提示，比如，從AR/VR頭顯中獲取用戶的視線范圍來選擇對象，甚至還能將看到的物體轉(zhuǎn)換成為3D對象。

SAM還能啟用文本框輸入來檢測界定對象，當(dāng)用戶在文本框中輸入“cat（貓）”這個(gè)單詞時(shí)，SAM會(huì)框定住圖像中所有的貓，并在框中精確選取貓的整個(gè)圖像輪廓。

SAM的有效輸出掩碼（valid mask）還可以用作其他AI系統(tǒng)的輸入，如當(dāng)用戶選中一張椅子的圖片后，SAM可以精確選中，并在視頻中跟蹤物體遮罩，自動(dòng)啟用圖像編輯應(yīng)用程序，把靜態(tài)物體轉(zhuǎn)化為3D或是碎片拼貼等狀態(tài)。

在自然語言處理和計(jì)算機(jī)視覺領(lǐng)域，基礎(chǔ)模型是其發(fā)展的重要基礎(chǔ)，基礎(chǔ)模型可以使用“prompting（促進(jìn)）”技術(shù)對新數(shù)據(jù)集和任務(wù)執(zhí)行零樣本和少樣本學(xué)習(xí)。Meta從中汲取了靈感，并對SAM模型進(jìn)行訓(xùn)練。

在Meta發(fā)布一篇論文中，研發(fā)團(tuán)隊(duì)人員詳細(xì)介紹了SAM的相關(guān)細(xì)節(jié)。

常見的圖像分割方式包括兩種，一是交互式分割，二是自動(dòng)分割。前者需要工程師通過迭代完善一個(gè)遮罩來指導(dǎo)模型，后者是模型在經(jīng)過數(shù)百或數(shù)千個(gè)注釋對象的訓(xùn)練后自行完成，但同樣需要訓(xùn)練者手動(dòng)標(biāo)注分割對象。

這兩種方法都無法實(shí)現(xiàn)全自動(dòng)的圖像分割，而SAM將二者的功能進(jìn)行融合。在模型的提示界面上，用戶只需要為模型提供正確的提示，比如點(diǎn)擊、框選或是文本指令，模型就可以完成全自動(dòng)的圖像分割任務(wù)。這就意味著，用戶不再需要收集自己的細(xì)分?jǐn)?shù)據(jù)來微調(diào)模型。

在引擎蓋下，輕量級編碼器將任何提示實(shí)時(shí)轉(zhuǎn)換為嵌入向量（embedding vector），然后將信息源組合在一個(gè)預(yù)測分割掩碼的輕量級解碼器中。在計(jì)算圖像嵌入后，SAM 50毫秒內(nèi)就能根據(jù)網(wǎng)絡(luò)瀏覽器中的任何提示生成一個(gè)切割好的圖像。

論文中稱，SAM能根據(jù)輸入提示為圖像中所有對象生成高質(zhì)量的對象掩碼（mask），用于訓(xùn)練SAM的SA-1B圖像數(shù)據(jù)集目前包含超過11億個(gè)掩碼，這些掩碼是從1100萬張已經(jīng)獲得許可、并且保護(hù)隱私的高分辨率圖像中收集的，這些圖像的分辨率達(dá)到了1500×2250 pixels，平均每張圖像約有100個(gè)掩碼。

Meta在論文中指出，有了SAM模型，收集新分割掩碼的速度遠(yuǎn)超以往，交互式標(biāo)注一個(gè)掩碼現(xiàn)在只需要約14秒。其數(shù)據(jù)集數(shù)量也是現(xiàn)在任何一個(gè)數(shù)據(jù)集的400倍。這種高自動(dòng)化、高靈活性的圖像分割技術(shù)為領(lǐng)域內(nèi)首創(chuàng)。

Meta官方稱，通過在業(yè)內(nèi)共享這項(xiàng)研究和數(shù)據(jù)集，公司希望進(jìn)一步加速對分割圖像視頻的研究。這款可提示分割模型可以作為更大系統(tǒng)中的組件來執(zhí)行分割任務(wù)。Meta預(yù)計(jì)，SAM或?qū)⒊蔀锳R/VR、內(nèi)容創(chuàng)作等領(lǐng)域的強(qiáng)大組件之一，有望創(chuàng)造出更為通用的AI系統(tǒng)。

英偉達(dá)AI研究科學(xué)家Jim Fan稱“今天是計(jì)算機(jī)視覺領(lǐng)域的‘GPT-3 時(shí)刻’之一”，SAM已經(jīng)了解了“對象”的概念，甚至對于不熟悉乃至未知的場景和那些模棱兩可的情況，它都能進(jìn)行切割。Jim稱難以想象它的模型和數(shù)據(jù)居然都是開源的。

他指出了SAM的秘訣：

1、一個(gè)非常簡單但可擴(kuò)展的架構(gòu)，采用文本、關(guān)鍵點(diǎn)、邊框等多種提示模式；

2、與模型設(shè)計(jì)密切相關(guān)的人工操作渠道；

3、一個(gè)數(shù)據(jù)飛輪，允許模型自主學(xué)習(xí)那些未標(biāo)記的圖像。

扎克伯格稱，將這種生成式AI作為“創(chuàng)意輔助工具”納入到Meta的應(yīng)用程序中是今年工作目標(biāo)的重中之重。

目前，SAM模型和數(shù)據(jù)集僅在非商用許可下提供下載，用戶在將自己的圖片上傳到原型上時(shí)，必須承諾不將其用作研究。

未來，SAM可用于通過AR眼鏡識別日常物品，向用戶發(fā)出提醒和指示。

SAM也將對其他領(lǐng)域產(chǎn)生影響，比如指導(dǎo)農(nóng)民進(jìn)行糧食生產(chǎn)或協(xié)助生物學(xué)家進(jìn)行研究等。

圖像分割技術(shù)并非是新鮮事，但SAM能識別出訓(xùn)練數(shù)據(jù)集中不存在的物體，或許將會(huì)引發(fā)新一輪AI視覺應(yīng)用潮。未來，Meta通過分享他們的研究和數(shù)據(jù)集，將會(huì)使這類組合系統(tǒng)設(shè)計(jì)在多個(gè)領(lǐng)域得到廣泛應(yīng)用。SAM將會(huì)是內(nèi)容創(chuàng)作、圖像生成等更為普遍的AI領(lǐng)域的一個(gè)強(qiáng)大組件，讓圖像識別和視覺內(nèi)容的語義理解之間更好耦合，釋放出更強(qiáng)大的AI潛力。

來源：Meta官方、路透社

關(guān)鍵詞：