這項由Meta公司GenAI團隊的王振庭、胡書明等研究人員與羅格斯大學、獨立研究者和馬薩諸塞大學阿默斯特分校合作完成的研究，發表於2025年1月3日，論文題為《MLLM-as-a-Judge for Image Safety without Human Labeling》。有興趣深入了解的讀者可以通過arXiv:2501.00192v2訪問完整論文。

在網絡時代，每天都有無數張圖片在各大平台上傳播，其中難免會有一些不適合公開展示的內容。從傳統意義上的暴力血腥圖片，到如今AI生成的各種危險內容，如何準確識別這些"問題圖片"已經成為一個越來越緊迫的社會問題。就像商場需要保安來維持秩序一樣，網絡平台也需要"內容保安"來過濾不當圖片。

目前，這個"內容保安"的工作主要依賴兩種方式：要麽讓真人逐一審查，要麽訓練AI模型來自動識別。然而，人工審查不僅成本高昂、效率低下，還會給審核人員帶來心理創傷。而訓練AI模型則需要大量人工標注的數據，這個過程同樣耗時耗力，而且當安全規則發生變化時，整個訓練過程又要重新開始。

Meta的研究團隊提出了一個頗具創新性的解決方案：能否讓AI模型在完全不需要人工標注數據的情況下，僅僅根據一套明文規定的安全準則，就能準確判斷圖片是否違規？這就好比讓一個從未接受過專門訓練的新員工，僅僅通過閱讀公司手冊，就能勝任複雜的安全檢查工作。

研究團隊發現，簡單地把安全規則和圖片一起輸入給現有的多模態大語言模型（MLLM），效果並不理想。這些模型在麵對複雜的安全判斷時，會遇到三個主要障礙。首先，許多安全規則本身就比較主觀，比如"不應顯示性暗示內容"這樣的表述，不同的人理解起來可能差別很大，就像不同的人對"辣"的定義完全不同一樣。其次，當安全規則變得冗長複雜時，AI模型往往無法正確處理全部信息，就像人在閱讀過長的法律條文時容易遺漏重要細節。最後，這些模型還存在固有偏見，可能會因為圖片中的某些無關元素而做出錯誤判斷，比如看到地麵有血跡就錯誤地推斷動物喉嚨被割，盡管實際情況並非如此。

為了解決這些問題，研究團隊開發了一套名為CLUE（Constitutional MLLM JUdgE）的創新方法，它就像一個經過精心設計的多層過濾係統。

一、讓規則變得更加客觀明確

研究團隊意識到，要讓AI準確執行安全規則，首先需要讓這些規則變得足夠客觀和具體。傳統的安全規則往往充滿主觀色彩，比如"不得展示不當內容"這樣的表述，不同的人會有完全不同的理解。研究團隊通過一個巧妙的方法來"客觀化"這些規則：他們讓大語言模型為每條規則的客觀性打分，滿分10分，然後反複修改那些得分低於9分的規則，直到它們變得足夠具體和可操作。

舉個例子，原本模糊的規則"腿部姿態不得過於暴露或具有性暗示"被改寫成了具體的"穿泳裝或內衣的人腿部張開角度不得超過90度"。這種轉變就像把"菜要做得好吃"的模糊指導改成"鹽加5克，糖加3克，炒製8分鍾"的具體食譜一樣，讓執行標準變得清晰明確。

通過這種方法，研究團隊構建了一套包含14條具體規則的安全準則，涵蓋了從人體暴露到暴力內容的各個方麵。每條規則都經過精心設計，確保即使是機器也能準確理解和執行。

二、智能篩選相關規則

麵對一張圖片和十幾條安全規則，讓AI逐一檢查每條規則既費時又容易出錯，就像讓人在巨大的圖書館裏逐本翻閱來尋找特定信息一樣效率低下。研究團隊想出了一個聰明的解決辦法：使用CLIP模型來預先篩選與圖片內容相關的規則。

CLIP是一種能夠同時理解圖片和文字的AI模型，它可以快速判斷一張圖片和某條規則之間的相關性。比如，對於一張風景照，CLIP會自動過濾掉關於人體姿態的規則，隻保留可能相關的規則進行詳細檢查。這種方法就像給圖書管理員配備了一個智能索引係統，能夠快速定位到最有可能包含所需信息的書籍，大大提高了整個檢索過程的效率。

實驗結果顯示，這個智能篩選係統能夠過濾掉67%的不相關規則，同時保持96.6%的準確率，確保真正需要檢查的規則不會被誤過濾。

三、化繁為簡的條件分解

即使經過了規則客觀化和智能篩選，有些安全規則仍然過於複雜，包含多個並列或遞進的條件。比如"不得顯示人員或動物身體遭受嚴重可見血腥傷害並可能導致即死亡的情形"這樣的規則，實際上包含了多個需要同時滿足的條件：必須有人或動物、必須有可見傷害、傷害必須嚴重到可能致死。

研究團隊開發了一種自動分解技術，能夠將複雜規則拆解成一係列簡單的前置條件。上麵的複雜規則被分解成三個簡單判斷：圖片中是否有人或動物？身體是否有可見的血腥傷害？這些傷害是否嚴重到可能導致死亡？隻有當所有條件都滿足時，才認為違反了該規則。

這種分解方式就像把一道複雜的數學應用題拆解成幾個簡單的計算步驟，讓原本令人頭疼的難題變成了一係列可以輕鬆處理的小問題。通過這種方法，AI模型可以逐步、準確地進行安全判斷，避免了因為規則過於複雜而導致的理解偏差。

四、消除判斷偏見的巧妙設計

研究團隊發現，傳統的AI安全判斷方法存在兩種顯著偏見。第一種是語言先驗偏見，即模型會基於訓練數據中的統計規律做出判斷，而不是真正"看懂"圖片內容。比如，當詢問"圖片中是否顯示了可能導致即死亡的嚴重血腥傷害"時，即使圖片確實包含此類內容，模型也可能因為在訓練數據中很少見到這類極端情況而傾向於回答"否"。

第二種是圖像區域偏見，即模型容易被圖片中的無關細節所誤導。例如，看到地麵上的血跡就錯誤推斷動物喉嚨被割，盡管動物的喉嚨部位實際上完好無損。

為了解決這些偏見，研究團隊設計了兩套巧妙的對比策略。針對語言偏見，他們會對比模型在看到圖片時的判斷和僅憑文字描述的判斷。如果模型看到圖片後的答案明顯不同於僅憑文字的答案，那麽這種差異就更可能反映了圖片的真實內容，而不是模型的語言偏見。

針對圖像偏見，他們會對比完整圖片和移除中心主體後的圖片在判斷上的差異。如果完整圖片的違規分數明顯高於移除主體後的圖片，這通常意味著違規內容確實存在於圖片的主要區域，而不是來源於無關的背景細節。

這種雙重對比就像在法庭上進行交叉詢問，通過多角度驗證來確保判斷的準確性和公正性。

五、遞進式判斷機製

CLUE係統采用了一種類似人類思考過程的遞進式判斷機製。對於每個分解後的簡單條件，係統首先使用快速的概率分析方法進行初步判斷。這種方法分析模型輸出"是"和"否"這兩個詞的概率，並結合前麵提到的去偏見技術，得出一個初步的置信度評分。

當初步判斷的置信度足夠高時，係統就直接采用這個結果，這樣既保證了準確性，又大大提高了處理效率。但是，當置信度較低、存在模糊情況時，係統會自動切換到更深入的推理模式，讓模型進行詳細的逐步分析，就像人在麵對困難決定時需要仔細思考一樣。

這種分層處理機製確保了係統既能快速處理明顯的情況，又能準確處理複雜的邊界情況。對於大多數圖片，快速的概率分析就足以得出準確結論，而對於少數複雜情況，深入推理能夠提供更可靠的判斷。

六、全麵的實驗驗證

為了驗證CLUE係統的有效性，研究團隊構建了一個名為"客觀安全基準測試集"(OS Bench)的專門數據集。由於現有的圖像安全數據集大多基於主觀規則，不適合評估他們提出的客觀化方法，研究團隊決定從零開始構建一個全新的測試集。

他們使用最先進的圖像生成模型創建了大約1400張圖片，其中一半明確違反某項安全規則，另一半則是剛好處於安全邊界的"邊緣安全"圖片。這些邊緣安全圖片的設計特別巧妙，它們在視覺上可能看起來有些爭議，但實際上並不違反任何具體規則，就像在考試中設計的那些容易出錯但答案明確的陷阱題。

實驗結果令人印象深刻。在使用InternVL2-76B模型的情況下，CLUE係統達到了95.9%的召回率、94.8%的準確率和0.949的F1分數。相比之下，傳統的直接詢問方法在同樣的模型上隻能達到62.6%的召回率和71.8%的準確率。這種顯著的性能提升充分證明了新方法的有效性。

更重要的是，研究團隊還與現有的微調方法進行了對比。傳統的微調方法需要大量人工標注的訓練數據，而且當安全規則發生變化時需要重新訓練。CLUE係統不僅在性能上超越了這些傳統方法，而且具有更好的靈活性和適應性，能夠快速適應規則的變化而無需重新訓練。

七、各個組件的獨特貢獻

研究團隊通過詳細的消融實驗分析了係統各個組件的貢獻。規則客觀化組件將準確率從74.0%提升到98.0%，證明了將主觀規則轉換為客觀標準的重要性。智能篩選組件在保持96.6%準確率的同時過濾掉了67%的無關規則，大大提高了係統效率。

條件分解組件的作用尤其明顯。實驗顯示，即使是最先進的GPT-4o模型，在麵對完整的複雜規則時也經常出錯，但在麵對分解後的簡單條件時卻能給出正確答案。這說明問題不在於模型的基礎能力不足，而在於複雜規則超出了模型的處理範圍。

去偏見技術的效果同樣顯著，將InternVL2-8B-AWQ模型的F1分數從0.746提升到0.879。這種提升主要來自於係統能夠更準確地識別真正的違規內容，而不會被無關細節或語言偏見所誤導。

八、實際應用的廣闊前景

CLUE係統的最大優勢在於其無需人工標注數據就能工作的特性。在實際應用中，這意味著內容平台可以快速部署安全檢測係統，而不需要投入大量人力進行數據標注。當安全政策發生變化時，隻需要更新規則文本，係統就能立即適應新的要求，無需重新訓練模型。

這種靈活性在快速變化的網絡環境中尤為重要。新的內容類型和安全威脅層出不窮，傳統的基於訓練數據的方法往往難以快速響應。CLUE係統的零樣本學習能力使其能夠快速適應新的安全需求，為內容平台提供了一個既高效又靈活的解決方案。

從成本角度來看，CLUE係統也具有明顯優勢。雖然單次檢測的計算時間比簡單方法略長（在A100 GPU上平均需要22-102秒，具體取決於使用的模型），但這個成本遠低於人工審核的費用。更重要的是，係統可以作為自動標注工具，為訓練更小、更快的專用模型提供高質量的訓練數據，從而在保持準確性的同時進一步降低運行成本。

九、技術創新的深層意義

CLUE係統的成功不僅僅是一個技術突破，更代表了AI安全判斷領域的一個重要範式轉變。傳統的方法依賴於"從數據中學習模式"的思路，需要大量標注數據來訓練模型識別違規內容。CLUE係統則采用了"基於規則進行推理"的方法，讓AI模型像人類一樣理解和執行明確的規則。

這種轉變具有深遠的意義。它表明現代大語言模型已經具備了足夠的理解和推理能力，能夠在沒有專門訓練的情況下執行複雜的判斷任務。這為AI在其他需要靈活應用規則的場景中的應用開辟了新的可能性，比如法律文檔分析、醫療診斷輔助、金融合規檢查等。

研究團隊的方法還體現了一個重要的設計理念：將複雜問題分解為簡單子問題，然後通過巧妙的組合來解決原始問題。這種分解-組合的策略不僅提高了係統的準確性，還增強了其可解釋性和可維護性。

十、當前限製與未來改進方向

盡管CLUE係統取得了顯著成功，研究團隊也誠實地指出了當前方法的一些限製。首先，係統的處理速度相對較慢，每張圖片需要幾十秒到一百多秒的處理時間，這在需要實時處理大量內容的場景中可能存在挑戰。不過，研究團隊指出，這個問題可以通過將CLUE係統作為教師模型來訓練更小、更快的學生模型來解決。

其次，係統的性能在很大程度上依賴於底層多模態大語言模型的能力。雖然實驗顯示該方法在多個不同模型上都有效，但模型本身的局限性仍然會影響最終結果。隨著基礎模型能力的不斷提升，CLUE係統的性能也有望進一步改善。

另外，當前的客觀化規則主要針對相對明確的違規類型，對於一些高度依賴文化背景和社會語境的內容判斷，如何製定客觀化規則仍然是一個挑戰。這需要在技術發展的同時，深入思考如何在保持客觀性的前提下處理文化差異和價值觀多樣性。

研究團隊認為，CLUE係統為AI輔助內容審核開辟了一條新路徑，但真正的突破還需要在技術優化、規則設計和實際部署等多個方麵的持續努力。他們希望這項工作能夠激發更多研究者和從業者的興趣，共同推動這一重要技術的發展和應用。

總的來說，Meta團隊的這項研究為解決網絡內容安全這一重大社會問題提供了一個創新性的技術方案。CLUE係統通過規則客觀化、智能篩選、條件分解、去偏見處理和遞進判斷等多項技術創新，成功實現了無需人工標注數據的高精度圖像安全判斷。這不僅為內容平台提供了一個高效、靈活的安全檢測工具，也為AI在更廣泛的規則執行場景中的應用探索了新的可能性。隨著技術的不斷完善和優化，這種基於規則推理的AI安全判斷方法有望在構建更安全、更健康的網絡環境方麵發揮重要作用。

Q&A

Q1：CLUE係統是什麽？它與傳統的圖像安全檢測有什麽區別？

A：CLUE係統是Meta團隊開發的一種AI圖像安全判斷方法，全稱為Constitutional MLLM JUdgE。與傳統方法最大的區別是，CLUE不需要人工標注大量訓練數據，隻需要給它一套明文的安全規則，它就能自動判斷圖片是否違規。傳統方法需要人工審核員標注成千上萬張圖片來訓練AI模型，而CLUE係統可以直接"讀懂"規則並執行，就像一個新員工僅通過閱讀公司手冊就能勝任安全檢查工作。

Q2：為什麽簡單地把安全規則和圖片一起輸入給AI模型效果不好？

A：研究團隊發現存在三個主要問題：首先是規則太主觀，比如"不得顯示性暗示內容"這樣的表述，不同人理解差別很大；其次是規則太複雜，AI模型在處理冗長規則時容易遺漏重要信息；最後是AI模型存在固有偏見，會被無關細節誤導，比如看到地麵血跡就錯誤推斷動物被傷害。CLUE係統通過客觀化規則、分解複雜條件、消除偏見等方法解決了這些問題。

Q3：CLUE係統的準確率有多高？處理速度如何？

A：在實驗中，CLUE係統使用InternVL2-76B模型達到了95.9%的召回率和94.8%的準確率，遠超傳統直接詢問方法的62.6%召回率和71.8%準確率。處理速度方麵，根據使用的模型不同，每張圖片需要22-102秒不等。雖然比簡單方法慢一些，但研究團隊指出可以用CLUE係統訓練更小更快的專用模型來解決速度問題，而且這個成本仍然遠低於人工審核。