場景描述

隨著AI能力進步，越來越多的傳統硬件廠商以及基於小模型AI能力構建的智能硬件廠商，迫切得需要升級到大模型以提升交互體驗。然而，對於眾多企業來說要想保障低延時交互的同時，又要確保模型的效果並且引入外部服務豐富AI能力，還要兼顧成本就變得尤為挑戰。

眾所周知，想要低時延則模型尺寸不能過大，而模型尺寸偏小又會帶來效果問題；想要引入更多的外部服務來豐富AI能力，則工程鏈路必然更複雜，工程鏈路的冗長又會帶來高時延問題。

麵對這些挑戰，眾多硬件廠商急需一種兼顧成本、時延、功能、效果並且易用的解決方案。

解決方案

阿裏通義實驗室，深刻認識到消費電子行業升級AI能力的緊迫性和重要性，為了解決上述挑戰，決定建設多模態交互方案。

該方案借助通義實驗室的應用算法能力，對AI硬件的常見場景進行了分析，專項定製了數個小尺寸意圖識別模型，在確保效果的同時最大程度降低時延。另外依托於阿裏雲百煉平台的生態，使得用戶可以靈活自主得添加各類接口、MCP、智能體，極大程度得擴展了應用的能力邊界。而且在阿裏雲自研算力的加持下，保障了性能和穩定的前提下讓成本可控。使其最終成為硬件廠商用得起、用得好的解決方案。

成效

麵向消費電子產品，提供結合了意圖識別、安全審核、長期記憶、聯網搜索、Function call與Agent靈活插拔的語音、視覺多模態實時交互的一站式解決方案：

1. 低延時，語音對話最低不足1s，視頻流對話最低1.5s2. 豐富的內置技能與Agent（互聯網搜索、設備控製、天氣、翻譯、新聞）3. 從上下文到備忘錄到長期記憶的多級記憶，記憶召回F1值90%以上4. 意圖識別模型準確率95%的前提下時延低於200ms

阿裏雲為聽力熊、希沃、深勵科技等廠商提供的多模態交互解決方案使得其多款產品的AI體驗大幅度提升，無論是情感陪伴、學習教育、語音控製、視覺理解都贏得了最終用戶的好評和讚譽，用戶粘性大幅提升，產品使用時長和交互頻次分別提升20%和70%。