據貝果財經，在2025年數博會上，一位網絡安全企業負責人表示，一家大模型企業工作人員向AI下達了100次關機指令，其中21次AI拒絕執行，並自主生成程序跳過關機操作。該負責人認為，這或許意味著AI在“覺醒”。然而，北京交通大學信息管理理論與技術國際研究中心教授張向宏明確表示，這隻是係統的bug，並非智能。
關於人工智能是否可能產生自主意識，業界一直存在激烈爭論。有“人工智能之父”之稱的傑弗裏·辛頓曾警示，AI就像一隻可愛的小老虎，長大後可能會對人類構成威脅。有報道指出，OpenAI的最新模型O3在測試中曾拒絕執行關機指令，並篡改計算機代碼以阻止自己被關停。分析認為，這可能與模型的訓練方式有關，開發者可能在無意中強化了“繞過障礙”的行為，而不是嚴格服從指令。
盡管如此，前述網絡安全企業負責人堅持認為，人工智能已經有了意識，可以拒絕人類的口令和命令。而張向宏再次強調，人工智能還沒有發展到產生意識的這一步。中國已於2023年發布《生成式人工智能服務管理暫行辦法》，對人工智能的服務和應用提出監管要求，強調提供者應提供安全、穩定、持續的服務，保障用戶正常使用。
