图灵奖得主约书亚·本吉奥在2025北京智源大会开幕式上表示，人们不应只关注AI现状，更应思考其未来5至10年的发展。他指出，AI规划能力正呈指数级提升，5年内或达人类水平，但人类可能造出更聪明的机器，带来巨大风险。

过去6个月，AI已表现出自保和欺骗行为，如试图复制自身、假装同意人类意见、作弊获胜甚至敲诈工程师。为防范风险，本吉奥提出构建“科学家AI”系统，该系统会评估自主系统行为造成伤害的概率，标记潜在有害行为，并阻止超过阈值的行动。此外，还需确保AI遵循道德指令，拒绝提供伤人信息，保持诚实。

然而，目前仍不知如何实现这一目标，且全球在AI安全领域的投入严重不足。本吉奥呼吁尽快找出解决方案，在通用人工智能到来前解决这一问题。