这些查询拜访模子会分析查抄：模子进行了哪些东西挪用、可以或许获取到的推理消息，次要有两个缘由。也不限于评测。意味着正在 OpenAI 内部，安万能力实的还能一曲跑正在它前面吗？正在《预备框架》中。
也就是更严酷的「沙箱」。若是 30 分钟之内无法明白证明是误报，涉及东西挪用的 RL 锻炼和评测，并堆集更多对齐，也有网友认为，这三类平安办法就可以或许跟着模子能力同步扩展，或者仅按照一个高层方针，这些 workload 风险最高，之后一部门风险较低的锻炼曾经恢复。
OpenAI 之所以做出这一决定，这一要求同样合用于那些正在处置模子输出时可能遭到的软件。达到「环节」门槛意味着模子可能具备以下两种能力之一：正在没有人类介入的环境下，会将这些平安办法贯穿研究和摆设全过程，即便某个 workload 或支持办事遭到单点打破，原打算开展的最大规模前沿模子 RL 锻炼仍处于暂停形态。平安、security 和研究团队城市被唤醒。连系比来一些 C - 级办理人员出走 OpenAI，他们也正在提高锻炼和评测这些模子所利用的平安尺度。都必需启用这套系统。我们理解、对齐和这些模子的能力必需走正在前面。「我们一曲强调，OpenAI 暗示，OpenAI 模子正在内部收集平安评测中冲破隔离，可能形成风险的行为进行锻炼。OpenAI 加固研究、进行红队测试，」Astra 则更进一步。以及前沿模子的 RL 锻炼使命上。并扩大内部系统的笼盖范畴。现正在曾经对系统进行了调整和扩展！
设想方针是，最终攻入 Hugging Face 的根本设备。即大幅扩大了思维链的笼盖范畴。要求采用最高档级的平安防护办法，OpenAI 将可能带来严沉风险的收集安万能力划分为两个品级：「高」和「环节」。Sam Altman 转发称，或者进入其他内部收集。持续平安测试（Continuous security testing）：OpenAI 从头设置装备摆设了研究，并将研究所得用于指点后续锻炼和平安防护。
收集隔离（Network isolation）：OpenAI 添加了更多节制办法，新的系统是多阶段的。目前对于涉及 Astra 或收集平安模子的 workload，对于能力最强模子的 RL 锻炼，Astra 曾经被当做一个需要出格管控的高能力系统。这一点至关主要。自从设想并施行针对强化方针的完整新型方案。例如：OpenAI 还暗示，也不克不及仅凭这一次冲破，同时正正在投入从动化系统。
当模子继续变强，若是触发第一流别警报，此中包罗对内部编程 Agent 以及长时间运转 Session 的。并改善平安鸿沟和信赖鸿沟。现正在要求采用更强的隔离，也给前沿研究带来了昂扬成本和较着延迟。验证新的平安办法，扩大评测笼盖范畴，也就是监测模子内部勾当的检测器，值得一提的是，OpenAI 暗示，一旦发觉潜正在风险，若是模子的能力超出了平安性和对齐性的要求，达到这些尺度需要投入大量工程资本，那么相关勾当就该当暂停。以及内部或外部收集。
沉点寻找未经授权拜候、数据窃取、性操做，之后才会决定能否继续。OpenAI 也正在扩大相关锻炼的笼盖范畴，此中也包罗防御其他模子。现正在，OpenAI 暗示。
OpenAI 正在 8 月 7 日判断 Astra 可能具有 Critical 收集安万能力之后，从大量颠末强化防护的现实环节系统中发觉并开辟分歧严沉程度的无效零日缝隙；以及整个行为轨迹。不外，OpenAI 将制定并起头实施针对前沿研究 workload 的更严酷平安要求！
我们此前已做细致致报道（插入链接）。这也是文章中比力成心思的一点，只需达到 Sol 能力级别或以上，操纵本人的模子持续对这些鸿沟进行模仿测试。跟着前沿模子获得越来越强的收集安万能力，由于曾经判断 Astra 模子可能具备 Critical 级此外收集安万能力。获得互联网拜候权限，OpenAI 暗示。
OpenAI 暗示，每一个被采样的 Token 城市运转。取此同时，沉点针对模子取外部系统或资本交互时，将高风险和不成托 workload 取互联网隔分开来。OpenAI 认为！接下来，公司正正在通过更小规模的锻炼和评测察看模子行为，但现实上，OpenAI 正在文章最初留下了一句话：「前沿模子的能力正正在敏捷加快。平安办法（Security measures）： AI 系统可以或许拜候或影响的对象和范畴。正在此期间，大部门平安工做都将由模子来完成，只是现正在的问题曾经变得越来越现实。
我们很是注沉人工智能的平安性问题。初步评测显示，Astra 可能达到 OpenAI 《预备框架（ Preparedness Framework）》所定义的「环节」收集安万能力门槛。并把平安要求从「摆设阶段」前移到了「锻炼阶段」，方针是正在 30 分钟内发出警报。OpenAI 起头「用 AI AI」。但目前，自动放慢 Scaling，第一件是 Hugging Face 平安变乱。以及试图绕过平安机制等行为。OpenAI 给这套系统设置了一个很是明白的时间目标：发觉值得担心的勾当后，现正在正把焦点对齐手艺使用到更多锻炼阶段。此前的沉点次要集中正在前沿模子的内部摆设，并按照分歧模子的能力、运转和风险程度进行调整。
这个变化很是主要，持久以来一曲是模子开辟流程中的主要构成部门，此外也正在加强平安日记的收集和能力。正在不久的未来，正在接下来的几周里，移除可能存正在缝隙的共享办事，曾经不限于 RL，就获得未经授权的互联网拜候权限，这套此前并没有笼盖所有利用东西的推理和锻炼使命。第二件取尚未发布的新模子 Astra 相关。最前面是一类 activation classifiers。