13

2024-12

重大突破！AI首次发现内存安全漏洞

近日，谷歌宣布其大语言模型（LLM）项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞，这是人工智能首次在真实软件中发现可利用的内存安全漏洞（且该漏洞无法通过传统的模糊测试检测到）。 AI首次发现内存安全漏洞 谷歌的“Project Naptime”项目旨在评估LLM在进攻性安全研究方面的能力，后来该项目演变为“Big Sleep”，由谷歌Project Zero和DeepMind团队共同参与。Big Sleep项目致力于探索AI在发现软件漏洞中的潜力，特别关注高危漏洞的检测与利用。 在上周五的公告中，谷歌透露，Big Sleep项目的LLM代理在实验阶段成功识别出第一个真实世界中的漏洞——SQLite开源数据库引擎中的基于栈的缓冲区溢出漏洞。该漏洞在今年10月初被发现，SQLite开发团队在接到披露信息后数小时内即完成了补丁修复。 这一发现具有重大意义，因为这是AI首次独立检测出可利用的内存安全漏洞。 “青出于蓝”，超越模糊测试 BigSleep的工作流程模拟了人类的漏洞研究过程。首先，AI被要求审查SQLite代码中的最新提交记录，并寻找类似于已知漏洞的安全问题。作为起点，研究人员向LLM提供了一个最近修复的漏洞，以引导它发现新的漏洞。通过这一策略，Big Sleep最终找到了一个严重的内存安全问题。 谷歌随后尝试使用传统的模糊测试来检测这一漏洞，耗费了150个CPU小时，仍未成功发现问题。值得注意的是，多年来，谷歌的AFL模糊测试工具在发现SQLite漏洞方面非常高效，但如今似乎已达到“自然饱和点”，难以再找到新的漏洞。相比之下，Big Sleep的LLM展示了其在识别高级安全问题方面的潜力。 AI在漏洞研究中的前景与挑战 谷歌在博客中指出，当前的LLM在配备合适工具时，确实可以胜任某些漏洞研究任务。然而，BigSleep团队强调，这一成果仍属高度实验性，AI的发现能力还不具备完全替代模糊测试的可靠性。尽管如此，这一突破显示出AI在安全研究中的前景，尤其是在目标特定的漏洞检测方面，AI可能逐渐成为重要工具。 AI在网络安全中的应用越来越广泛，尤其是软件漏洞研究。就在上周，威胁情报公司GreyNoise利用AI工具检测到了针对常见物联网摄像头的漏洞利用企图。与此同时，AI安全公司Protect AI也开发了一种基于LLM的静态代码分析器，能够检测并解释复杂的多步骤漏洞，这进一步证明了AI在漏洞检测和分析中的独特优势。 除了检测已知漏洞，一些研究人员还在探索LLM代理如何利用已知和未知漏洞。AI不仅在发现安全问题上表现出色，还展现了在多步骤漏洞利用中的潜力。尽管目前这一研究仍处于初级阶段，但AI技术的发展为漏洞研究提供了新思路，并推动了网络安全技术的创新。 展望：AI与模糊测试的协同未来 谷歌和其他科技公司对LLM的研究表明，AI在漏洞检测和防御中的应用前景广阔。然而，正如谷歌所强调的，AI并非万能，它在一些特定场景下的表现可能与传统模糊测试相当甚至逊色。未来，或许AI和模糊测试的协同应用将成为网络安全研究的新趋势，通过融合不同技术手段，提高漏洞检测的效率和准确性。 参考链接： https:googleprojectzero.blogspot.com202410from-naptime-to-big-sleep.html

13

2024-12

图解｜我国数据出境合规指引

06

2024-12

习近平在视察信息支援部队时强调努力建设一支强大的现代化信息支援部队推动我军网络信...

12月4日，中共中央总书记、国家主席、中央军委主席习近平视察信息支援部队，代表党中央和中央军委，对信息支援部队第一次党代表大会的召开表示热烈祝贺，向信息支援部队全体官兵致以诚挚问候。这是习近平发表重要讲话。新华社记者 李刚 摄 新华社北京12月5日电（记者梅常伟）中共中央总书记、国家主席、中央军委主席习近平4日视察信息支援部队，代表党中央和中央军委，对信息支援部队第一次党代表大会的召开表示热烈祝贺，向信息支援部队全体官兵致以诚挚问候。他强调，要贯彻新时代强军思想，贯彻新时代军事战略方针，强化使命担当，勇于创新突破，夯实部队基础，努力建设一支强大的现代化信息支援部队，推动我军网络信息体系建设跨越发展。 信息支援部队是在军兵种结构布局调整改革中新组建的战略性兵种，习近平今年4月亲自向信息支援部队授予军旗并致训词。 上午10时许，习近平来到信息支援部队机关，在热烈的掌声中，亲切接见信息支援部队第一次党代会全体代表，同大家合影留念。 12月4日，中共中央总书记、国家主席、中央军委主席习近平视察信息支援部队，代表党中央和中央军委，对信息支援部队第一次党代表大会的召开表示热烈祝贺，向信息支援部队全体官兵致以诚挚问候。这是习近平同代表们亲切握手。新华社记者 李刚 摄 随后，习近平听取信息支援部队工作汇报，并发表重要讲话。他指出，当前，新一轮科技革命和军事革命迅猛发展，战争形态加速演变，网络信息体系在现代战争中的地位作用空前凸显。信息支援部队首先是一个战斗队，要站在强军胜战的高度，充分认清网络信息体系建设的极端重要性，认清担负的历史重任，加快把网络信息体系建设和服务支撑备战打仗能力搞上去。 习近平强调，要坚持解放思想、实事求是、与时俱进，加强统筹谋划，创新发展模式，积极探索实践，扎实做好网络信息体系建设各项工作。要聚焦能打仗、打胜仗，优化信息服务保障方式，蹄疾步稳推进网络信息公共服务平台建设，融合利用好各类数据信息，高度重视网络信息安全防护，加快融入体系、驱动体系、赋能体系，引领指挥模式创新、作战方式转变。要持续推进改革任务落实，建立健全工作运行机制，配套完善相关法规制度，打造共建共用共享良好生态，提高网络信息体系建设质量和效益。 习近平指出，信息支援部队正处在初创时期，要全面加强自身建设，重视做好打基础、利长远的工作，打牢部队发展根基。要深入贯彻中央军委政治工作会议精神，坚持党对军队绝对领导的根本原则和制度，加强党的创新理论武装，扭住思想根子问题深化思想整风，从严正风肃纪反腐，确保部队绝对忠诚、绝对纯洁、绝对可靠。信息支援部队首届党委要强化创业意识和开拓精神，把首任首责担起来，选准配强各级党委班子，建强一线指挥部和一线战斗堡垒，提高党组织领导力、组织力、执行力。要贯彻全链路抓建理念，创新人才培养模式，打造高素质专业化网络信息人才方阵。要坚持精准抓建，加强科学管理，注重分类指导，扎实抓好基层建设，保持部队正规秩序和安全稳定。 习近平最后强调，中央军委要加强全局统筹，军委机关有关部门要主动靠前指导，各单位要积极协同配合，共同把信息支援部队建设好，开创我军网络信息体系建设新局面。 张又侠、何卫东、刘振立、张升民等参加活动。 转载自新华社

29

2024-11

​关于开展“清朗·网络平台算法典型问题治理”专项行动的通知

各省、自治区、直辖市党委网信办、通信管理局、公安厅（局）、市场监管局（厅、委），新疆生产建设兵团党委网信办、公安局、市场监管局： 《关于加强互联网信息服务算法综合治理的指导意见》（以下简称《指导意见》）《互联网信息服务算法推荐管理规定》等政策文件印发以来，各部门各地区加强组织推进，网站平台积极落实有关管理要求，算法应用生态日益规范，但仍存在一些需要持续加强治理的典型问题。为进一步深化互联网信息服务算法综合治理，现决定自即日起至2025年2月14日开展“清朗·网络平台算法典型问题治理”专项行动。有关工作方案如下： 一、主要任务 聚焦网民关切，重点整治同质化推送营造“信息茧房”、违规操纵干预榜单炒作热点、盲目追求利益侵害新就业形态劳动者权益、利用算法实施大数据“杀熟”、算法向上向善服务缺失侵害用户合法权益等重点问题，督促企业深入对照自查整改，进一步提升算法安全能力。 1.深入整治“信息茧房”、诱导沉迷问题。 构建“信息茧房”防范机制，提升推送内容多样性丰富性。严禁推送高度同质化内容诱导用户沉迷。不得强制要求用户选择兴趣标签，不得将违法和不良信息记入用户标签并据以推送信息，不得超范围收集用户个人信息用于内容推送。规范设置“不感兴趣”等负反馈功能。 2.提升榜单透明度打击操纵榜单行为。 全面公示热搜榜单算法原理，提升榜单透明度和可解释性。完善榜单日志留存，提高榜单算法原理可验证性。健全水军刷榜、水军账号等违规行为、账号检测识别技术手段，严管不法分子恶意利用榜单排序规则操纵榜单、炒作热点行为。 3.防范盲目追求利益侵害新就业形态劳动者权益。 严防一味压缩配送时间导致配送超时率、交通违章率、事故发生率上升等问题。详细公示时间预估、费用计算、路线规划等算法规则。搭建畅通的申诉渠道，及时受理劳动者因交通管制、交通事故、恶劣天气等不可控因素导致的配送超时等申诉。 4.严禁利用算法实施大数据“杀熟”。 严禁利用用户年龄、职业、消费水平等特征，对相同商品实施差异化定价行为。提升优惠促销透明度，清晰说明优惠券的领取条件、发放数量和使用规则等内容。客观如实说明优惠券领取失败原因，严禁以“来晚了”“擦肩而过”等提示词掩盖真实原因。 5.增强算法向上向善服务保护网民合法权益。 持续优化完善面向未成年人、老年人的算法推荐服务，便利未成年人、老年人获取有益身心健康的信息。建立健全算法在赋能优质内容传播、违法行为识别发现等方面的社会治理应用。持续提升生成合成信息检测识别能力，及时发现处理违法违规生成合成信息。 6.落实算法安全主体责任。 健全算法机制机理审核、数据安全的管理制度和技术措施。确保算法的训练数据具有合法来源，及时检测修复代码安全漏洞和算法逻辑缺陷，定期对算法模型的可用性、可控性、可解释性以及数据处理、模型训练、部署运行等环节开展安全评估。 二、工作目标 1.算法导向正确。 健全完善正能量优质内容池，优化算法推荐服务机制，积极传播正能量，促进算法应用向上向善；建立健全用于识别违法和不良信息的特征库，积极探索应用于识别违法和不良信息的算法、技术，防范和抵制传播不良信息。不得设置诱导用户沉迷、过度消费等的算法模型。不得利用算法干预信息呈现，实施影响网络舆论或者规避监督管理行为。 2.算法公平公正。 不得利用算法实施垄断和不正当竞争行为。保护劳动者合法权益，完善平台订单分配、报酬构成及支付、工作时间、奖惩等相关算法。保护消费者公平交易的权利，不得利用算法在交易价格等条件上实施不合理的差别待遇。 3.算法公开透明。 优化检索、排序、推送等规则的透明度和可解释性，预防和减少争议纠纷。以适当方式公示算法推荐服务的基本原理、目的意图、主要运行机制等，确保简单、清晰、可理解。 4.算法自主可控。 关闭算法推荐服务的选项操作便捷、功能有效。向用户提供选择或者删除用于算法推荐服务的针对其个人特征的用户标签的功能，便利用户自主选择兴趣领域。 5.算法责任落实。 建立健全算法安全管理制度和技术措施。定期审核、评估、验证算法机制机理、模型、数据和应用结果等，常态化开展算法安全自评估。算法“应备尽备”，备案信息发生变更的及时办理变更或者注销手续。 三、工作安排 专项行动自即日起至2025年2月14日，具体安排如下： 1.组织企业自查自纠（即日起至2024年12月31日）。 通过下发通知、召开专题会议等形式，部署属地重点网站平台对照重点任务，举一反三排查安全风险问题，简单问题立即整改，复杂问题明确整改举措和期限。 2.核验企业自查情况（2025年1月1日至2025年1月31日）。 积极落实属地管理责任，对照《算法专项治理清单指引》（附件），对企业自查自纠情况进行深入评估。对自查不认真、整改不彻底的企业，及时组织技术力量进行核查并督促整改。 3.深入评估治理成效（2025年2月14日前完成）。 各地网信部门会同有关部门，总结专项行动实施成效，结合专项行动开展情况，全面评估《指导意见》印发以来的算法治理举措及取得的积极成效，深入分析难点问题，制定今后一段时期的务实举措。 4.开设举报受理渠道（专项行动期间）。 各地网信部门在专项行动期间要及时公开算法问题举报渠道。对网民举报线索进行监测核实，督促存在问题的网站平台及时整改，并向网民反馈整改结果。 四、工作要求 1.抓好组织落实。 各地网信部门要发挥统筹协调作用，牵头开展专项行动。加强与属地电信、公安、市场监管等相关部门联动，细化工作分工，压实工作责任。运用好央地各方有效技术支撑力量，积极有效推动各项任务落实，确保取得工作成效。 2.依法依规处置。 要依法依规对违反有关法律法规的网站平台进行处置处罚，精准区分违法违规情形、影响、性质，实现宽严相济、过罚相当、有力有效。 3.压实平台责任。 要督促相关企业落实算法安全主体责任，认真梳理风险隐患，排查问题漏洞，客观真实反映存在的问题，及时深入开展整改。 4.推动长效治理。 要常态化开展算法服务安全风险监测防范工作，及时发现网站平台违规问题线索，并综合运用督促整改、现场检查、处置处罚等措施，提升算法常态化治理水平。 中央网络安全和信息化委员会办公室秘书局 工业和信息化部办公厅 公安部办公厅 国家市场监督管理总局办公厅 2024年11月12日