编程客栈(www.cppcns.candroidom) 8月28日消息:人工智能和大型语言模型（LLMs）的生成潜力已经引起了安全行业的广泛关注。这些新工具可能有助于编写和扫描代码、补充不足的团队、实时分析威胁，并执行各种其他功能，以帮助使安全团队更准确、高效和生产力。


(资料图)

随着时间的推移，这些工具也可能接管今天安全分析员所厌恶的单调重复任务，为需要人类注意力和决策制定更有吸引力和影响力的工作腾出空间。

然而，生成式 AI 和 LLMs 仍处于相对初级阶段——这意味着组织仍在探索如何负责任地使用它们。除此之外，认识到生成式 AI 潜力不只是安全专家一个人知道。对于安全专家来说好事往往也是攻击者所喜欢的事情，今天对手正在探索使用生成式 AI 进行其自己邪恶目标方式。

理解生成式 AI 及其负责任使用能力将至关重要，在技术变得更加先进和普及的同时。

使用生成式 AI 和 LLMs

可以毫不夸张地说，像 ChatGPT 这样的生成式 AI 模型可能会从根本上改变我们处理编程和编码的方式。确实，它们不能完全从头开始创建代码（至少目前还没有）。

但是如果您有一个应用程序或程序的想法，那么生成式 AI 很有可能帮助您执行它。将这些基础任务交给能力强大的人工智能意味着工程师和开发人员可以自由参与更适合他们经验和专业知识的任务。

话虽如此，生成式 AI 和 LLMs 基于现有内容创建输出，无论是来自公开互联网还是特定数据集训练。这意味着它们擅长迭代之前所做过的事情，对攻击者来说也是一种福音。

例如，在同样使用相同单词集合时 AI 可以创建内容迭代版本，在类似于已存在但足以避免检测到攻击者恶意代码方面也可进行创作。利用该技术后果将产生独特有效负或旨在规避围绕已知攻击签名构建安全防御措施而设计出来的攻击。

攻击者正在利用 AI 开发 Webshell 变体，这是用于在受损服务器上维持持久性的恶意代码。攻击者可以将现有 Webshell 输入生成式 AI 工具，并要求其创建恶意代码的迭代版本。然后可以使用这些变体，在与远程代码执行漏洞（RCE）相结合的情况下，在受感染的python服务器上规避检测。

LLMs 和 AI 为更多零日漏洞和复杂利用程序让路

资金充裕的攻击者也擅长阅读编程和扫描源代码以识别漏洞，但此过程耗时且需要高水平技能。LLMs 和生成式 AI 工具可以帮助此类攻击者甚至不那么熟练地发现并执行复杂利用程序，方法是分析常用开源项目或对商业现成编程客栈软件进行逆向工程，帮助此类攻击者（甚至是那些技能较差的攻击者）发现并实施复杂的攻击。

在大多数情况下，攻编程客栈击者会编写工具或插件来自动化此过程。他们也更有可能使用开源 LLMs，因为它们没有相同的保护机制来防止此类恶意行为，并且通常可以免费使用。其结果将是零日攻击和其他危险漏洞的数量激增，类似于 MOVEit 和 Log4Shell 漏洞，这些漏洞使攻击者能够从易受攻击的组织中窃取数据。

不幸的是，一般组织的代码库中已经潜伏着数万甚至数十万个未解决的漏洞。当程序员引入人工智能生成的代码而不扫描其漏洞时，我们将看到由于不良的编码实践而导致这个数字上升。当然，攻击者和其他先进团体将准备好利用这一点，而生成式人工智能工具将使他们更容易做到这一点。

谨慎前行

这个问题没有简单的解决方案，但组织可以采取措施确保安全和负责任地使用这些新工具。一种方法是与攻击者做同样的事情：使用 AI 工具扫描其代码库中的潜在漏洞，组织可以识别其代码中可能被利用的部分，并在攻击者发动攻击之前进行修复。

对于希望使用生成式 AI 工具和 LLMs 来协助代码生成的组织而言，这尤为重要。如果 AI 从现有存储库中拉入开源代码，则必须验证它是否带有已知的安全漏洞。

今天安全专业人员对生成式 AI 和 LLMs 使用和传播所担心的问题非常真实——最近一群技术领袖敦促「暂停 AI」以应对社会风险。虽然这些工具有潜力使工程师和开发人员显着提高生产力，但当今组织在让 AI 脱离比喻意义上的束缚之前，必须仔细考虑它们的使用方式，并实施必要的保障措施。

关键词：