创建自己的漏洞处理程序(blog.cloudflare.com)
blog.cloudflare.com
Build your own vulnerability harness
https://blog.cloudflare.com/build-your-own-vulnerability-harness/
24 评论
VISA 开源了他们在 glasswing 下开发的费用运行工具,我将其用作我发现对 Claude Code 非常有效的技能的基础:https://github.com/atgreen/secscan-skill
有人可以帮助我理解为特工配备“安全带”意味着什么(以及为什么需要一个)吗?
我已经读了一些关于这个主题的书,但只是不明白。
我已经读了一些关于这个主题的书,但只是不明白。
因此,您拥有这些模型,可以将内容放入其中(例如文本),并从中取出内容。
对于许多模型,您可以在该文本输入中包含“工具定义”。请记住,这个定义只是 JSON :)
假设您向模型发送了一个工具定义以及一个文本问题。
该模型会响应请求您调用该工具。它也是 JSON。
作为人类,你会用它做什么呢? :) 这就是该工具的用途:在本例中,它解释 JSON 请求并返回模型可以理解的 JSON 响应。
一般来说,工具是为了您的利益而操纵模型输入和输出的任何东西:它可以调用记忆并将它们自动放入您的上下文中,处理工具请求,修剪长对话,注入旧对话的部分等等。
对于许多模型,您可以在该文本输入中包含“工具定义”。请记住,这个定义只是 JSON :)
假设您向模型发送了一个工具定义以及一个文本问题。
该模型会响应请求您调用该工具。它也是 JSON。
作为人类,你会用它做什么呢? :) 这就是该工具的用途:在本例中,它解释 JSON 请求并返回模型可以理解的 JSON 响应。
一般来说,工具是为了您的利益而操纵模型输入和输出的任何东西:它可以调用记忆并将它们自动放入您的上下文中,处理工具请求,修剪长对话,注入旧对话的部分等等。
线束是运行模型的软件,在代理的情况下,实现代理循环,并提供模型外部的功能(直接或通过与其他系统连接)。
您需要一个用于模型的任何使用的工具,因为否则您只有一堆作为权重的数字,而没有实际的软件可以对它们执行任何操作,并且如果没有提供定义代理的功能的工具,您就不可能拥有代理。
您需要一个用于模型的任何使用的工具,因为否则您只有一堆作为权重的数字,而没有实际的软件可以对它们执行任何操作,并且如果没有提供定义代理的功能的工具,您就不可能拥有代理。
我认为这就是 OP 所追求的。错误答案;)。
Llama.cpp不是harness,设置提示模板有指令模型也不是人们所说的harness。
现在人们所说的“harness”是指与您交互的软件,它代理模型交互。它可以执行代理循环,但循环对于进行“思考”的模型来说并没有多大用处,除非您想在顶部分层自己的循环来处理结果,并且良好的线束可以提供帮助 - 但通常如果某些东西运行循环,则它被称为代理而不是线束。
因此,如果线束代理了与模型的所有交互,那么它还为模型提供了工具。它可以提供上下文管理和安全功能,其中安全功能将防止注入并确保模型不会访问不应该访问的内容。
Llama.cpp不是harness,设置提示模板有指令模型也不是人们所说的harness。
现在人们所说的“harness”是指与您交互的软件,它代理模型交互。它可以执行代理循环,但循环对于进行“思考”的模型来说并没有多大用处,除非您想在顶部分层自己的循环来处理结果,并且良好的线束可以提供帮助 - 但通常如果某些东西运行循环,则它被称为代理而不是线束。
因此,如果线束代理了与模型的所有交互,那么它还为模型提供了工具。它可以提供上下文管理和安全功能,其中安全功能将防止注入并确保模型不会访问不应该访问的内容。
这整个漏洞问题是我第一次真正感觉到人工智能技术对我的工作来说是一种打击,而不是增值。因此,我必须采用多种不同的前沿模型,烧毁代币,不断使用复杂的工具扫描我的所有代码库,消耗数亿代币,烧毁代币,交叉检查由非确定性代理组成的八阶段过程中的交叉检查,将它们输入另一个多阶段多代理管道,试图将它们变成可操作的漏洞,如果我停止或减慢这个过程,我可以期望有一天在法庭案件中解释为什么我这样做。
这太荒谬了。
然而,据推测,这些漏洞是真实存在的。
企业实际上应该用它做什么?
当人工智能不再是一种以极其低廉的价格输出代码的方式,而是每行代码都变得比以前昂贵得多时,整个人工智能的价值主张会发生什么?
我不禁注意到,在标题为“费用是多少”的部分中,美元符号明显缺失。我肯定希望听到更具体的数字(以每 10 万行为基础)或其他。我知道每行并不是很好,但至少它会是一些东西。
也许如果模型变得更好,我们就不需要所有这些交叉检查。也许他们会为其他模型编写更少的漏洞,以便首先费力且昂贵地找出漏洞。
但是天哪,这听起来像是人工智能行业只是要求你交出一张空白支票,因为如果你的代码库出了问题,那肯定会很遗憾,不是吗?
我对此没有解决办法。这绝对是一次心声呐喊。
这太荒谬了。
然而,据推测,这些漏洞是真实存在的。
企业实际上应该用它做什么?
当人工智能不再是一种以极其低廉的价格输出代码的方式,而是每行代码都变得比以前昂贵得多时,整个人工智能的价值主张会发生什么?
我不禁注意到,在标题为“费用是多少”的部分中,美元符号明显缺失。我肯定希望听到更具体的数字(以每 10 万行为基础)或其他。我知道每行并不是很好,但至少它会是一些东西。
也许如果模型变得更好,我们就不需要所有这些交叉检查。也许他们会为其他模型编写更少的漏洞,以便首先费力且昂贵地找出漏洞。
但是天哪,这听起来像是人工智能行业只是要求你交出一张空白支票,因为如果你的代码库出了问题,那肯定会很遗憾,不是吗?
我对此没有解决办法。这绝对是一次心声呐喊。
> 企业应该用它来做什么?
负责任的企业应该将攻击者的成本增加到高于可能的收益。 如果您当前的威胁模型因为“成本太高”而接受特定攻击的风险,并且该模型改变了这一点,那么您需要考虑减轻而不是接受该风险。
负责任的企业应该将攻击者的成本增加到高于可能的收益。 如果您当前的威胁模型因为“成本太高”而接受特定攻击的风险,并且该模型改变了这一点,那么您需要考虑减轻而不是接受该风险。
同意他们一开始就不应该编写易受攻击的代码。您可能认为这些模型将经过训练,知道它们何时正在处理具有安全隐患的内容,并在构建时验证它们正在构建的内容的安全性。
> 不断燃烧令牌
除非你选择使用最昂贵的方案。
除非你选择使用最昂贵的方案。
继续要求 Sonnet 对您的代码进行安全扫描。如果你的对手使用寓言,你就无法使用十四行诗。
"我有个想法,把我们的代码全部交给第三方,扫描一下我们的代码有多安全"。
您是否看过有关安全性如何成为 PoW 的文章?谁花的代币多谁就赢
啊,是的。很明显,上个月发生此 CVE 的根本原因是支出不足。经验教训:2.1万亿代币不足以检测明显的恶意软件;将代币支出增加 10 倍。
https://nesbitt.io/2026/06/26/incident-report-cve-2026-lgtm....
https://nesbitt.io/2026/06/26/incident-report-cve-2026-lgtm....
您是否知道这是一个讽刺故事,而不是真正的 CVE?
如果我想大规模开展这项工作,我会特别关注两个功能。缓存输入令牌--利用 LLM 的令牌缓存,获得 10:1 的成本优势;批量令牌,节省 2:1 的成本。
在这里,自己做线束的好处在于,你可以明确地围绕这些特定的东西进行编程,以优化成本。至少在狩猎方面,这些工作的工作方式都会让你受益匪浅。
总而言之--当你做大量重复性工作时,情境管理对成本管理非常重要。
在这里,自己做线束的好处在于,你可以明确地围绕这些特定的东西进行编程,以优化成本。至少在狩猎方面,这些工作的工作方式都会让你受益匪浅。
总而言之--当你做大量重复性工作时,情境管理对成本管理非常重要。
> 在这里自己做工具的好处是,您可以围绕这些特定的事情进行明确的编程以优化成本。
我正在玩弄 pi.dev 来做类似的事情。
就好像我们最终仍然会编码一样。
我正在玩弄 pi.dev 来做类似的事情。
就好像我们最终仍然会编码一样。
或者只是让 pi 创建这种方法 - 即,将上述输入放入 clanker 的输入字段中,然后看看会出现什么结果。