安全与治理339 个项目

此仓库由 Omar Santos (@santosomar) 维护，包含数千个与道德黑客、漏洞赏金、数字取证和事件响应（DFIR）、AI 安全、漏洞研究、漏洞利用开发、逆向工程等相关的资源。🔥 另请查看：https://hackertraining.org

语言模型的完全自动审查移除

一种基于博弈论的方法，用于解释任何机器学习模型的输出。

FHEVM，一个用于将全同态加密（FHE）与区块链应用集成的全栈框架

🔒 一份包含300多条2026年数字安全与隐私保护技巧的清单

SafeLine是一个自托管的WAF（Web应用防火墙）/反向代理，用于保护您的Web应用免受攻击和漏洞利用。

基于WireGuard®的、具有身份感知功能的VPN和隧道反向代理，用于远程访问。

LLM 评估框架

用于 Agent AI 可观测性、监控和评估框架的 Python SDK。包含代理、LLM 和工具追踪、多代理系统调试、自托管仪表板以及带有时间线和执行图视图的高级分析功能。

Zama 赏金计划：为 FHE 领域和 Zama 的开源库做出贡献并获得奖励 💰

提升您的LLM应用评估🚀

用于语言模型少样本评估的框架。

面向计算机视觉的高级 AI 可解释性。支持 CNN、Vision Transformer、分类、目标检测、分割、图像相似度等。

AI 代理技能的安全扫描器。检测漏洞、恶意模式和安全风险。

在Windows 11中强制移除Copilot、Recall等

Lime：解释任何机器学习分类器的预测结果

AI 可观测性与评估

对驻留在他人服务器上的数据执行数据科学

一个用于检测、编辑、掩码和匿名化文本、图像和结构化数据中敏感数据（PII）的开源框架。支持NLP、模式匹配和可定制管道。

网络安全AI（CAI），AI安全框架

Transformer可视化解释：通过交互式可视化学习LLM Transformer模型的工作原理

BertViz：可视化Transformer模型中的注意力机制

这是一个用于Linux系统的多用途bash脚本，用于审计无线网络。

Evidently是一个开源的ML和LLM可观测性框架。评估、测试和监控任何AI驱动的系统或数据管道。从表格数据到生成式AI。100多个指标。

🛡️ 类似Windows Hello™风格的面部认证，适用于Linux

😈Awful AI是一个精选列表，用于跟踪当前AI的可怕用途——希望提高意识

OpenShell是自主AI代理的安全、私有运行时环境。

WiFi安全审计工具套件

OpenCompass是一个LLM评估平台，支持100多个数据集上的多种模型（Llama3、Mistral、InternLM2、GPT-4、LLaMa2、Qwen、GLM、Claude等）。

为大型语言模型添加护栏。

拟合可解释模型。解释黑盒机器学习。

Superagent保护您的AI应用免受提示注入、数据泄露和有害输出的侵害。将安全性直接嵌入您的应用，并向客户证明合规性。

NeMo Guardrails是一个开源工具包，用于轻松地向基于LLM的对话系统添加可编程护栏。

对抗鲁棒性工具箱 (ART) - 用于机器学习安全的 Python 库 - 逃逸、投毒、提取、推理 - 红队和蓝队。

一个工业级联邦学习框架。

Passbolt社区版（CE）API。面向团队的开源密码管理器的JSON API！

将强化学习民主化应用于 LLM。

一个巨大的手动策划的包含 AI 生成图像的网站黑名单，适用于 uBlock Origin 和 uBlacklist。

用于使语言模型与人类和 AI 偏好对齐的稳健配方。

Fawkes，针对面部识别系统的隐私保护工具。更多信息请访问 https://sandlab.cs.uchicago.edu/fawkes

SWE-bench：语言模型能解决现实世界的GitHub问题吗？

基于AI的对抗模拟和红队平台

现代网络安全的代理执行层，通过AI代理、MCP原生工具、知识、审批和攻击链上下文，将安全意图转化为精确、受控、可审计的行动。

《可解释的机器学习--黑盒模型可解释性理解指南》，该书为《Interpretable Machine Learning》中文版

开源统一漏洞管理、DevSecOps与ASPM

对对齐语言模型的通用和可迁移攻击。

AI Agent 治理工具包 — 策略执行、零信任身份、执行沙箱以及自主AI Agent的可靠性工程。涵盖 OWASP Agentic Top 10 全部10项。

用于神经网络可解释性研究的基础设施和工具集合。

Align Anything: 使用反馈训练全模态模型

红队自主黑客代理

本地优先的医疗 AI：临床 NER 和 HIPAA PII 去标识化，100% 在设备上运行。1000+ 医疗模型，12 种语言，Apple MLX + Python，无云端，无患者数据离开网络。Apache-2.0。

跨文本、图像、视频和音频任务的一体化多模态评估工具包。

中文语言理解测评基准 Chinese Language Understanding Evaluation Benchmark: datasets, baselines, pre-trained models, corpus and leaderboard

大型多模态模型 (LMM) 的开源评估工具包，支持 220+ LMM、80+ 基准测试。

CISO Assistant是一个一站式GRC平台，用于风险管理、应用安全、合规与审计、第三方风险管理、业务影响分析、隐私和报告。它支持150多个全球框架，并具有自动控制映射功能，包括ISO 27001、NIST CSF、SOC 2、CIS、PCI DSS、NIS2、DORA、GDPR、HIPAA、CMMC等。

面向开发者的开源数据安全平台，用于监控和检测个人身份信息（PII）、匿名化生产数据并在不同环境间同步。

Python生成式AI风险识别工具（PyRIT）是一个开源框架，旨在帮助安全专业人员和工程师主动识别生成式AI系统中的风险。

一个全栈AI红队平台，通过OpenClaw安全扫描、代理扫描、技能扫描、MCP扫描、AI基础设施扫描和LLM越狱评估来保护AI生态系统。

一个用于管理双因素认证（2FA）账户并生成安全码的Web应用

Deepchecks：用于ML模型和数据持续验证的测试。Deepchecks是一个全面的开源解决方案，满足您所有的AI和ML验证需求，支持从研究到生产对数据和模型进行彻底测试。

要屏蔽的AI代理和机器人列表

自主红队平台；多智能体进攻性安全元框架

[CCS'24] 一个包含来自 Reddit、Discord、网站和开源数据集的 15,140 个 ChatGPT 提示词的数据集（包括 1,405 个越狱提示词）。

面向团队和 AI 智能体的开源安全自动化平台。

内部 Windows 渗透测试/AD 安全自动化。

学习可解释性工具：以可扩展且框架无关的界面交互式分析 ML 模型，理解其行为。

用于 GPT 风格语言模型机制可解释性的库

OML 1.0 通过指纹识别：开放、可货币化且忠诚的 AI

TextAttack 🐙 是一个用于 NLP 中对抗攻击、数据增强和模型训练的 Python 框架 https://textattack.readthedocs.io/en/master/

LLM 实验和 AI 代理的评估与跟踪

比较LLM在总结短文档时产生幻觉性能的排行榜

超越模仿遊戲的協作基準測試，用於衡量和推斷語言模型的能力。

LLM 交互的安全工具包

一个精简且可定制的框架，用于高效的大模型（LLM、VLM、AIGC）评估和性能基准测试。

Keras的神经网络可视化工具包

一个Python工具箱，用于创建欺骗PyTorch、TensorFlow和JAX中神经网络的对抗样本

在几秒内沙盒化任何 AI 智能体——零设置，零延迟。

[ACL 2024] 一个易于使用的 LLM 知识编辑框架。

语言模型全面评估（HELM）是一个开源 Python 框架，由斯坦福基础模型研究中心（CRFM）创建，用于对基础模型（包括大语言模型和多模态模型）进行全面、可重复且透明的评估。

一个用于大语言模型的统一评估框架

用于调试/检查机器学习分类器并解释其预测的库

针对AI代理、MCP服务器和代理技能的安全扫描器。

用于隐私保护数据分析和机器学习的统一框架。

用于异常值、对抗性和漂移检测的算法

UpTrain是一个开源统一平台，用于评估和改进生成式AI应用。我们为20多个预配置检查（涵盖语言、代码、嵌入用例）提供评分，对失败案例进行根因分析，并提供解决见解。

Inspect：一个用于大型语言模型评估的框架。

解释、分析和可视化NLP语言模型。Ecco直接在Jupyter笔记本中创建交互式可视化，解释基于Transformer的语言模型（如GPT2、BERT、RoBERTA、T5和T0）的行为。

关于机器学习和安全的源代码。

智能体大语言模型漏洞扫描器 / AI红队测试工具包 🧪

"通过人类反馈的强化学习训练有用且无害的助手"的人类偏好数据

Safe RLHF：通过基于人类反馈的安全强化学习实现约束价值对齐

将用于CSAM检测的Apple NeuralHash模型转换为ONNX格式。

Instagram信息收集。

LLM提示注入检测器

大型语言模型中 RLHF 的秘密 第一部分：PPO

与🤗 transformers无缝协作的模型可解释性工具。仅需两行代码即可解释你的transformers模型。

隐私保护计算平台 由密码学专家团队打造的开源隐私计算平台，支持多方安全计算、联邦学习、隐私求交、匿踪查询等。

人类ChatGPT对比语料库（HC3）、检测器等！🔥

Semantica • 构建能够解释、追踪和证明每个决策的AI系统。为生产级AI提供知识图谱、上下文图、推理引擎、溯源和治理。

大型语言模型应用的OWASP Top 10（GenAI安全项目的一部分）

AttackGen 是一款网络安全事件响应测试工具，利用大型语言模型和全面的 MITRE ATT&CK 框架的强大功能。该工具根据用户选择的威胁行为者组和组织的详细信息生成量身定制的事件响应场景。

用于自定义 LLM 应用程序的安全扫描器

用于评估和提升大模型安全性的中文安全提示。中文安全prompts，用于评估和提升大模型的安全性。

使用 Prometheus 和 GPT4 评估你的 LLM 响应 💯

通用分布外检测基准测试

用于评估自回归代码生成语言模型的框架

面向智能体的持续改进栈。我们的环境数据和评估驱动智能体改进和监控。

通过自蒸馏进行强化学习 (SDPO)

与框架无关的最先进显著性方法实现（XRAI、BlurIG、SmoothGrad 等）

针对 LLM 代理工作流的安全扫描器

:art: 一个 CNN 可视化工具

面向AI驱动的云和Kubernetes操作的安全优先护栏

🔍 LangKit：用于监控大语言模型 (LLM) 的开源工具包。📚 从提示和响应中提取信号，确保安全与保障。🛡️ 功能包括文本质量、相关性指标和情感分析。📊 一个全面的 LLM 可观测性工具。👀

nnsight 包支持解释和操作深度学习模型的内部结构。

扫描MCP服务器以发现潜在威胁和安全发现。

Offen公平网络分析

OmniXAI: 一个可解释AI库

AI代理安全扫描器。检测代理配置、MCP服务器和工具权限中的漏洞。可作为CLI、GitHub Action、ECC插件和GitHub App集成使用

AI原生风险智能系统，OpenDeRisk——您的应用系统风险智能管理器，提供7*24小时全面深入的防护

FacTool: 生成式 AI 中的事实性检测

这是一个旨在提供 OpenAI GPT 语言模型越狱状态更新的仓库。

开放安全控制评估语言（OSCAL）

Mozilla 5 万美元 AI 奖金的获得者

AI编码代理和人类终端命令的安全护栏

AI 优先的安全扫描器。v2026.7 新功能：Claude Code 入侵检测——在克隆前审查 .claude/ 钩子、权限和技能——加上始终在线的 AI 攻击签名扫描器和原生 Rust 与 PHP 规则。还有：medusa scan --git 审查任何仓库，medusa secrets scan 检测泄露的 API 密钥。40,000+ 模式，零设置

[ICCV 2021 - 口头报告] 通用注意力模型可解释性用于解释双模态和编码器-解码器 Transformer 的官方 PyTorch 实现，一种可视化任何基于 Transformer 网络的新方法。包括 DETR、VQA 的示例

论文《LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code》的官方仓库

一个易于使用的Python框架，用于生成对抗性越狱提示

论文《Automated Hate Speech Detection and the Problem of Offensive Language》的仓库，ICWSM 2017

用于 RLHF 及其替代方案的模拟框架。无需收集人类数据即可开发您的 RLHF 方法。

该仓库用于安全强化学习基线。

用于解释Stable Diffusion的扩散注意力归因图。

Metis 是一个开源的、AI 驱动的深度安全代码审查工具

BLEURT是一种基于迁移学习的自然语言生成指标。

一个隐藏使用生成式 AI 的网站功能和内容的过滤器列表。

AIRecon 是一个自主网络安全代理，结合了自托管的大语言模型（Ollama）、Kali Linux Docker 沙箱和 Textual TUI。它旨在自动化安全评估、渗透测试和漏洞赏金侦察——无需任何 API 密钥或云依赖。

CodeGate：AI 代理框架的安全性、工作区和多路复用

一个用于文本对抗攻击的开源包。

一个故意存在漏洞的银行应用程序，用于练习 Web 应用、API、AI 集成应用的安全测试和安全代码审查。包含真实应用中常见的漏洞，是安全专业人员、开发者和爱好者学习渗透测试和安全编码实践的理想平台。

在GPT中定位和编辑事实关联 (NeurIPS 2022)

BruteSploit是一个用于自动化生成、暴力破解和操作词表的交互式shell方法集合。可在渗透测试期间用于枚举，也可能在CTF中用于操作、组合、转换和排列某些单词或文本文件:p

一个基于深度图的欺诈检测工具箱

一个用于制作 RepE 控制向量的库

OpenJudge: 一个用于全面评估和质量奖励的统一框架

让你的 GenAI 应用安全可靠 :rocket: 测试并强化你的系统提示词

联邦学习基准测试。献给社区。🤗

提高恶意AI驱动图像编辑的成本

训练可解释ML模型、解释ML模型以及调试ML模型以提升准确性、公平性和安全性的技术示例。

针对NeuralHash的原像攻击💣

统一的多语言自然语言处理鲁棒性评估工具包

WinDBG 反 RootKit 扩展

Microsoft Security Copilot 是一款基于生成式 AI 的安全解决方案，能够以机器速度和规模提升防御者的效率和能力，改善安全成果，同时遵循负责任的 AI 原则。

GenAI 合规基准测试是一套针对受监管行业中生成式 AI 的评估基准。

一款帮助云租户发现和测试云上风险、增强云上防护能力的综合性开源工具

用于理解Transformer预测逐层构建过程的工具

Real Intelligence Threat Analytics (RITA) 是一个通过网络流量分析检测命令与控制通信的框架。

ChatGPT 及类似模型的故障存档。

IDS-ML 的代码：使用机器学习算法（决策树、随机森林、极端随机树、XGBoost、堆叠、K-means、贝叶斯优化等）开发入侵检测系统。

本仓库包含论文《MMMU：面向专家级AGI的大规模多学科多模态理解与推理基准》的评估代码

在你睡觉时发现零日漏洞。DeepZero 是一个自动化漏洞研究框架，它使用 AI 代理原生地解析、反编译和分析数千个 Windows 内核驱动程序，以寻找可利用的 IOCTL。

VULNRΞPO - 免费漏洞报告生成器和仓库，端到端加密！包含问题模板、CWE、CVE、MITRE ATT&CK、PCI DSS，支持导入Nmap/Nessus/Burp/OpenVAS/Bugcrowd/Trivy，导出Jira、TXT/JSON/MARKDOWN/HTML/DOCX，附件、自动变更日志、统计、漏洞管理、漏洞赏金、本地AI/LLM，超快速渗透测试报告！

交付安全有效的语言模型

Casbin AI & MCP HTTP安全网关，在线演示：https://door.caswaf.com

基于 TensorFlow 的隐私保护框架。

一种用于文本分类和推理的自然语言攻击模型

论文《The Stable Signature: Rooting Watermarks in Latent Diffusion Models》的官方实现

基于数据驱动的 LLM 应用评估。

[ICLR'25] BigCodeBench: 面向 AGI 的代码生成基准测试

PromptInject是一个以模块化方式组装提示的框架，用于定量分析LLM对对抗性提示攻击的鲁棒性。🏆 NeurIPS ML安全研讨会2022最佳论文奖

论文《大型语言模型基准测试中应对数据污染的最新进展：从静态评估到动态评估》的官方GitHub仓库

一个健壮且灵活的开源用户与实体行为分析（UEBA）框架，用于安全分析。由网络安全行业的数据科学家和安全分析师倾心开发。[测试版]

⚡ Vigil ⚡ 检测提示注入、越狱和其他潜在风险的大语言模型（LLM）输入

扩散解释器：文本到图像稳定扩散的可视化解释

[Pattern Recognition 25] CLIP手术：通过增强开放词汇任务的可解释性

[CVPR'25 亮点] RLAIF-V：开源AI反馈带来超越GPT-4V的可信度

机器学习驱动的 Web 应用防火墙，高精度检测恶意查询

治理与保护您的 AI

一个集成了最先进的文本机器学习模型解释器，并通过内置仪表盘可视化结果的库。

机器学习的安全与隐私风险模拟器（arXiv:2312.17667）

评估大语言模型的工具

EVA是一个AI辅助渗透测试代理，通过提供结构化攻击指导、上下文分析和多后端AI集成来增强进攻性安全工作流

关于基于差分隐私的联邦学习的一切，包括论文和代码。（机制：拉普拉斯或高斯，数据集：femnist、shakespeare、mnist、cifar-10和fashion-mnist）

在将自由文本发送到外部服务或 API（如聊天机器人和 LLM）之前，从中过滤敏感信息。

🗣️ 生成对抗性文本示例并测试机器学习模型对其鲁棒性的工具

可视化Mistral 7B的中间输出

模拟联邦设置并运行差分隐私联邦学习。

基于请求的Arkose Labs验证码求解器，使用语音识别

监控检测侦察兵：你的自动巡航瞭望员

用于深度学习和联邦学习的后门框架。一个轻量级工具，用于进行后门研究。

智能体系统中自动化故障归因的基准测试（🏆 ICML 2025 Spotlight）

Lyrie.ai — 全球首个自主AI网络安全代理。由OTT Cybersecurity LLC构建。

AutoAudit—— the LLM for Cyber Security 网络安全大语言模型

用于加速私有联邦学习研究的模拟框架

用于智能合约审计的AI引擎

一个用于文本分类中可解释机器学习的Python库，基于SS3模型，提供易于使用的可解释AI可视化工具 :octocat:

🤖 Admyral 支持对任何自定义控制进行持续控制监控

提示词攻防、提示注入、逆向工程笔记与示例

在视觉和文本的联邦学习场景中突破隐私保护

MarkDiffusion：用于潜在扩散模型生成式水印的开源工具包

自主白帽安全审计员，用于 AI 驱动的代码审查、漏洞赏金研究、漏洞利用构建和基于执行的验证。