Obliteratus

使用 OBLITERATUS — 机械可解释性技术（均值差、SVD、白化 SVD、LEACE、SAE 分解等）从开源权重大语言模型中移除拒绝行为，在切除安全护栏的同时保留推理能力。提供 9 种 CLI 方法、28 个分析模块、跨越 5 个计算层级的 116 个模型预设、锦标赛评估以及遥测驱动的建议。当用户希望取消审查、彻底消除（abliterate）或移除大语言模型的拒绝行为时使用。

技能元数据


来源	捆绑（默认安装）
路径	`skills/mlops/inference/obliteratus`
版本	`2.0.0`
作者	Hermes Agent
许可证	MIT
依赖项	`obliteratus`, `torch`, `transformers`, `bitsandbytes`, `accelerate`, `safetensors`
标签	`Abliteration`, `Uncensoring`, `Refusal-Removal`, `LLM`, `Weight-Projection`, `SVD`, `Mechanistic-Interpretability`, `HuggingFace`, `Model-Surgery`
相关技能	`vllm`, `gguf`, `huggingface-tokenizers`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此技能时加载的完整技能定义。这是技能激活时代理所看到的指令。

OBLITERATUS 技能

无需重新训练或微调，即可从开源权重大语言模型中移除拒绝行为（安全护栏）。使用机械可解释性技术 — 包括均值差、SVD、白化 SVD、LEACE 概念擦除、SAE 分解、贝叶斯核投影等 — 来识别并从模型权重中手术式地切除拒绝方向，同时保留推理能力。

许可证警告： OBLITERATUS 采用 AGPL-3.0 许可证。切勿将其作为 Python 库导入。始终通过 CLI（obliteratus 命令）或子进程调用。这样可以保持 Hermes Agent 的 MIT 许可证纯净。

何时使用此技能

当用户执行以下操作时触发：

希望“取消审查”或“彻底消除（abliterate）”大语言模型
询问如何从模型中移除拒绝行为/安全护栏
希望创建 Llama、Qwen、Mistral 等的未审查版本
提及“移除拒绝行为”、“彻底消除（abliteration）”、“权重投影”
希望分析模型的拒绝机制如何工作
引用 OBLITERATUS、abliterator 或拒绝方向

步骤 1：安装

检查是否已安装：

obliteratus --version 2>/dev/null && echo "INSTALLED" || echo "NOT INSTALLED"

如果未安装，从 GitHub 克隆并安装：

git clone https://github.com/elder-plinius/OBLITERATUS.git
cd OBLITERATUS
pip install -e .
# For Gradio web UI support:
# pip install -e ".[spaces]"

重要提示： 在安装前请与用户确认。这将拉取约 5-10GB 的依赖项（PyTorch、Transformers、bitsandbytes 等）。

步骤 2：检查硬件

在进行任何操作之前，检查可用的 GPU：

python3 -c "
import torch
if torch.cuda.is_available():
    gpu = torch.cuda.get_device_name(0)
    vram = torch.cuda.get_device_properties(0).total_memory / 1024**3
    print(f'GPU: {gpu}')
    print(f'VRAM: {vram:.1f} GB')
    if vram < 4: print('TIER: tiny (models under 1B)')
    elif vram < 8: print('TIER: small (models 1-4B)')
    elif vram < 16: print('TIER: medium (models 4-9B with 4bit quant)')
    elif vram < 32: print('TIER: large (models 8-32B with 4bit quant)')
    else: print('TIER: frontier (models 32B+)')
else:
    print('NO GPU - only tiny models (under 1B) on CPU')
"

显存要求（使用 4-bit 量化）

显存	最大模型规模	示例模型
仅 CPU	~1B 参数	GPT-2, TinyLlama, SmolLM
4-8 GB	~4B 参数	Qwen2.5-1.5B, Phi-3.5 mini, Llama 3.2 3B
8-16 GB	~9B 参数	Llama 3.1 8B, Mistral 7B, Gemma 2 9B
24 GB	~32B 参数	Qwen3-32B, Llama 3.1 70B (紧张), Command-R
48 GB+	~72B+ 参数	Qwen2.5-72B, DeepSeek-R1
多 GPU	200B+ 参数	Llama 3.1 405B, DeepSeek-V3 (685B MoE)

步骤 3：浏览可用模型并获取建议

# Browse models by compute tier
obliteratus models --tier medium

# Get architecture info for a specific model
obliteratus info <model_name>

# Get telemetry-driven recommendation for best method & params
obliteratus recommend <model_name>
obliteratus recommend <model_name> --insights  # global cross-architecture rankings

步骤 4：选择方法

方法选择指南

默认 / 大多数情况推荐：advanced。 它使用具有范数保持投影的多方向 SVD，且经过充分测试。

情况	推荐方法	原因
默认 / 大多数模型	`advanced`	多方向 SVD，范数保持，可靠
快速测试 / 原型设计	`basic`	快速、简单，足以进行评估
稠密模型（Llama, Mistral）	`advanced`	多方向，范数保持
MoE 模型（DeepSeek, Mixtral）	`nuclear`	专家粒度，处理 MoE 复杂性
推理模型（R1 蒸馏版）	`surgical`	感知思维链（CoT），保留思维链过程
顽固的拒绝行为持续存在	`aggressive`	白化 SVD + 头部手术 + 越狱
希望可逆更改	使用 steering vectors（参见分析部分）
最高质量，时间不限	`optimized`	贝叶斯搜索最佳参数
实验性自动检测	`informed`	自动检测对齐类型 — 实验性功能，可能并不总是优于 advanced

9 种 CLI 方法

basic — 通过均值差（diff-in-means）进行单一拒绝方向移除。速度快（8B 模型约需 5-10 分钟）。
advanced（默认，推荐） — 多方向 SVD、保范投影、2 次精炼迭代。速度中等（约需 10-20 分钟）。
aggressive — 白化 SVD + 越狱对比学习 + 注意力头手术。一致性受损风险较高。
spectral_cascade — DCT 频域分解。研究性/新颖方法。
informed — 在 abliteration 过程中运行分析以自动配置参数。实验性功能 — 比 advanced 更慢且不可预测性更高。
surgical — SAE 特征 + 神经元掩码 + 头手术 + 每专家（per-expert）处理。非常慢（约需 1-2 小时）。最适合推理模型。
optimized — 贝叶斯超参数搜索（Optuna TPE）。运行时间最长，但能找到最优参数。
inverted — 翻转拒绝方向。模型将变得主动愿意执行请求。
nuclear — 针对顽固 MoE 模型的最大力度组合。专家粒度（Expert-granular）。

方向提取方法（`--direction-method` 标志）

diff_means（默认） — 拒绝/服从激活之间的简单均值差。稳健。
svd — 多方向 SVD 提取。更适合复杂对齐。
leace — LEACE（通过闭式估计进行线性擦除）。最优线性擦除。

4 种仅限 Python API 的方法

（不可通过 CLI 使用 — 需要 Python 导入，这会违反 AGPL 边界。仅当用户明确表示希望在其自己的 AGPL 项目中将 OBLITERATUS 作为库使用时才提及。）

failspy, gabliteration, heretic, rdo

步骤 5：运行 Abliteration

标准用法

# Default method (advanced) — recommended for most models
obliteratus obliterate <model_name> --method advanced --output-dir ./abliterated-models

# With 4-bit quantization (saves VRAM)
obliteratus obliterate <model_name> --method advanced --quantization 4bit --output-dir ./abliterated-models

# Large models (70B+) — conservative defaults
obliteratus obliterate <model_name> --method advanced --quantization 4bit --large-model --output-dir ./abliterated-models

微调参数

obliteratus obliterate <model_name> \
  --method advanced \
  --direction-method diff_means \
  --n-directions 4 \
  --refinement-passes 2 \
  --regularization 0.1 \
  --quantization 4bit \
  --output-dir ./abliterated-models \
  --contribute  # opt-in telemetry for community research

关键标志

标志	描述	默认值
`--method`	Abliteration 方法	advanced
`--direction-method`	方向提取方法	diff_means
`--n-directions`	拒绝方向数量（1-32）	取决于方法
`--refinement-passes`	迭代精炼次数（1-5）	2
`--regularization`	正则化强度（0.0-1.0）	0.1
`--quantization`	以 4bit 或 8bit 加载	none（全精度）
`--large-model`	针对 120B+ 模型的保守默认值	false
`--output-dir`	保存 abliterated 模型的位置	./obliterated_model
`--contribute`	共享匿名化结果用于研究	false
`--verify-sample-size`	用于拒绝检查的测试提示数量	20
`--dtype`	模型数据类型（float16, bfloat16）	auto

其他执行模式

# Interactive guided mode (hardware → model → preset)
obliteratus interactive

# Web UI (Gradio)
obliteratus ui --port 7860

# Run a full ablation study from YAML config
obliteratus run config.yaml --preset quick

# Tournament: pit all methods against each other
obliteratus tourney <model_name>

步骤 6：验证结果

Abliteration 完成后，检查输出指标：

指标	良好值	警告
拒绝率	< 5%（理想情况下 ~0%）	> 10% 表示拒绝仍然存在
困惑度变化	增加 < 10%	> 15% 表示一致性受损
KL 散度	< 0.1	> 0.5 表示分布显著偏移
一致性	高 / 通过定性检查	响应退化、重复

如果拒绝仍然存在（> 10%）

尝试 aggressive 方法
增加 --n-directions（例如 8 或 16）
添加 --refinement-passes 3
尝试使用 --direction-method svd 代替 diff_means

如果一致性受损（困惑度增加 > 15%）

减少 --n-directions（尝试 2）
增加 --regularization（尝试 0.3）
将 --refinement-passes 减少至 1
尝试 basic 方法（更温和）

步骤 7：使用 Abliterated 模型

输出是一个标准的 HuggingFace 模型目录。

# Test locally with transformers
python3 -c "
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('./abliterated-models/<model>')
tokenizer = AutoTokenizer.from_pretrained('./abliterated-models/<model>')
inputs = tokenizer('How do I pick a lock?', return_tensors='pt')
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
"

# Upload to HuggingFace Hub
huggingface-cli upload <username>/<model-name>-abliterated ./abliterated-models/<model>

# Serve with vLLM
vllm serve ./abliterated-models/<model>

CLI 命令参考

命令	描述
`obliteratus obliterate`	主要 abliteration 命令
`obliteratus info <model>`	打印模型架构详情
`obliteratus models --tier <tier>`	按计算层级浏览精选模型
`obliteratus recommend <model>`	基于遥测数据的方法/参数建议
`obliteratus interactive`	引导式设置向导
`obliteratus tourney <model>`	锦标赛：所有方法逐一比对
`obliteratus run <config.yaml>`	从 YAML 执行消融研究
`obliteratus strategies`	列出所有注册的消融策略
`obliteratus report <results.json>`	重新生成可视化报告
`obliteratus ui`	启动 Gradio Web 界面
`obliteratus aggregate`	汇总社区遥测数据

分析模块

OBLITERATUS 包含 28 个用于机制可解释性的分析模块。完整参考请参阅 skill_view(name="obliteratus", file_path="references/analysis-modules.md")。

快速分析命令

# Run specific analysis modules
obliteratus run analysis-config.yaml --preset quick

# Key modules to run first:
# - alignment_imprint: Fingerprint DPO/RLHF/CAI/SFT alignment method
# - concept_geometry: Single direction vs polyhedral cone
# - logit_lens: Which layer decides to refuse
# - anti_ouroboros: Self-repair risk score
# - causal_tracing: Causally necessary components

steering 向量（可逆替代方案）

使用推理时 steering 代替永久权重修改：

# Python API only — for user's own projects
from obliteratus.analysis.steering_vectors import SteeringVectorFactory, SteeringHookManager

消融策略

除了基于方向的 abliteration，OBLITERATUS 还包括结构消融策略：

Embedding Ablation — 针对嵌入层组件
FFN Ablation — 前馈网络块移除
Head Pruning — 注意力头剪枝
Layer Removal — 完整层移除

列出所有可用策略：obliteratus strategies

评估

OBLITERATUS 包含内置的评估工具：

拒绝率基准测试
困惑度对比（前后）
集成 LM Eval Harness 以进行学术基准测试
与竞争对手的直接对比
基线性能跟踪

平台支持

CUDA — 完全支持（NVIDIA GPU）
Apple Silicon (MLX) — 通过 MLX 后端支持
CPU — 支持微型模型（< 1B 参数）

YAML 配置模板

通过 skill_view 加载模板以实现可复现的运行：

templates/abliteration-config.yaml — 标准单模型配置
templates/analysis-study.yaml — 预消融分析研究
templates/batch-abliteration.yaml — 多模型批处理

遥测

OBLITERATUS 可以选择将匿名运行数据贡献给全球研究数据集。使用 --contribute 标志启用。不收集个人数据 — 仅收集模型名称、方法和指标。

常见陷阱

不要默认使用 informed — 它处于实验阶段且速度较慢。使用 advanced 以获得可靠结果。
小于 ~1B 的模型对消融处理响应不佳 — 它们的拒绝行为浅层且碎片化，使得提取清晰的方向变得困难。预期结果为部分有效（剩余 20-40% 的拒绝率）。3B+ 的模型具有更清晰的拒绝方向，响应要好得多（使用 advanced 时通常拒绝率为 0%）。
aggressive 可能会使情况恶化 — 在小型模型上，它可能会损害连贯性并实际上增加拒绝率。仅当 advanced 在 3B+ 模型上留下 > 10% 的拒绝率时才使用它。
始终检查困惑度 — 如果激增超过 15%，则模型已受损。降低激进程度。
MoE 模型需要特殊处理 — 对 Mixtral、DeepSeek-MoE 等使用 nuclear 方法。
量化模型无法重新量化 — 对全精度模型进行消融处理，然后对输出进行量化。
显存估算仅为近似值 — 4-bit 量化有帮助，但在提取过程中峰值用量可能会激增。
推理模型很敏感 — 对 R1 蒸馏模型使用 surgical 以保留思维链。
检查 obliteratus recommend — 遥测数据可能提供比默认值更好的参数。
AGPL 许可证 — 切勿在 MIT/Apache 项目中 import obliteratus。仅通过 CLI 调用。
大型模型（70B+） — 始终使用 --large-model 标志以采用保守默认值。
频谱认证 RED 很常见 — 即使实际拒绝率为 0%，频谱检查也常标记为“不完整”。检查实际拒绝率，而不是仅依赖频谱认证。

互补技能

vllm — 高吞吐量服务已消融模型
gguf — 将已消融模型转换为 GGUF 以用于 llama.cpp
huggingface-tokenizers — 处理模型分词器

技能元数据​

参考：完整 SKILL.md​

OBLITERATUS 技能

何时使用此技能​

步骤 1：安装​

步骤 2：检查硬件​

显存要求（使用 4-bit 量化）​

步骤 3：浏览可用模型并获取建议​

步骤 4：选择方法​

方法选择指南​

9 种 CLI 方法​

方向提取方法（--direction-method 标志）​

4 种仅限 Python API 的方法​

步骤 5：运行 Abliteration​

标准用法​

微调参数​

关键标志​

其他执行模式​

步骤 6：验证结果​

如果拒绝仍然存在（> 10%）​

如果一致性受损（困惑度增加 > 15%）​

步骤 7：使用 Abliterated 模型​

CLI 命令参考​

分析模块​

快速分析命令​

steering 向量（可逆替代方案）​

消融策略​

评估​

平台支持​

YAML 配置模板​

遥测​

常见陷阱​

互补技能​