kekeZack e5b0fb8c51 feat: 添加 HauhauCS GGUF 工具和仓库指南 há 1 mês atrás
..
README.md e5b0fb8c51 feat: 添加 HauhauCS GGUF 工具和仓库指南 há 1 mês atrás
remove_gguf_thinking.py e5b0fb8c51 feat: 添加 HauhauCS GGUF 工具和仓库指南 há 1 mês atrás

README.md

HauhauCS GGUF 工具

直接修补 HauhauCS GGUF 文件中的 chat template,去掉 enable_thinking 条件分支,强制输出空 think 块。

文件说明

remove_gguf_thinking.py

用途:

  • 读取 GGUF 文件中的 tokenizer.chat_template
  • 将原本根据 enable_thinking 切换的模板替换为始终输出 <think>\n\n</think>\n\n
  • 原地写回,不改变文件大小

适合场景:

  • 你有一个 HauhauCS 的 GGUF 模型
  • 外部调用无法或不想传 enable_thinking 参数
  • 想让模型始终以 "thinking off" 模式运行

用法:

python remove_gguf_thinking.py 模型文件.gguf

不传参数时默认路径为 Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-NoThink-Q4_K_M.gguf

注意:

  • 新模板长度不能超过原模板,否则报错退出
  • 直接修改原文件,建议先备份