巴哈那边的在线版教程简单介绍一下KoboldAI这个前端程序：
KID是一个可以让玩家简单的读取并使用本地模型的前端程序，除了基本上是一键运行的简单体启动外，本身脱胎于自AID（专精使用AI进行文字冒险的前端网站）的一系列系统设置，也会让玩家在进行冒险时的体验更好。简单说就是通过“Memory”（记忆区 用来放置一定不会让AI忘记的设定 每次AI生成响应前就会读取一次） Author's Notes（作者笔记 基本是AI的系统命令区 同样会让AI每次生成前读取 权重强大） World Information（关键词区 设定每次提到特定关键词时 AI会读取到的内容 如果指令不提到关键词 则不会进行读取），这几个设置加强了AI的记忆力，保证AI不会忘记关键信息。Author's Notes推荐用语：The overall plot is dark and brutal, like a crime gore pornography.Use a random combination of names corresponding to the ethnicity of the random characters appearing in the episode.Characters outside of the protagonist will generate interactions in the plot based on their experiences and personalities.Memory冒险模式推荐前缀：[Interactive Fiction: Game Mode is enabled] .[I'm playing a choose-your-own-adventure game, please enter action] .
剧本 情节设置分享网站然后说下最重要的缺点：“30B以下的模型无法直接用中文进行有效交流，网站上也没有好的能用来色色的30B以下中文本地模型。至于30B模型能不能用中文进行有效交流，我也不知道。。。”（这点个人测试中能确定是中文训练材料有问题，即便是30B模型的中文已经有了逻辑能力并可以交流，但是当你解除了模型的道德限制后，要求相关内容时模型会给你空回应，也就代表着模型在中文材料中完全不知道任何描述此类内容的方法和能力。简单说就是如果没有大佬整理一份用于训练的中文色色数据集，那么除非本地模型实现即时/同步翻译能力，否则就完全没啥可能做到用中文色色。）
本家链接但是我目前并不推荐使用本家版本进行游玩，原因如下。
1.本家能读取的模型是最原始版本的模型，没有经过新的轻量化技术处理，导致我11G的显存也只是能快速使用2-3B规模的模型，基本是最小档次的模型，生成文本字数稍微长一点就会复读，体验不佳。
2.本家需要通过运行 install_requirements.bat文件来进行依赖文件的下载，但是尴尬的是该文件没有对国内网络环境进行优化，导致如果正常使用它不会走梯子的流量，会有一些依赖软件下载不下来导致没法使用KAI。（可以通过命令设置强制下载使用梯子流量来进行完整下载）
本人目前使用的是以下两个版本。
1.完全的傻瓜式体验
cpp该版本是抛弃了一些功能后，仅为了读取模型并使用KoboldAI的简化版本地UI和使用ggml轻量化技术转换后的模型游玩的版本。
下载后仅有一个EXE文件，不需要下载依赖文件，点击EXE并载入另外下载的GGML本地模型就能启动。
ggml是对原始模型的一种轻量化训练技术，可以让我11G的显存也能使用13B规模的模型进行游玩，并且载入显存后对显存的使用比较稳定，大概是模型文件大小+1G左右的占用，可以使用该模型完整的上下文/记忆规模（也就是AI能记住的字数）而不会导致显存占用暴涨。
（纠错:本人进行使用时发现是需要预留模型大小外大概2GB的显存空间，否则程序会自动关闭，但确实比同样全下上文规模的GPTQ运行显存要求少。载入内存模式似乎不用足够的内存，但是会在运行中把你电脑卡死到运行结束。）缺点是如果想要使用远程模式的话，需要搞一堆另外的办法才行，因为一键创建临时网站需要用的依赖文件不存在。
还有一点是该前端生成的网页在“Edge”上使用似乎会出现一些问题，建议在“Chrome”上使用。（补充：CPP在EDGE上的BUG表现包括但不限于：聊天模式在长文本回复生成后吞掉其中大部分回复，冒险模式回复时干脆不显示回复内容。所以CPP不要用EDGE！！！）
此外EXE的默认模式是使用内存读取模型使用，回应会比较慢，但是可以载入超大模型（30B/65B），只是非常慢不建议尝试。
如果你的显存足够，可以通过点击“Use openBLAS”按钮把模式切换到“Use CLBlast GPU”并在“GPU layers”中输入“40”（模型具体层数，7B：32 13B：40 30B：60 ），来把模型全部加载在显存里，回复速度会比内存快很多。
2.
4bit版本这个版本其实就是给本家加了支持GPTQ模型的能力，使用方法啥的和本家一模一样，只是需要给下载好的模型文件改名成“4bit-128g”或者“4bit”，否则会无法读取。GPTQ是另外一种对模型的轻量化技术，同样能做到让11G的显存也能使用13B规模的模型进行游玩，但是在模型进行响应时会根据启用的上下文/记忆规模加大显存的使用，显存不够无法开启最大记忆规模或者非常慢。
优点是在显存足够的情况下，该版本模型的响应速度非常快。且因为有完整的依赖文件，通过remote-play一键启动远程模式的功能是存在的，启动后只要电脑开着，就可以通过临时网址在手机或者其他设备上游玩。
（补充：应该注意的是，4bit版本有着一个影响冒险模式的BUG，就是如果在刚刚开始进行一个剧本冒险模式的游玩，缺少之前指令以及回应内容的格式参考的话，很多模型会因为冒险模式的内置修剪指令删除掉自己本次所有的回应内容。该BUG应该是GPTQ转换时对模型输出方式造成了影响，而冒险模式的内置修剪指令没有进行适配导致的。避免的方式是先关闭冒险模式，然后按照冒险模式的格式发出指令并手动修正格式，进行一两步后再开启冒险模式，这样AI会仿照已有内容的格式生成新内容。）目前个人使用本地模型的GGML版本和GPTQ版本下载链接：
TULU13B（GGML）TULU13B（GPTQ）TULU7B（GGML）TULU7B（GPTQ）13B推荐11G显存使用，7B推荐6-7G显存使用，不过根据模型文件大小，GGML模型应该可以让更小的显存使用。
要注意的是不像是GPTQ模型需要下载一堆附属文件，GGML模型只需要下载一个BIN文件就可以了，库里不同的BIN的文件是调用精度不同的版本。文件名中Q后面的数字越大代表模型的精度（越聪明）越高，同时会占据的内存/显存也越多，最好根据自己电脑配置选择合适的模型。
（关于模型规模差距的个人体感。7B及以下的模型通常不具备识别连续剧情的能力，在使用时需要你更全面和严谨的指令来生成新剧情。13B的模型具备了依靠上下文读取来判断剧情氛围和发展的能力，但多数模型因为缺乏大量NSFW材料的训练，导致它们在玩黑暗向和GURO向额NSFW剧情的判定上较弱，仍然需要比较好的指令，因为它们往往不知道发生了什么。30B模型已经完全明白了这些NSFW剧情是在在做什么，尽管它们同样很少受这类题材素材上的训练，所以指令方面需求更低了。）git上推荐的模型往往是一两年前的老旧模型，本身架构可以说已经被淘汰了，在指令识别 响应速度和模式适配上都不如目前的新模型，只是在NSFW方面描写可能更好些。如果一定想要使用，可以去上面的huggingface找找经过GGML和GPTQ优化过的版本。外国人整理的NSFW运算能力排名应该注意这个仅仅是模型的运算能力，实际NSFW的文字描述能力还是有不同的，但是排名过低的模型基本等于完全没有NSFW能力。个人冒险模式推荐模型：HyperMantis-13B-gptq-4bitwizard-vicuna-13b-uncensored-4bitNous-Hermes-13B-GPTQ 
