yugebing

GF 2023-10-18 14:14

只看GF | | 小中大

讨论：关于定向训练小说模型的可能性

       我们已知，可以通过给图片打标签的方式训练获得大型模型，这个打标签的工作往往是人工的，但是大多数小说在网站上都拥有比较详尽的标签描述。
       那么，我是否可以通过收集符合我口味的小说，通过类似于sd或者novelai这种工具进行训练呢
       我有两个困惑请各位有能力指导的老师指点：
       1，哪个ai软件支持对文字的训练
       2，如何避免过拟合

如果这个想法可行，我将进行实验，并且无偿分享实验结果

顶端

肥仔打人

B1F 2023-10-18 19:32

只看该作者 | | 小中大

小说最重要的是逻辑，而你玩文爱的chatgpt、claude等大语言模型，文笔辞藻都不是最重要的，最重要的是推理、逻辑能力。这条恰恰普通人搞不定，要求算力太高了，能搞定的话你都能自己搞个大语言模型了。

顶端

db848106

B2F 2023-10-18 23:29

只看该作者 | | 小中大

朋友你说的不是AI写小说，
而是AI自动生成垃圾文字。
已经有人像你这么干了，可以写万字左右前言不搭后语的垃圾文，还能做成视频。
长篇小说就不行了。

顶端

阿zhou

B3F 2023-10-19 01:50

只看该作者 | | 小中大

这的等到超导体出现吧，普通人应该就能搞了

顶端

yugebing

B4F 2023-10-19 09:26

只看该作者 | | 小中大

回 2楼(db848106) 的帖子

我不想要那种ai自动生成，像claude这种模型现在已经可以理解语义了，我在想我是否可以在某个模型的基础上，投喂定向内容强化它在写小说方面的能力，我也不需要它很长，可能我给他章节名字，生产出来的进行修改就是了，这也是不错的辅助工具

顶端

yugebing

B5F 2023-10-19 09:29

只看该作者 | | 小中大

回 1楼(肥仔打人) 的帖子

这个我理解，我想的是，既然普通人可以做画图模型（本质也是训练集训练），那么是否有工具可以像我们做图像模型那样，通过标签和文章的组合，生成模型呢

顶端

assassingyk

B6F 2023-10-21 01:11

（专注催眠二十年）

只看该作者 | | 小中大

回 5楼(yugebing) 的帖子

普通人能做的画图模型绝大多数本质是在一个已经公开的别人训练好的已经掌握画图逻辑的基底模型上做微调，让这个模型出的结果向我们想要的方向上偏移，这个基础模型的训练工作量才是最大的……

大语言模型这边就是缺这么一个被公开的优秀底模……大多数开源的模型都只是学校啊科研机构啊练的，效果比不了商业模型，而openai和anthropic这种级别的公司指望像novelai那时一样有黑客去把人家训练好的底模偷出来也不太现实……

顶端

幻影

B7F 2023-10-21 01:35

只看该作者 | | 小中大

Re:回 5楼(yugebing) 的帖子

引用
引用第6楼656ad70d于2023-10-21 01:11发表的回 5楼(yugebing) 的帖子 :
普通人能做的画图模型绝大多数本质是在一个已经公开的别人训练好的已经掌握画图逻辑的基底模型上做微调，让这个模型出的结果向我们想要的方向上偏移，这个基础模型的训练工作量才是最大的……

大语言模型这边就是缺这么一个被公开的优秀底模……大多数开源的模型都只是学校啊科研机构啊练的，效果比不了商业模型，而openai和anthropic这种级别的公司指望像novelai那时一样有黑客去把人家训练好的底模偷出来也不太现实……

偷出来也没用啊，B站之前有一些UP转载了一些公开语言模型，要的配置太高了。
stablediffusion火热就是因为算力要求比较低

顶端

Mni

B8F 2023-10-21 09:59

（快乐炼丹人）

只看该作者 | | 小中大

RWKV 了解一下

顶端

Ridley

B9F 2023-10-21 12:07

（空的）

只看该作者 | | 小中大

我怎么记得半年前就有类似的工具了，当时还玩过，直接喂你选的小说就能自己写相同风格的小说

顶端

漫区特设

蜜柑计划

综合交流

人民囧府

讨论：关于定向训练小说模型的可能性

回 2楼(db848106) 的帖子

回 1楼(肥仔打人) 的帖子

回 5楼(yugebing) 的帖子

Re:回 5楼(yugebing) 的帖子

引用