1634649.jpg

今天贤者好吗

GF  2024-02-01 14:53

最近想打算买卡了,有几个问题问下好兄弟们

1. 4090现在价格合理吗?具体买哪家的?如果不合理的话,用啥平替?
2. CPU用啥啊


none.gif

夜寮原

B1F  2024-02-12 06:12
建议是暂时别自己搭建 现在主流claude2之类的体验起码要Yi-34B这种 不建议多卡  要自己修各种bug还没特别大提升 不如两张价格买张好的 考虑下租A100? 或者买32/64G ddr4+好点的U+3090 24G?这样大概可以跑Yi-34b fp4 留下三四个G做上下文 或者GGUF格式跑fp16 显存尽量买大点 不然大于13B往上的模型基本都要GGUF 跑起来会慢很多而且就算未来要跑图大显存也很爽