claude吧 关注:15,310贴子:104,860
  • 21回复贴,共1

有没有大佬能搞出来本地部署啊

只看楼主收藏回复

我看有minigpt4 本地部署了 但是目前看来主要是以识别图片为主的聊天 不知道能不能做到跟claude一样的角色扮演以及聊天


IP属地:河南1楼2023-05-15 03:35回复
    或者有大佬手上有12gb以上的n卡去试一下部署的效果怎么样 我现在只有一张A卡


    IP属地:河南2楼2023-05-15 03:36
    回复
      minigpt4首先是开源模型,Claude既没开源也没api(存疑)怎么本地部署?还有很多模型已经不是私人计算机可以带动的了


      IP属地:云南来自Android客户端3楼2023-05-15 08:44
      收起回复
        我也是A卡很多东西都没法用什么vits啥的都没法跑


        IP属地:山东4楼2023-05-15 09:42
        回复
          别想了,本地部署,一块80gb显存的a100估计都够呛,还是等以后看有没有阉割版的开源小模型吧


          IP属地:广东来自Android客户端5楼2023-05-15 11:03
          收起回复
            做不到,cl有9000个token,你电脑受得了吗?


            IP属地:广东来自Android客户端6楼2023-05-15 14:01
            收起回复
              想学本地部署的不需要在这里问,自己b站搜下教程就知道了,这里的人啥都不懂净瞎扯


              IP属地:广西来自iPhone客户端7楼2023-05-15 14:52
              收起回复