网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索
claude吧 关注：15,191贴子：104,514

用了一下RWKV本地化AI，GTX 1650Ti运行4G-7

只看楼主收藏回复

用了一下RWKV本地化AI，GTX 1650Ti运行4G-7B模型会爆显存，3B模型太傻了都分不清人称，AI无法理解用户输入的“你”表示AI自身。
有好显卡的可以试一下高级模型。
IP属地:湖北来自Android客户端1楼2023-06-06 13:26回复
    开源地址：https://github.com/josStorer/RWKV-Runner
    打不开github的可以从阿里云下载：https://www.aliyundrive.com/s/jurikB2ZWhG
    IP属地:湖北来自Android客户端2楼2023-06-06 13:27
    回复
      用法，新建一个文件夹，把启动器放进去（因为启动器会直接在它当前的路径放文件，所以把它单独放进一个文件夹里，后面不用了删除，或者再次打包也方便。）。
      IP属地:湖北来自Android客户端3楼2023-06-06 13:29
      回复
        运行启动器后，按提示下载python运行环境以及模型就好了。
        IP属地:湖北来自Android客户端4楼2023-06-06 13:29
        回复
          电脑太拉了，就看看
          IP属地:浙江来自Android客户端5楼2023-06-06 15:03
          回复
            效果怎么样
            IP属地:江苏来自Android客户端6楼2023-06-06 15:37
            收起回复
              插个眼，是我的4080该派上用场的时候了
              IP属地:广东来自Android客户端7楼2023-06-06 15:53
              收起回复
                太卡了……电脑给我整死机三次了还是没能读取模型……放弃了
                IP属地:湖北来自Android客户端8楼2023-06-06 16:03
                回复
                  有一台笔记本3060。回去试试能玩不。
                  IP属地:广西9楼2023-06-06 16:45
                  回复
                    插个眼看看，我的小垃圾电脑不配
                    IP属地:贵州来自iPhone客户端12楼2023-06-06 17:44
                    回复
                      我的評價是顯卡不是近兩年甜品以上(>3060)的都不要浪費時間了，移動1660Ti 6GB VRAM跑7B的WizardLM都得爆顯存，再小的模型使用價值很小
                      IP属地:中国香港14楼2023-06-07 15:02
                      回复
                        是时候掏出我的3070了
                        IP属地:河南来自Android客户端15楼2023-06-07 18:56
                        回复
                          别急，7b和14b模型也分不清你我
                          IP属地:广东来自Android客户端16楼2023-07-11 03:48
                          回复
                            效果可以吗
                            IP属地:上海来自iPhone客户端18楼2023-07-22 15:54
                            收起回复
                              感觉14b才能满足我
                              IP属地:河南来自手机贴吧19楼2023-07-23 22:12
                              回复

                                扫二维码下载贴吧客户端

                                下载贴吧APP
                                看高清直播、视频！
                                发表回复
                                发贴请遵守贴吧协议及“七条底线”贴吧投诉
                                内  容:
                                  查看全部
                                发 表
                                保存至快速回贴