网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
成为超级会员,使用一键签到
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
06月25日
漏签
0
天
人工智能吧
关注:
109,365
贴子:
496,246
看贴
图片
吧主推荐
视频
游戏
5
回复贴,共
1
页
<<返回人工智能吧
>0< 加载中...
大模型滑动窗口可以调小
只看楼主
收藏
回复
胡梦柯5
9S
12
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
滑动窗口太大了,会相应严重增加复杂度与训练要求,配合改进机制,减小窗口到256或128,可极大减小各方面要求,甚至将参数量降到几亿以内,而智能应答质量却能明显提升。一一!!当前各大模型已经走到了一条浪费算力的歧路上。为什么这么说,我会详细说明。
胡梦柯5
9S
12
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
大模型的应答,是序列提示对序列生成的泛化咉射,相当于人类不经深思,脱口而出的对话与思维层次,而人的这个层次的对话,一般不太长,都是相对较短的几句话。
胡梦柯5
9S
12
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
窗口变小,那人类深思的较长对话及背诵千字文及更长的上下文关联,大模型本身不就没法搞定了?可以分析这些任务,很多是层次化处理,而大模型我们同样可层次化处理,将这些长文任务分层次让大模型去交互,最后完善。
胡梦柯5
9S
12
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
大模型层次化处理任务,方法很多,例如,自顶向下的设计方法可作借鉴,将顶层任务分解重构成树或森林,在交互中生成中间各层的prompt。人的思维也是这样做的,例如中文理解任务,例如逻辑推理比较等。
胡梦柯5
9S
12
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
你背千字文是怎样背的,不是一次性全文,也不是很多次全文从头到尾,而是一两句一两句处理,可以是自厎向上最后构成整体。所以要求窗口大小大到容纳全文,其实真要求过高,想省略深思过程而暴力使用算力一步搞定,最后被拖入AI关键时刻的“星球大战计划”了。
🌠流星🌠!
贾维斯
9
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
你的意思是把语言的大任务变成多个小任务吧
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示