请选择进入手机版 | 继续访问电脑版

登录/注册

首页 › 活字格专区 › Bug反馈 › 查看内容

金牌服务用户

259 主题	620 帖子	2255 积分

金牌服务用户

积分: 2255

12369
金币
259
主题
620
帖子

最新发帖

[处理中] [F-27387]【11.0.0】【AI插件参数设置的BUG】

毛毛
金牌服务用户 / 发表于：2025-3-7 14:00 / 查看：135 / 回复：4

本帖最后由 Lay.Li 于 2025-3-12 14:09 编辑

如图所示，max_tokens参数设置不生效。

为啥需要这个参数，在本地用xinference部署大模型时，默认的max_tokens是512，显然太小，经常出现一个问题还没完全回复完就被截断，造成体验感很不好。

xinference那边支持openai的调用方式，max_tokens需要自己设置值传过去，然而在活字格中不管将该值设为多少都没有效果，仍然是回答到一半就被截断。
在设置成很小的数值比如50时也会噼里啪啦输出几百个字然后截断。

本帖子中包含更多资源

您需要登录才可以下载或查看，没有帐号？立即注册

x

评分

参与人数 1	金币 +1000	收起理由
Lay.Li	+ 1000	赞一个!

查看全部评分

收藏

回复

4 个回复

倒序浏览

Lay.Li
超级版主 / 发表于：2025-3-7 15:14:30 沙发

感谢大佬的反馈，确实有这个问题，这边儿反馈一下~

回复 使用道具举报

毛毛
金牌服务用户 / 发表于：2025-3-8 17:25:06 板凳

Lay.Li 发表于 2025-3-7 15:14
感谢大佬的反馈，确实有这个问题，这边儿反馈一下~

另外麻烦确认一下下面那个采样温度参数是不是也不生效，我设置成0每次回复的结果也总是变来变去

回复 使用道具举报

Lay.Li
超级版主 / 发表于：2025-3-10 09:54:17 地板

大佬，采样温度为0。ai的回复也是会变化的

这边使用通义千问测试了一下，将采样温度调整为最低，结果还是会经常变化。

您可以直接在对应模型的测试工具中测试，将采样温度调整为最低，看看这时ai的回复会不会变化。看看是不是活字格的问题

本帖子中包含更多资源

您需要登录才可以下载或查看，没有帐号？立即注册

x

回复 使用道具举报

Lay.Li
超级版主 / 发表于：2025-3-12 14:10:18 5^#

Lay.Li 发表于 2025-3-7 15:14
感谢大佬的反馈，确实有这个问题，这边儿反馈一下~

问题跟进，max_tokens设置后未生效确实是一个产品问题，我们会在正式版中修复这个问题哈

回复 使用道具举报