淘天集团革新多模态对齐技术，有效缓解视觉大模型幻觉难题

2025-01-20 16:39:25

导读近年来，视觉大模型在图像理解和跨模态任务中表现卓越，但“幻觉现象”日益显著。为此，淘天集团未来生活实验室团队提出了“令牌偏好优化”...

近年来，视觉大模型在图像理解和跨模态任务中表现卓越，但“幻觉现象”日益显著。

为此，淘天集团未来生活实验室团队提出了“令牌偏好优化”（TPO）新方法，并引入自我校准的视觉锚定奖励机制，实现了自动化的令牌级奖励信号，优化了模型对视觉信息的依赖，有效减轻了幻觉现象。

研究表明，TPO方法显著提升模型性能，特别是在复杂任务中，模型更依赖图像信息。

此外，消融实验发现优化的加噪步骤和奖励分配策略能进一步提高模型性能。

这一创新成果为AI技术在生活和消费领域的应用提供了新思路。

郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时候联系我们修改或删除，多谢。

标签：

上一篇:ChatGPT API曝出重大安全漏洞，或成DDoS攻击新工具

下一篇:最后一页