大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

Multimodal Autoregressive Pre-training of Large Vision Encoders

要点】：本文提出了一种名为AIMV2的全新预训练方法，将自回归预训练框架扩展到多模态（图像和文本）场景，实现了在多种下游任务中的卓越性能。
【方法】：通过将视觉编码器与多模态解码器结合，该解码器能够自回归地生成原始图像块和文本标记。
【实验】：实验使用了AIMV2模型，并在ImageNet-1k数据集上取得了89.5%的准确率，同时对比了现有最佳对比模型（如CLIP、SigLIP），在多模态图像理解方面取得了优越结果。
【链接】：https://www.aminer.cn/pub/673ffd48ae8580e7ff291d32

SAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory

【要点】：本文提出了SAMURAI模型，通过结合运动感知记忆选择机制和时序运动线索，改进了Segment Anything Model 2在视觉对象跟踪方面的性能，实现了无需重新训练或微调的零样本跟踪。
【方法】：SAMURAI模型在SAM 2的基础上，引入了运动感知记忆选择机制，该机制通过分析时序运动线索来优化记忆的选择，进而改善图像特征的条件作用和跟踪准确性。
【实验】：研究者在多个标准数据集上评估了SAMURAI模型，包括GOT-10k和LaSOT，实验结果显示SAMURAI在成功率和精度上均优于现有跟踪器，并在GOT-10k上实现了7.1的性能提升，同时在LaSOT上与完全监督方法相比也取得了有竞争力的结果。
【链接】：https://www.aminer.cn/pub/673e9978ae8580e7ff81a9da

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

【要点】：本文提出了一个“过滤-关联-压缩”的统一范式的无训练加速多模态大型语言模型推理方法，提高了推理速度同时保持了性能。
【方法】：作者分解了token reduction过程为三个独立阶段，并保持了设计目标和元素的连贯性，同时允许独特的实现方式。
【实验】：在10个基准测试中，本文的方法达到了最高82.4倍的FLOPs减少，且对性能的影响最小，超越了现有的无训练推理加速方法。具体实验使用了多个数据集，但论文中未明确提及数据集名称。
【链接】：https://www.aminer.cn/pub/67468bccae8580e7ff7a449a

Star Attention: Efficient LLM Inference over Long Sequences

【要点】：本文提出了一种名为Star Attention的长序列高效推理方法，通过双阶段稀疏近似，显著提升了基于Transformer的大型语言模型在处理长序列时的计算效率。
【方法】：Star Attention采用两阶段策略，首先在多个主机上并行处理上下文信息，使用块状局部注意力；其次，查询和响应令牌通过序列全局注意力关注所有先前缓存的令牌。
【实验】：实验表明，Star Attention能够与大多数经过全局注意力训练的Transformer模型无缝集成，减少内存需求和推理时间高达11倍，同时保持95-100%的准确率。具体实验使用的数据集名称未在摘要中提及。
【链接】：https://www.aminer.cn/pub/67468bc2ae8580e7ff7a1142

ShowUI: One Vision-Language-Action Model for GUI Visual Agent

【要点】：本文提出了一种名为ShowUI的视觉-语言-行动模型，用于构建图形用户界面（GUI）助手，通过UI引导的视觉标记选择、交织的视觉-语言-行动流以及小规模高质量GUI指令遵循数据集等创新技术，显著提高了GUI视觉代理的性能。
【方法】：ShowUI模型采用了UI引导的视觉标记选择以降低计算成本，交织的视觉-语言-行动流以灵活统一GUI任务中的多样化需求，并通过精心筛选数据和重采样策略构建了小规模高质量的数据集。
【实验】：在Mind2Web、AITW和MiniWob等环境下进行的导航实验表明，使用256K数据训练的轻量级ShowUI模型取得了75.1的性能，并且相比之前的方法性能提高了1.4倍。实验结果证明了模型的有效性和GUI视觉代理的潜力。数据集名称未在摘要中明确提及。相关模型已公开在https://github.com/showlab/ShowUI。
【链接】：https://www.aminer.cn/pub/67468bccae8580e7ff7a4396