报告题目：Multimodal LLMs as Social Media Analysis Engines

报告时间：2025年5月16日（星期五）14:30

报告地点：翡翠湖校区科教楼B501报告厅

报 告 人：罗杰波 教授

工作单位：美国罗切斯特大学计算机科学系

举办单位：伟德国际victor1946

报告简介：

近期研究揭示了多模态大型模型（MLMMs）在通用视觉和语言任务中的出色能力。人们越来越关注MLMMs在特定领域的表现，尤其是社交媒体内容。由于社交媒体内容本质上是多模态的，包含文本、图像、视频和音频，模型需要理解这些不同沟通方式之间的相互作用及其对信息传递的影响。然而，理解社交媒体内容对当前机器学习框架仍是一个挑战。为了评估MLMMs在社交媒体分析中的能力，该研究选择了五个关键任务：情感分析、仇恨言论检测、虚假新闻识别、人口推断和政治意识形态检测。研究团队首先对每个任务使用现有基准数据集进行初步定量分析，随后回顾结果并选取定性样本，以展示GPT-4V在理解多模态社交媒体内容中的潜力。GPT-4V在这些任务中表现出色，展现了其在图像-文本对联合理解、语境和文化意识以及广泛常识知识方面的优势。然而，尽管有这些优势，GPT-4V仍面临挑战，例如“幻觉”问题（生成不准确或虚构内容），并且在多语言社交媒体内容的理解和适应最新社交媒体趋势方面存在困难，因此进一步提出了几种策略来提升模型在这些任务中的表现。该研究的发现为MLMMs的未来发展提供了希望，强调了通过多态信息分析来加深对社交媒体内容及其用户的理解的重要性。

报告人简介：

罗杰波教授是罗切斯特大学计算机科学系教授。他于2011年加入该校，此前在柯达研究实验室拥有长达15年的卓越职业生涯。他发表了超过600篇技术论文，并持有超过90项美国专利。他的研究兴趣包括计算机视觉、自然语言处理（NLP）、机器学习、数据挖掘、计算社会科学和数字健康等领域。他曾参与众多技术会议的组织工作，包括担任ACM Multimedia 2010、IEEE CVPR 2012 和 IEEE ICIP 2017的程序主席，以及ACM Multimedia 2018 和 IEEE ICME 2024 的大会主席。罗教授还曾担任多个顶级期刊的编委，包括 IEEE TPAMI、IEEE TMM、TCSVT、IEEE TBD、ACM TST 和 PR 等。他是 ACM、AAAI、IEEE、AIMBE、IAPR 和 SPIE 的Fellow，同时是欧洲科学院院士和美国国家发明家学院院士。他于2021年获得ACM SIGMM技术成就奖，并于2025年荣获IEEE计算机协会爱德华·J·麦克卢斯基技术成就奖。