谷歌发布ScreenA

ScreenAI是由GoogleAI开发的一种视觉语言模型（VLM），它能够理解用户界面（UI）和信息图表。它能够执行图形问答、元素标注、摘要、导航以及UI特定的问答等任务。它的工作原理类似于一个超级强大的UI解释器。

ScreenAI使用两个阶段：预训练阶段：应用自监督学习来自动生成数据标签。

微调阶段：使用人类评分员手动标记的数据。