OpenAI 宣布,具有视觉能力的最新 GPT-4 Turbo 模型 GPT-4 Turbo with Vision 现已通过 OpenAI API 向开发人员普遍提供。
据了解,该模型延续了 GPT-4 Turbo 系列 128,000 个 token 的窗口大小以及截止至 2023 年 12 月的知识库,最大的革新之处在于其新增的视觉理解能力。在过去,开发者需要调用不同的模型来处理文本和图像信息,而 GPT-4 Turbo with Vision 则将两者合二为一,极大简化了开发流程,并带来了广泛的应用前景。
OpenAI 也分享了一些开发者正在使用该模型的有趣案例。例如,AI 软件工程助手 Devin 利用 GPT-4 Turbo with Vision 辅助编程;健康健身应用程序 Healthify 使用该模型扫描用户饮食照片,通过图像识别提供营养分析;创意平台 Make Real 则利用该模型将用户的草图转化为可运行的网站。
目前,GPT-4 Turbo with Vision 尚未应用于 ChatGPT 或开放给大众使用,不过 OpenAI 暗示该功能即将登陆 ChatGPT。