近日,字节跳动旗下智能AI助手豆包升级文生图能力,支持一键生成指定文本。用户可以在生图提示词中加入文本要求,如“一张带有「新年快乐」的图”,即可生成带有指定文字的图片。目前该功能已经在豆包APP开启测试,即梦也已小范围测试。

(用豆包生成带有文字的图片)

对文生图模型而言,如何在图像中精准生成文本一直是难题,尤其是中文文字,经常出现乱码。据介绍,相比英文字母,汉字字符结构更复杂,且字符数量要多两个数量级。豆包大模型团队相关负责人表示,豆包文生图模型通过打通LLM和DIT构架,具备更好的原生中文数据学习能力,并在此基础上强化了汉字生成能力,大幅提升了生成效果。

据观察,已有不少用户尝试使用该能力制作表情包、梗图漫画,或辅助生成海报,并在社交媒体平台发布。据介绍,当前该功能仅支持文生图时添加文字,暂不支持上传图片生成文字。

豆包负责人表示,该能力刚刚推出,仍在完善和优化中。目前绝大多数情况下豆包能够准确生成指定文字,但仍存在少部分错字、漏字或小字乱码等情况。“不管文字、图片、还是音乐生成功能,豆包都希望能够降低创作门槛,帮助人们更好地表达和创造。”据悉,豆包网页及电脑版也将在近期上线该能力。

豆包是字节跳动基于豆包大模型推出的AI智能助手,支持手机App、PC 电脑版、网页版、浏览器插件。作为全能AI 助手,豆包能为生活、学习、工作提供帮助。用户可以通过豆包搜索信息,答疑解惑,分析总结,提供灵感,辅助创作,提高生活和学习效率。