该图像生成器以文本描述和预先生成的语义布局为输入，通过多阶段由粗到精的过程合成高分辨率图像 。
在每个阶段，生成器通过关注与该边界框中的对象最相关的单词来合成边界框内的图像区域，如图1的底部行所示 。
更具体地说，它使用一个新的对象驱动的注意层，使用类标签查询句子中的单词，形成一个单词上下文向量，如图4所示，然后根据类标签和单词上下文向量条件合成图像区域 。
图4 对象驱动的注意力
Object-wise判别器会对每个边界框进行检查，确保生成的对象确实与预先生成的语义布局是匹配的 。
同时，为了有效地计算所有边界框的识别损失，object-wise判别器基于一个Fast-RNN，并且每个边界框都有一个二院交叉熵损失 。
实验结果
研究人员在实验过程中采用的数据集是COCO数据集 。它包含80个对象类，其中每个图像与对象注释（即，边界框和形状）和5个文本描述相关联 。
在评价指标方面，研究人员采用 Inception score(IS)和Frechet Inception distance(FID) score作为定量评价指标 。结果如下表所示：
表1
接下来，是采用不同方法生成图像的结果与实际图像的对比结果：

图5 整体定性比较 。所有图像都是在不使用任何ground-truth的情况下生成的 。
图6 与P-AttnGAN w/ Lyt进行定性比较
图7 与P-AttnGAN的定性比较 。每个方法的注意力图显示在生成的图像旁边 。
参考链接：
论文地址：
https://www.microsoft.com/en-us/research/uploads/prod/2019/06/1902.10740.pdf
VB博客地址：
https://venturebeat.com/2019/06/17/microsoft-researchers-use-gans-to-generate-images-and-storyboards-from-captions/

• 鱼漂爆顶是什么原因，浮漂爆顶什么原因
• vivo无线网络遭受攻击是什么意思
• 狗狗图片和多少钱，图片上是什么狗狗 大概多少钱好养吗
• 高铁安检员报什么专业，高铁的职业倾向是什么
• 小编分享京东中设置微信好友代付的简单教程。
• sim卡注册失败是什么原因 sim卡注册失败的原因有哪些
• 微信如何加好友 微信怎么加好友
• me279zp/a是什么型号的iPadme279zp/a iPad是什么型号的
• 教你微信开启未成年人成长守护的操作技巧。
• 桃喉巨蜥多少钱一只，这是什么品种 多少钱一只