ChatGPT核心方法可用于AI绘画，效果飞升47%，通讯作者：已跳槽OpenAI 名侦探柯南：贝克街的亡灵在狂热讨论ChatGPT时看，格外震撼

ChatGPT核心方法可用于AI绘画，效果飞升47%，通讯作者：已跳槽OpenAI 名侦探柯南：贝克街的亡灵在狂热讨论ChatGPT时看，格外震撼， 

ChatGPT核心方法可用于AI绘画，效果飞升47%，通讯作者：已跳槽OpenAI

丰色 发自 凹非寺

量子位 | 公众号 QbitAI

ChatGPT中有这样一个核心训练方法，名叫“人类反馈强化学习（RLHF）”。

它可以让模型更安全、输出结果更遵循人类意图。

现在，来自谷歌Research和UC伯克利的研究人员发现，将该方法用在AI绘画上，“治疗”图像跟输入不完全匹配的情况，效果也奇好——

可以实现高达47%的改进。

△ 左为Stable Diffusion，右为改进后效果

这一刻，AIGC领域中两类大火的模型，似乎找到了某种“共鸣”。

如何将RLHF用于AI绘画？

RLHF，全称“Reinforcement Learning from Human Feedback”，是OpenAI和DeepMind于2017年合作开发的一种强化学习技术。

正如其名，RLHF就是用人类对模型输出结果的评价（即反馈）来直接优化模型，在LLM中，它可以使得“模型价值观”更符合人类价值观。

而在AI图像生成模型中，它可以让生成图像与文本提示得到充分对齐。

具体而言，首先，收集人类反馈数据。

在这里，研究人员一共生成了27000余个“文本图像对”，然后让一些人类来打分。

为了简单起见，文本提示只包括以下四种类别，分别关乎数量、颜色、背景和混合选项；人类的反馈则只分“好”、“坏”与“不知道（skip）”。

其次，学习奖励函数。

这一步，就是利用刚刚获得的人类评价组成的数据集，训练出奖励函数，然后用该函数来预测人类对模型输出的满意度（公式红色部分）。

这样，模型就知道自己的结果究竟有几分符合文本。

除了奖励函数，作者还提出了一个辅助任务（公式蓝色部分）。

也就是当图像生成完成后，模型再给一堆文本，但其中只有一个是原始文本，让奖励模型“自己检查”图像是否跟该文本相匹配。

这种逆向操作可以让效果得到“双重保险”（可以辅助下图中的step2进行理解）。

最后，就是微调了。

即通过奖励加权最大似然估计（reward-weighted likelihood maximization）（下公式第一项），更新文本-图像生成模型。

为了避免过拟合，作者对预训练数据集上的NLL值（公式第二项）进行了最小化。这种做法类似于InstructionGPT(ChatGPT的“直系前辈”）。

效果提升47%，但清晰度下滑5%

如下一系列效果所示，相比原始的Stable Diffusion，用RLHF微调过后的模型可以：

（1）更正确地get文本里的“两只”和“绿色”；

（2）不会忽略“大海”作为背景的要求；

（3）想要红老虎，能给出“更红”的结果。

从具体数据来看，微调后的模型人类满意度为50%，相比原来的模型（3%），得到了47%的提高。

不过，代价是失去了5%的图像清晰度。

从下图我们也能很清楚的看到，右边的狼明显比左边的糊一些：

对此，作者表示，使用更大的人类评价数据集和更好的优化 (RL) 方法，可以改善这种情况。

关于作者

本文一共9位作者。

一作为谷歌AI研究科学家Kimin Lee，韩国科学技术院博士，博士后研究在UC伯克利大学展开。

华人作者三位：

Liu Hao，UC伯克利在读博士生，主要研究兴趣为反馈神经网络。

Du Yuqing，同UC伯克利博士在读，主要研究方向为无监督强化学习方法。

Shixiang Shane Gu (顾世翔)，通讯作者，本科师从三巨头之一Hinton，博士毕业于剑桥大学。

△ 顾世翔

值得一提的是，写这篇文章时他还是谷歌人，如今已经跳槽至OpenAI，并在那里直接向ChatGPT负责人报告。

论文地址：

https://arxiv.org/abs/2302.12192

参考链接：

[1]

https://twitter.com/kimin_le2/status/1629158733736718336

[2]https://openai.com/blog/instruction-following/

发布于：北京


名侦探柯南：贝克街的亡灵在狂热讨论ChatGPT时看，格外震撼

文/叶秋臣

这是柯南剧场版中，我个人最喜欢的一部。

《名侦探柯南：贝克街的亡灵》，豆瓣8.8分。

在日本动画片榜单上，位列19名。

冠军是9.4分的《千与千寻》。

《贝克街的亡灵》给人的整体印象特别深刻，所以每当大家聊起柯南这个话题，总忘不了絮叨几句这部作品。

我今天也借着重映的机会，闲杂地聊聊自己的感受。

叶秋臣是在2002年看完的，片中的内容在21年前属于极为超前的设计，评价成“叹为观止”一点不为过。

尤其是在我们狂热讨论ChatGPT时再回味，这次《贝克街的亡灵》的重映就变得格外震撼。

本次4月4日中国大陆上映的是修复版，内容并没有太多的差异，但换成坐在电影院里观赏，体验感有了质的提升。

很多小伙伴都是为了当年的情怀，去补上这一票的。

截至发稿，上映7天后的总票房已经超过了3500万。

对于“人工智能”概念，在21年前还属于天马行空的想象。

并非是这个世界上当时没有人研究，只是与我们普通人距离太远，感受不到那股冲击。

而且在经历了众多其他题材的动画作品后，第一次看《贝克街的亡灵》时你并不会将其与现实连在一起。

那感觉似乎与哆啦A梦的随意门和竹蜻蜓相高端，总归是无法预想到20年后这种人工智能真的可以改变我们的生活。

人工智能、VR游戏……

这些2023年我们习以为常的讨论话题，竟然在21年前的柯南剧场版里就出现了。

《贝克街的亡灵》成功之处，绝非仅仅因为超前的设想而已。

一部动画电影，简单清晰地讲明白了什么是阶级差距，什么是优胜劣汰，什么是自我觉醒。

搞懂了藏在案件背后的阴谋，以及为了破案做出的努力。

虽然已经21年过去了，但我仍然记得最初看到“茧”这个游戏舱时的惊讶和震撼，以及进入游戏后身临其境的浸入式体验感。

在这样的框架下，通过一桩案件将整个故事串联起来，再将线索恰到好处地给到所有人。

最后谜底揭晓，众人恍然大悟。

两个字，精彩。

很怀念幼时看动画的时光，那时候或许场面没那么宏大，或许画面没那么精致，但通过简单线条勾勒出来的角色，竟然能够带来这么多的感动。

真的很想感慨一句，柯南果然还是过去的好看。

新内容虽然偶尔有关注，但似乎很久都找不到可以称之为“喜欢”这种程度的作品了。

遗憾。

文/叶秋臣

———————

—本文著作权归原作者（@叶秋臣）所有，商业转载请联系作者获得授权，非商业转载请注明出处—抄袭必究—欢迎转发评论—

发布于：北京