一 起因

【资料图】

最近的ChatGPT也是越来越火了，更是带动了一波新的AI发展趋势。但是呢，大部分人都是抱着一个猎奇的心态去尝试了解。其实并未尝试深层次的角度去解析这次的浪潮。

二 正文

2.1 算法解析（源自ChatGPT和笔者自身专业知识的解读）

ChatGPT其实是采用了深度学习中的Transformer架构，以及预训练和微调的技术，可以理解为一个很大的神经网络，其中包含了数十亿个参数。这个网络在大量的文本数据上进行了预训练，从而学习到了语言的结构和规律。然后，可以通过微调这个预训练模型来完成各种具体的任务，例如聊天机器人、文本生成、文本分类等等。

而这个Transformer架构是一种用于处理序列数据的神经网络结构，最初是由Google提出的（是不是有点意外，谷歌提出的东西被其对手微软用到极致了）。它的主要特点是不需要像传统的循环神经网络（RNN）那样需要逐个处理序列中的每个元素，因此在处理长序列时具有很好的效率和并行性。在Transformer中，序列数据首先通过一个叫做“自注意力机制”的模块进行编码。

自注意力机制在处理序列数据（文本语言）时，会计算每个位置与序列中其他位置之间的关联程度，并根据这些关联程度来给每个位置分配一个加权值。这个加权值表示该位置在序列中的重要性，也就是它对整个序列的贡献程度。简单来说，就是每句不那么胡说八道的话其实对模型来说都有意义的，如果有上下文，那么这句话就应该包含更多的信息

自注意力机制的计算过程中，需要用到三个向量，分别是“查询向量”、“键向量”和“值向量”。查询向量用于计算该位置与序列中其他位置之间的关联程度，键向量和值向量用于表示序列中其他位置的信息和该位置的信息。这三个向量可以通过神经网络学习得到，通常使用多层感知机（MLP）来计算它们之间的关系。简单来说，就是建模。大批量文本的建模。这也可以解释了ChatGPT说出的话总是那么有条理。即使是胡说八道，也会让人觉得有理的那种胡说八道

在自注意力机制的计算过程中，查询向量会与序列中其他位置的键向量计算内积，得到一个关联程度的分数。然后，这个分数会经过一个softmax函数来归一化，得到每个位置的权重。最后，将这些权重与对应位置的值向量进行加权平均，得到该位置的表示向量。简单来说，就是经过一个函数将这个数据归一化，方便机器进行处理。

通过自注意力机制编码之后，编码器输出会被输入到一个叫做“解码器”的模块中。解码器的作用是生成一个与输入序列相关的输出序列，例如进行翻译或文本生成任务时所需的翻译或生成结果。解码器也使用自注意力机制来计算输入序列中每个位置与当前正在生成的位置之间的关联程度，并根据这些关联程度来给每个输入位置分配一个加权值。此外，解码器还会使用另一个注意力机制来关注编码器输出中与当前正在生成的位置相关的信息。简单来说，就是一句话通过编码器转换成一个机器理解的数据格式，解码器则将输出的结果转换为人类能够理解的语句。

之后，这个Transformer模型使用文本数据进行训练，即文本经过编码器，转换为机器理解的数据，随后通过解码器，将这个训练或者预测后的数据转换为人类理解的文本。通常这类的输入数据通常是一组文本序列，例如机器翻译中的源语言和目标语言序列。在训练过程中，这些序列通常会伴随着相应的标签，用来指示模型应该预测的正确输出。

Ps: 数据的模型肯定原本这篇推文提到的复杂的多，但是能够从小白层面大致理解一下原理，其实都能够帮助我们知道这个模型能干什么和不能干什么了。

2.2 应用：现在OpenAI已经开始开放ChatGPT的API接口了，以后写代码的人只需要一句‘import ChatGPT’，就能够实现同等量级的AI表现了。那么我们简单想想，一个拥有众多知识，且能够回答人类所有正常提问的AI究竟有哪些应用前景课题设计：不得不说，对于课题设计这一块，ChatGPT还远远达不到一个科研工作者的水平。其实，很多课题的设计都会涉及到选题，文献的凝练，突破口的寻找。这些其实都不是简简单单的套路能够实现的，特别是那种创新，才是需要科研工作者的护城河。代码阅读：相信许多生信程序员都很苦恼的一个方面，一个是代码写作，一个则是代码阅读。而这两个方法，我在使用过ChatGPT一段时间后发现，这两种工作基本上都可以被渐渐取代了。所以我们应该尝试掌握代码编写的逻辑思维，以及系统架构的能力。比如，就基因组的组装而言，不同的基因组间必然存在很大的差异，那么这时如何调整策略以适应差异才是我们应该掌握的。其次，针对一个新技术（比如基因组测序技术的进步），我们如何调整策略，完成基因组组装也才是我们应该真正关心的。论文写作：虽然说现在很多高校都开始禁用ChatGPT，以防止学生使用这一功能作弊。但是，笔者想说这种措施无异于自欺欺人。除非所以的工作都是能够在课堂上完成的，那么学生总是有理由找到对应的ChatGPT使用空间和时间。事实上，这个工具就像计算器一样。我们所做的不应该是禁止学生使用计算器，而是应该在引导学生使用计算器的同时，能够保证自己仍然具有一个计算逻辑。这样我们才能够在发挥这些工具能力减少无用劳动的同时保持自己的逻辑能力。

2.3 前景：

很早之前，生物学就解析出人类大脑包含860亿个神经元，而这次的ChatGPT已经达到1750亿个参数，已经超过人类神经元的数量。虽然说神经元的数量不能够与参数进行直接比较，但是可以看出，ChatGPT已经达到了某个里程碑，也证实了大参数所具有的意义。而这，可能是这一模型能够实现流程问答的原因之一。另外，高质量的语料和微调参数也帮助这个模型实现了成功。后续，相信随着参数量级的进一步提高以及更高质量语料的持续训练，ChatGPT或许能够达到一个更令人瞠目结舌的地步也未尝不可。至于未来，如果这一模型的准确率继续提高，最终像imageNET那样达到某种能够接受的容错率。那么，哪些技能能够帮助我们在这一浪潮中不至于丧失优势呢首先，必然是会总结的人。因为所有的答案都需要问题引导出来，而高质量问题的提出就是需要总结的过程。就像现在的搜索引擎，会用的人可以快速检索到自己想要的，从而节省工作效率。其次，不断尝试新的东西，抛弃套路的人。目前来看，ChatGPT就像一个高端的拟合方程，对于回归内的问题，基本就可以做到高质量的回答，但是对于偏离回归的东西，则无法实现。第三，掌握资源的人。无论ChatGPT是一个如何高端的AI机器人，他始终是需要为人服务的。如果大家都能够靠ChatGPT实现智能等级的提高，那么，必然拥有资源的人才能够更快的增长。并且，如果后续ChatGPT开启某项VIP服务，则会让那些掌握资源的人迅速造成垄断。就如同掌握了石油，你就掌握了世界的经济，而掌握了ChatGPT的未来，你可能就掌握了世界的智力。

三 惯例小结

不过，目前来看，总是感觉ChatGPT的回答仍是一种概率性的问题，缺少了一些直觉性的东西（或许，目前来看，这个直觉性的东西才是人类有别与机器的主要区别吧）。只是，这一所谓的直觉性的东西在正式的工作中是可有可无的吧，因为毕竟996的社畜最需要做的就是高质量的完成工作。

四 公众号其他资源（方便读者使用）

本公众号开发的相关软件，Multi-omics Hammer软件和Multi-omics Visual软件欢迎大家使用。

Multi-omics Hammer软件下载地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual软件下载地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因为本软件是用python脚本撰写，调用了部分依赖包，用户首次使用需要安装python以及对应的包，安装之后便可永久使用。

下面是本号在其他平台的账户，也欢迎大家关注并多提意见。

简书：WJ的生信小院

公众号：生信小院

博客园：生信小院

最后，也欢迎各位大佬能够在本平台上：1传播和讲解自己发表的论文；2：发表对某一科研领域的看法；3：想要达成的合作或者相应的招聘信息；4：展示自己以寻找博后工作或者博士就读的机会;5:博导提供博后工作或者博士攻读机会，都可以后台给笔者留言。希望本平台在进行生信知识分享的同时，能够成为生信分析者的交流平台，能够实现相应的利益互补和双赢（不一定能实现，但是梦想总得是有的吧）。

五 每日一图（源自Stable-diffuse创作） 

关键词： 能够实现 神经网络 胡说八道