每当你瞥见一个 Seq2Seq 场景，你都应该将它与编码器-解码器架构接洽起来。编码器会捕捉输入序列的语境，并将它通报给解码器，由解码器生成输出序列。通过识别输入中应该“留意”的要害部门，留意力机制办理了传统神经网络架构的范围性问题。
当初，包括 15 亿个参数的 GPT-2 模子震惊了全世界。短短一年之内，这一记载先是被微软的 Turing-NLG 冲破，又被包括 1750 亿个参数的 GPT-3 碾压。简而言之，就 Transformer 架构而言，大等于好。
想象一下从西班牙语到英语的呆板翻译场景。凡是来说，解码器会将西班牙语文本输入到一个名为“虚构语言”的中间暗示内，然后操作这其中间暗示将其翻译成英语。传统的深度进修架构需要编码器息争码器之间一连举办反馈，导致效率极其低下。
GPT-3 是一种基于语言的模子，因此在文本数据荟萃的基本上运行。从加密钱币市场的角度来看，这种成果固然很酷，可是必定没那么有趣。我们真正应该存眷的是 GPT3 背后的技能。
GPT-3 是在深度进修架构 Transformer 的基本上开拓的。Transformer 的观念最初在 Google Brain 团队成员于 2017 年颁发的《你需要的只有留意力机制》（Attention is all you need）论文中提到。
我认为 GPT-3 自己在加密钱币生态系统中的影响并不大。可是，GPT-3 模子背后的技能代表了已往几年来深度进修的庞大进步，因此大概与加密钱币阐明密切相关。在本文中，我将深入分解 GPT-3 背后的一些观念，并阐明 GPT-3 对加密钱币行业的影响。
什么是 GPT-3？
虽然了，GPT-3 模子确实可以生成虚假新闻，从而影响币价，这并非玩笑。可是我认为，就今朝的环境而言，GPT-3 不会威胁到加密钱币行业。更有趣的是，Transformer 架构大概对下一代加密钱币智能办理方案发生影响。以下是一些值得思量的场景：
从观念上来说，留意力机制会调查输入序列，并在每个步调中抉择输入序列中较量重要的部门。譬喻，在呆板翻译场景中，留意力机制会聚焦于那些编码器“应该留意的”单词，以便执行翻译。
没错，GPT-3 确实令人瞩目，可是没须要恐惊它。相反，我们应该操作这些AI 技能，将加密钱币酿成史上最智能的资产。
如此热烈的回声不免会让人以为有些奇怪，因为 GPT 模子已经不新鲜了。已往一年来，呆板进修社区都在努力接头这一话题。首个 GPT 模子的研究颁发于 2018 年 6 月。之后，2019 年 2 月，GPT-2 模子宣布，最后就是 3 个月前的 GPT-3 模子。
支持 GPT-3 模子的 Transformer 架构是传统的编码器-解码器架构，通过插入留意力块来提高效率。留意力块的浸染是完整查察全部的输入和当前输出，揣度相关性，从而优化最终输出的生成进程。
去中心化的 Transformer 架构。今朝，人们在尽力将 Transformer 模子应用到 SingularityNet 等去中心化的 AI 架构中。此举将拓展 Transformer 模子的应用场景。迄今为止， GPT-3 等Transformer 模子都是大公司的特权。只有大公司的 AI 尝试室才有足够的数据和资源来构建并运行如此大局限的神经网络。去中心化 AI 为我们提供了另一种方案，可以在基于鼓励机制运行的去中心化网络中练习、执行并监控 Transformer 架构。
GPT-3 和 Transformer 架构是深度进修成长史上的庞大打破。在接下来的几年，我们大概会看到 Transformer 架构渗透进深度进修的方方面面，并且这种影响力大概会扩散至金融市场。加密钱币会成为受益者。
作为原生数字资产，加密钱币最适合回收量化计策。轮回神经网络（RNN）和卷积神经网络（CNN）等技能在量化投资规模大受接待，并且在暗码学技能中发挥了很好的浸染。就像在语言阐明方面那样，Transformer 架构大概优于 CNN 和 RNN ，尤其是在将“留意力”会合到一个数据集的某些部门（譬喻，2020 年 3 月的崩盘），以及处理惩罚海量生意业务（譬喻，生意业务）方面。
既然我们已经先容了 Transformer 架构和 GPT-3 的配景常识，不妨再来思考一下文章开头的问题：GPT-3 真的倒霉于加密钱币吗？
由 Transformer 架构生成的模子可以颠末海量数据集的练习，并实现高效并行化。果不其然，在 Google Brain 的论文颁发后，各公司竞相构建超大模子来处理惩罚差异的语言任务，譬喻，Google 的 BERT、Facebook 的 RoBERTa、Microsoft 的 Turing-NLG 和 OpenAI 的 GPT-3。
生意业务计策。显然，假如事实证明 Transformer 架构可应用于金融数据集，，这类架构大概会对加密钱币的量化计策发生重大影响。总的来说，深度神经网络为量化生意业务开辟了新的规模。从线性回归和决定树等基本呆板进修模子来看，量化基金正在研究巨大的深度进修计策。
就像那些已经在去中心化基本设施中运行的神经网络架构那样，我们很快就能瞥见 GPT-3 之类的模子运行在 SingularityNet 或 Ocean Protocol 等去中心化 AI 平台上。
本文系作者本人概念，不代表 CoinDesk 中文版态度。Transformer 和加密钱币
GPT-3 是一个复杂的自然语言领略（NLU）模子，利用多达 1750 亿个参数来处理惩罚多项语言任务。因此，GPT-3 成了全球最大的 NLU 模子，高出了微软的 Turing-NLG 模子及其前身 GPT-2 模子。
CoinDesk 的专栏作家杰西·罗德里格斯（Jesus Rodriguez）是加密钱币市场信息阐明平台 *IntoTheBlock 的 CEO。他在大型科技公司和对冲基金接受率领职务。他是活泼的投资者、演讲者、撰稿人以及哥伦比亚大学的客座传授。*
这与加密钱币有什么干系？想象一下，假如有人能按期生成虚假的新闻稿来影响小币种的价值，听起来是不是很可骇？！可是这并不是 GPT-3 最主要的成果。
已往几年来，OpenAI 新推出的文本生成器模子 GPT-3 在社区引起了热议。一些人表达了对 GPT-3 的好奇心，另一些人却有些极度，声称加密钱币社区应该对此感想惊骇。
Transformer 架构的主要创新之处是“留意力机制”观念。留意力机制凡是用来办理 Seq2Seq 问题。所谓的 Seq2Seq 问题，指的就是将一个序列（单词、字母、数字）处理惩罚后，输出另一个序列的问题。这类问题常见于文本生成、呆板翻译和答复问题等语言智能场景。
在没有大型已标志数据集的环境下，图像造假对付简化图像分类模子的练习来说至关重要。已经有人实验将 Transformer 架构应用于金融时间序列数据集，但愿可以改造量化生意业务计策。
GPT-3 背后的奥秘
GPT-3 模子可以或许执行多项语言任务，譬喻，呆板翻译、答复问题、语言阐明以及文本生成。GPT-3 生成的伪造文本甚至可以或许以假乱真，引起了新闻媒体的留意。
区块链阐明。对比现有要领，Transformer 架构可以越发高效地检测区块链中的模式。Transformer 架构的优势之一是，可以或许将留意力会合到输入集的特定部门，并揣度潜在的输出。想象这样一个场景，我们在阐明比特币挖矿生意业务或生意业务所的流量，试图揣度订单簿回收的模式。Transformer 架构好像更能胜任这个任务。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
