|
GPT-3
生成型预训练變換模型 3 （英語：Generative Pre-trained Transformer 3，簡稱 GPT-3）是一個自迴歸語言模型，目的是為了使用深度學習生成人類可以理解的自然語言[1]。GPT-3是由在舊金山的人工智能公司OpenAI訓練與開發，模型設計基於谷歌開發的 Transformer 語言模型。GPT-3的神經網路包含1750億個參數，需要700GB来存储，為有史以来參數最多的神經網路模型[2]。该模型在许多任务上展示了强大的零样本和少样本的能力[3]。 OpenAI於2020年5月發表GPT-3的論文，在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣布取得了GPT-3的獨家授權[4]。 GPT-3被認為可寫出人類無法與電腦區別的文章與字串，GPT-3原始論文的作者们警告了GPT-3有可能對於社會的負面影響，比如利用製造假新聞的可能性。英國《衛報》即使用GPT-3生成了一個關於人工智慧对人类无威胁的評論專欄[5]。李開復稱卷積神經網路與GPT-3為人工智能重要的改善，两者皆是模型加海量数据的成果[6]。 背景据《经济学人》报道，改进的算法、强大的计算机和数字化数据的增加推动了机器学习的革命，2010 年代的新技术导致“任务的快速改进”，包括操纵语言。[7] 训练和能力在2020年5月28日，由OpenAI团队中31名工程师和研究人员撰写的arXiv预印本介绍了第三代“最先进的语言模型”——GPT-3的开发情况。[8]该团队相对于GPT-2，[9]将GPT-3的容量增加了两个数量级以上，使其成为迄今为止最大的非稀疏语言模型。[10]:14[11] 斯坦福大学的研究发现，GPT3已经可以解决70%的心智理论任务，相当于7岁儿童；至于GPT3.5（ChatGPT的同源模型），更是解决了93%的任务，心智相当于9岁儿童。但这并不意味着，ChatGPT就真正具备了心智理论。可能它即使不被设计到AI系统中，也可以作为“副产品”通过训练得到。 因此，相比探究GPT-3.5是不是真的有了心智还是像有心智，更需要反思的是这些测试本身。[12][13] 迭代版本GPT-3.52022年3月1日，OpenAI在其API中提供了新版本的GPT-3和Codex，名称为“text-davinci-003”和“code-davinci-002”，具有编辑和插入的功能 。[14] GPT-3.5 Turbo
参见參考資料
外部链接
Information related to GPT-3 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
![[icon]](File:Wiki_letter_w_cropped.svg){kind=small}
Index:
pl ar de en es fr it arz nl ja pt ceb sv uk vi war zh ru af ast az bg zh-min-nan bn be ca cs cy da et el eo eu fa gl ko hi hr id he ka la lv lt hu mk ms min no nn ce uz kk ro simple sk sl sr sh fi ta tt th tg azb tr ur zh-yue hy my ace als am an hyw ban bjn map-bms ba be-tarask bcl bpy bar bs br cv nv eml hif fo fy ga gd gu hak ha hsb io ig ilo ia ie os is jv kn ht ku ckb ky mrj lb lij li lmo mai mg ml zh-classical mr xmf mzn cdo mn nap new ne frr oc mhr or as pa pnb ps pms nds crh qu sa sah sco sq scn si sd szl su sw tl shn te bug vec vo wa wuu yi yo diq bat-smg zu lad kbd ang smn ab roa-rup frp arc gn av ay bh bi bo bxr cbk-zam co za dag ary se pdc dv dsb myv ext fur gv gag inh ki glk gan guw xal haw rw kbp pam csb kw km kv koi kg gom ks gcr lo lbe ltg lez nia ln jbo lg mt mi tw mwl mdf mnw nqo fj nah na nds-nl nrm nov om pi pag pap pfl pcd krc kaa ksh rm rue sm sat sc trv stq nso sn cu so srn kab roa-tara tet tpi to chr tum tk tyv udm ug vep fiu-vro vls wo xh zea ty ak bm ch ny ee ff got iu ik kl mad cr pih ami pwn pnt dz rmy rn sg st tn ss ti din chy ts kcg ve
