1750 億參數的 AI 模型 GPT3這幾天轟動硅谷的GPT-3是什麼來頭？相信不太了解 AI 的朋友這幾天也或多或少看到了一些關于 GPT-3 的重磅消息，甚至有媒體稱其為 “繼比特幣之後又一個轟動全球的現象級新技術”。請注意，現在站在你面前的是：互聯網原子彈，人工智能界的卡麗熙，算力吞噬者，黃仁勳的新 KPI ，下崗工人制造機，幼年期的天網 ── 最先進的 AI 語言模型 GPT-3。1750 億參數組成的訓練模型言歸正傳，OpenAI 的研究人員在上個月發表了一篇論文，描述了 GPT-3 的開發，正式發布了這個由 1750 億個參數組成的 AI 語言模型。在 NLP 領域中，通常採用 ELMo 算法的思想，即通過在大量的語料上預訓練語言模型，然後再將預訓練好的模型遷移到具體的下遊NLP任務，從而提高模型的能力。GPT 模型是 OpenAI 在 2018 年提出的一種新的 ELMo 算法模型，該模型在預訓練模型的基礎上，只需要做一些微調即可直接遷移到各種 NLP 任務中，因此具有很強的業務遷移能力。GPT 模型主要包含兩個階段。第一個階段，先利用大量未標注的語料預訓練一個語言模型，接著，在第二個階段對預訓練好的語言模型進行微改，將其遷移到各種有監督的 NLP 任務，並對參數進行 fine-tuning。簡而言之，在算法固定的情況下，預訓練模型使用的訓練材料越多，則訓練好的模型任務完成準確率也就越高。那麼 1750 億是什麼概念？曾有人開玩笑說，“要想提高 AI 的準確率，讓它把所有的測試數據都記下來不就行了？” 沒想到如今真有人奔著這個目標去做了……在 GPT-3 之前，最大的 AI 語言模型是微軟在今年 2 月推出的 Turing NLG，當時擁有 170 億參數的 Turing NLG 已經標榜是第二名 Megatron-LM 的兩倍。沒錯，僅短短 5 個月的時間，GPT-3 就將頭號玩家的參數提高了 10 倍！Nivdia 的黃老板看了看年初剛畫的產品算力曲線，發現事情並不簡單。OpenAI 曾于 2019 年初發布 GPT-2，這一基于 Transformer 的大型語言模型共包含 15 億參數、在一個 800 萬網頁數據集上訓練而成組成，

哈日族電子遊戲場

這在當時就已經引起了不小的轟動。整個 2019 年，GPT-2 都是 NLP 界最耀眼的明星之一，與 BERT、Transformer XL、XLNet 等大型自然語言處理模型輪番在各大自然語言處理任務排行榜上刷新最佳紀錄。而 GPT-2 得益于其穩定、優異的性能在業界獨領風騷。而 GPT-3 的參數量足足是 GPT-2 的 116 倍，實現了對整個 2019 年的所有大型自然語言處理模型的降維打擊。算力殺手GPT-3 的論文長達 72 頁，作者多達 31 人。來自 OpenAI、約翰霍普金斯大學的 Dario Amodei 等研究人員證明了在 GPT-3 中，對于所有任務，

南方松圍籬

模型無需進行任何梯度更新或微調，而僅通過與模型的文本交互指定任務和少量示例即可獲得很好的效果。GPT-3 在許多 NLP 數據集上均具有出色的性能，包括翻譯、問答和文本填空任務，這還包括一些需要即時推理或領域適應的任務，例如給一句話中的單詞替換成同義詞，或執行 3 位數的數學運算。當然，GPT-3 也可以生成新聞報道，普通人很難將其生成的新聞報道與人類寫的區分開來。是不是細思極恐？通常來說，自然語言處理任務的範圍從生成新聞報道到語言翻譯，再到回答標準化的測試問題。那麼訓練這個龐然大物需要消耗多少資源呢？OpenAI 方面表示：“我們在 cuDNN 加速的 PyTorch 深度學習框架上訓練所有AI模型。每個模型的精確架構參數都是基于 GPU 的模型布局中的計算效率和負載平衡來選擇的。所有模型都在微軟提供的高帶寬集群中的NVIDIA V100 GPU上進行訓練。”根據微軟早前公布的信息，

台灣運動彩券官網首頁

我們發現微軟給 OpenAI 提供的這台超級計算機是一個統一的系統，該系統擁有超過 285000 個 CPU 核心，10000 個 GPU 和每秒 400G 的網絡，是一台排名全球前 5 的超級計算機。GPT-3 就是在微軟這霸道的 “無限算力” 加持下誕生的，據悉其訓練成本約為 1200 萬美元。有什麼用？既然訓練 GPT-3 需要如此苛刻的超級環境，民間的什麼 2080 Ti、線程撕裂者等家用級設備自然都是弟弟，那麼我們普通用戶要怎麼來用這個玩意兒呢？目前，OpenAI 開放了少量 GPT-3 的 API 測試資格，商業公司、研究學者和個人開發者都可以申請，獲得資格的用戶可以通過遠程調用的方式體驗 GPT-3 的強大。當然，這個資格並不容易拿到……在國外，“ 拿到 GPT-3 測試資格 ” 已經成為了一個“炫富”的新梗……當然也有早期成功搶到測試資格的用戶。因為 GPT-3 是一個史無前例的龐大語言模型，所以幾乎所有可以用文字表達的工作它都能勝任，你可以指導它回答問題、寫文章、寫詩歌、甚至寫代碼。首先來看最基本的語言表達功能，下面是網友用 GPT-3 開發的自動回復郵件工具，只需要輸入幾個簡要的回復關鍵詞，GPT-3 就能自動生成一篇文筆流暢的回復郵件：更深入一些，下面這位名叫 yash 的網友用 GPT-3 開發了一個 Python 驅動的財務報表，它可以將日常語言轉換成 Python 代碼來創建資產負載表：輸入“我今天投入了兩萬美元”、“後三個月的房租預付了 900 美元”這樣的自然語言，程序就能自動修改資產負債表上相應的項目數值。網友 Faraar Nishtar 調用 GPT-3 寫了一個小工具，能直接輸入自然文字生成他想要的 SQL 查詢代碼：網友 Sharif Shameem 開發出了一個新產品 Debuild。這是一個調用了 GPT-3 API 的網頁 app 快速生成器，在輸入框裡用自然語言進行描述，它就可以快速輸出你想要的用戶界面，比如輸入“生成一個像西瓜一樣的按鈕”:GIF對于產品經理或前端設計師，只需要在設計軟件 Figma 中加入 GPT-3 插件，就可以打字生成你想要的前端效果：GIF也有開發者給 GPT-3 做了圖靈測試，結果發現它的回答很有意思：“如果在十年前用同樣的問題做測試，我會認為答題者一定是人。現在，我們不能再以為 AI 回答不了常識性的問題了。”古人雲，“熟讀唐詩三百首，不會作詩也會吟。” 從人類歷史到軟件代碼，龐大的 GPT-3 模型囊括了互聯網中很大一部分用文字記錄下來的人類文明，這些記錄造就了其強大的文字任務處理能力。AI 語言模型參數量級近年來呈指數倍發展，隨著在摩爾定律下人類設備算力的提升，在未來的某一天，或許真的將會出現一個無限接近熟讀人類歷史所有文明記錄的超級模型，屆時是否會誕生出一個真正的人工智能呢？最後引用神經網絡之父、圖靈獎獲得者 Geoffrey Hinton 早前對 GPT-3 的一番評論：“ 鑑于 GPT-3 在未來的驚人前景，可以得出結論：生命、宇宙和萬物的答案，就只是 4.398 萬億個參數而已。”寧肯:我另一雙眼睛睜開了寧肯寧肯被圈內人稱為桀驁不馴的小說家，頭一次寫非虛構作品就選擇觸碰中關村。《中關村筆記》近日已面世，當面對記者專訪時，寧肯談起中關村仍很興奮。他說，整個中關村這段歷史都是神奇的，刺激自己睜開另一雙眼睛，“我要去發現神奇，發現它背後的秘密，發現其內在的隱秘的關聯是什麼。”喚醒風雲人物的歷史意識“我已徹底忘掉了小說，成了一個記錄者、沉思者。穿行于中關村的高樓大廈，離開熟悉的自己，見各種各樣的人，寫從未寫過的文字。”馮康和數學藝術、陳春先和中關村硅谷夢、王洪德和京海公司、柳傳志和聯想、王選和漢字激光照排技術、王志東和新浪、鮑捷和量子點光譜儀、吳甘沙和自動駕駛技術、蘇和車庫咖啡、程維和滴滴打車……在《中關村筆記》中，寧肯寫下十九個段落，十九篇手記，一個個性格鮮明、血肉豐滿的時代俊傑撲面而來，中關村發展史也漸次鋪開。而他也時刻在與這些風雲人物平等對話，有關人類、世界、科技、創新等等龐雜的思考，不時閃現于書中。過去的這兩年，騎電動車、坐地鐵、開車，各種交通工具輪番使用，寧肯一週兩三次往中關村跑，他說這一輩子從來沒見過那麼多的院士，而他的錄音筆的採訪錄音就有100小時。“和他們這些人相處，和文學圈的人相處太不一樣了，好玩死了。”寧肯說，當吳甘沙講其在香格裡拉的滿天繁星下，一邊閱讀一邊思考人生走向時，自己被他的文藝氣質和縝密思維所深深吸引。寧肯不住地說，中關村幾代俊傑沒有不愛閱讀的，

晶片換疫苗

吳甘沙每年會看70本書，哲學、科學、文學，無所不包。他還記得鮑捷走進來時，眼睛迷迷糊糊，自己誤以為後者是近視眼，深入到鮑捷的世界才發現，

復興空難

鮑捷眼睛裡的時間是光年裡的時間，其眼睛簡直就是光譜儀，每天盯著頭發絲裡十萬分之一的那個世界，和光譜、宇宙打交道。寧肯選擇的人物，有一個內在的標準，

玩運彩朋友圈討論區

即他們構成了歷史、推動了歷史，在歷史發展過程中，還起到了地標性的作用，“我是站在歷史的角度去看他們。”正是如此，讓他獲得了平視和俯視的姿態，有一種從容、大氣的採訪視角，而不會像僕從一樣仰視。寧肯也發現，對于每天生活在日常之中的科學家、企業家而言，突然切入進歷史性的話題，也讓他們的歷史意識被一點點喚醒。他採訪了19位人物，書中涉及的人物則有三四十位。寧肯說，和柳傳志面對面，盡管採取平視視角，但還是感到後者太強大了，仍然有幾分仰視的感覺。但採訪吳甘沙、程維等人的時候，他突然發現，新一代企業家出現了，他們縱橫捭闔、叱□風雲。如果說柳傳志是冷兵器時代的英雄，他們就是熱兵器時代的英雄。“某種意義上，他們超越了柳傳志，我原來以為柳傳志是不可超越的。”馮康和柳傳志貫穿全書“他們所有的故事差不多都在歷史的褶皺中，但歷史不會靜止不動，總有人從褶皺中走出來。”《中關村筆記》有兩個貫穿始終的人物，一個是馮康，一個是柳傳志，

南方松圍籬

“這個選擇本身代表了我對中關村的看法，他們天然構成中關村的基石與廈宇，有多深的基石就會有多高的大廈。”盡管馮康獨立創造了有限元法，自然歸化和自然邊界元方法，開闢了辛幾何和辛格式研究新領域，為組建和指導我國計算數學隊伍做出了重大貢獻，但他之前在寧肯的記憶版圖中是個空白。寧肯自然沒有見過大數學家馮康，他早在1993年就走完了73年的人生路。就在接受中關村選題的同時，寧肯恰巧被中國作協拉進了中國科學院“創新報國70年”報告文學項目。當一位院士介紹馮康時，對寧肯卻掀起了一場巨大的衝擊波，“他在國際上名氣很大，但是中國人幾乎都不知道，這種現象本身就特別有意思。”馮康的神奇之處正是打開中關村秘密的一把鑰匙。讓寧肯著迷的是，馮康當年已經站在世界最前沿，他如何帶博士？如何進行科學探索的？“過去，我們的文學很少去關注這樣的過程，而從某種意義上說這個過程恰恰很文學。”寧肯還思量著，各種寫中關村的著述，都沒有從科學角度來深入。但馮康和學生們的科學探索過程，

哈日族電子遊戲場

恰恰代表了一個國家的底蘊，是中關村發展的基石。採訪柳傳志，甚至幾乎不會成為現實。最後是有關部門出面，才說動了柳傳志。但第一次採訪，寧肯分明察覺到對方有著公事公辦的客套。寧肯的一部小說《三個三重奏》讓他贏得了和柳傳志對話的權利。這本書是第一次見面的時候，他送給傳奇企業家的。他曾經天真地猜想，柳傳志會看的可能性只有1%，他甚至想第一次採訪或許就是最後一次了。但接下來，他僅僅試探性地給柳傳志的秘書打了個電話，對方竟約定了採訪時間。第二次採訪，他才得知柳傳志不僅花了一個星期看完《三個三重奏》，還買了好幾本送給家人和朋友。這是一部並不好讀的先鋒小說，但柳傳志十分清楚地捋順了故事和結構，還說書中貪官的塑造沒有臉譜化，讓寧肯暗暗驚嘆其專業文學素養。從未真正對話過的兩個“星球”的人，從那一刻開始變成了朋友。至今讓寧肯感佩的是，說到那些驚心動魄的過去，柳傳志始終是很平靜、淡定的講述，“他真是平中見奇。”寧肯更用華山和泰山來形容柳傳志，“兩座山的精神，也是中華民族的精神。”這兩年像又上了一次大學“2015年那一年，我突然想改變自己。一個人在某種盡頭待的時間久了，就想在另一種盡頭解脫。”寧肯和中關村的相遇很偶然，但他也注定會和它相遇。他是個地地道道的北京人，在北京胡同裡長大。2015年，他有個模糊的想法，寫一部北京題材的小說，為此想深入了解中關村。一次他聽北京十月文藝出版社總編輯韓敬群說，有個資助項目是寫中關村的，之前約了一位國內報告文學聖手寫，但後者要價實在太高。聽到此處，寧肯半開玩笑說，“我給您寫吧。”韓敬群愣了一下，很快說，“您寫肯定能寫好。”上世紀90年代初，寧肯曾經離開文學，由一個詩人變成了廣告人。跳出文學，從外部看文學，讓他獲益匪淺。他說，兩年前自己再次走出文學，像又上一次大學。“快20年了，我一直浸潤在文學裡，浸潤得太深了。我需要另外一種東西，一種類似岩石的東西。”寧肯開始閱讀有關中關村的書籍，

6合彩開獎

讀黛博拉·佩裡·皮肖內的《這裡改變世界》，讀凌志軍的《中國的新革命 1980─2006年，從中關村到中國社會》，讀吳曉波的《激蕩三十年》。“對于長年閱讀現代主義小說的我來說，這些書原先從來不會出現在我的書單上。但當我交叉讀這些文學之外的書，當我進入一個新的世界，如硅谷世界，它們又讓我再次找回了文學之外的感覺。”最終，資料準備、採訪用時一年半，寫作用了半年。盤點首次非虛構寫作之旅，寧肯相信對他未來的寫作，會有巨大影響，

晶片換疫苗

“它給我帶來人生不同的界面，也會帶來更結實的寫作。”他說，自己會再次回到小說上來，也希望再有一種不一樣的回來。和那些充滿活力的科學家、企業家對話之後，寧肯的文學反思不斷在迸發，“沒有比文學更保守的了，但現在又面臨一個創新的時代，文學也需要現實創新。”此時，他的眼睛裡閃動著耀眼的光芒，似乎看見了自己未來寫作的曙光。圖片來自于《新京報》http://epaper.bjnews.com.cn/html/2014-10/18/content_541284.htm?div=0本文轉自：《北京日報》2017年6月15日，