2022 年 11 月底，當 OpenAI 免費推出 ChatGPT 時，這家總部位于美國舊金山的人工智能公司對它幾乎沒有什么特殊期待。顯而易見的是，OpenAI 內部沒有人準備好迎接如此大規模的轟動。從那以后，該公司一直在追趕用戶的期望、解決用戶發現的問題，并嘗試讓自己的成功利益最大化。
在 OpenAI 研究政策的桑德希尼阿加瓦爾（Sandhini Agarwal）說，ChatGPT 被內部視為一個“研究預覽”，是一項兩年前的技術的更好版本，更重要的是它試圖通過收集公眾的反饋來解決模型的一些缺陷。在 OpenAI 研究 ChatGPT 的科學家利亞姆費杜斯（Liam Fedus）說：“我們不想把它作為一個巨大的技術進步來夸大它的水平。”
為了了解 ChatGPT 聊天機器人背后的故事它是如何制作的，OpenAI 自發布以來如何更新它，以及它的開發者對其成功的看法我采訪了四個人，他們幫助構建了這款最受歡迎的互聯網應用。除了阿加瓦爾和費德斯，我還采訪了 OpenAI 的聯合創始人約翰舒爾曼（John Schulman）和 OpenAI 對齊團隊（Alignment Team）的負責人簡萊克（Jan Leike），該團隊致力于讓人工智能只做用戶想做的事情（并僅限于此）。（注：人工智能領域的對齊，指的是引導人工智能系統的行為，使其符合設計者的利益和預期目標。）
我的感覺是，OpenAI 仍然對其“研究預覽”的成功感到困惑，但已經抓住這次機會推動這項技術更好地發展，觀察數以百萬計的人是如何使用它的，并試圖解決最糟糕的問題。
（來源：STEPHANIE ARNETT/MITTR | ENVATO）
自 2022 年 11 月以來，OpenAI 已經多次更新了 ChatGPT。研究人員正在使用一種叫做對抗性訓練的技術來阻止用戶對 ChatGPT 的欺騙（這也被稱為越獄）。這項工作讓多個聊天機器人相互對抗：一個聊天機器人扮演壞人，通過生成文本來攻擊另一個聊天機器人，迫使它突破常規約束，做出不應該做出的行為。成功的攻擊會被添加到 ChatGPT 的訓練數據中，希望下一代模型能夠學會忽略它們。
OpenAI 還與微軟簽署了一項數十億美元的協議，并宣布與全球管理咨詢公司貝恩（Bain）合作。貝恩計劃讓可口可樂等客戶使用 OpenAI 的生成式人工智能模型進行營銷活動。除了 OpenAI 本身，關于 ChatGPT 的轟動還引發了新一輪圍繞大型語言模型的熱潮，全球各地的公司和投資者紛紛投身其中，生怕慢人一步。
短短三個月里，我們看到了很多報道。但 ChatGPT 是如何誕生的？OpenAI 采取了哪些步驟來確保它已經準備好向公眾開放了？下一步又是什么？對此我們知之甚少。
為了便于閱讀和理解，我們對采訪內容進行了編輯。
簡萊克（Jan Leike）：老實說，現在的狀況真是太棒了。這讓我們很驚訝，我們一直在努力追趕公眾的熱情和期望。
約翰舒爾曼（John Schulman）：在 ChatGPT 發布后的幾天里，我經常查看推特，當時有一段非常瘋狂的時期，推特上充斥著 ChatGPT 的截圖。我之前期望它能符合用戶的直覺，我也希望它能獲得一群粉絲，但我并沒期望它能達到現在這個流行程度。
桑德希尼阿加瓦爾（Sandhini Agarwal）：我認為這對我們所有人來說都絕對是一個驚喜。我們更多地關注這些模型本身，以至于我們忘記了公眾會對它感到多么驚訝。
利亞姆費德斯（Liam Fedus）：我們對它的反響感到非常驚訝。我們已經看到過許多通用聊天機器人，我們自己也知道它很難做好。然而，我們的內測給了我們信心，因為我們看到有些東西真的很棒。
簡萊克（Jan Leike）：我很想更好地理解是什么推動了這一切是什么推動了它的瘋狂傳播和爆紅。老實說，我們不理解，也不知道原因。讓該團隊感到困惑的部分原因在于，ChatGPT 背后的大部分技術并不新鮮。ChatGPT 是 GPT-3.5 的一個微調版本。GPT-3.5 是 OpenAI 在 ChatGPT 出現前幾個月發布的大型語言模型家族。GPT-3.5 本身就是 GPT-3 的更新版本，后者誕生于 2020 年。該公司在其網站上提供了這些模型的 API 接口，這使得其他軟件開發人員可以很容易地將模型插入到他們自己的代碼中。OpenAI 還在 2022 年 1 月發布了另一款 GPT-3.5 微調版本，名為 InstructGPT。但公眾并沒有對之前這些版本如此癡迷。
利亞姆費杜斯（Liam Fedus）：ChatGPT 模型與 InstructGPT 模型使用了相同的語言模型，但微調方法稍有不同。我們添加了一些對話數據，并調整了一些訓練過程。所以我們不想把它當作一個巨大的技術進展，也沒想夸大它。結果表明，對話數據對 ChatGPT 有很大的正面影響。
約翰舒爾曼（John Schulman）：如果用標準基準來評估它的技術能力，兩個模型之間其實并沒有實質性的差異，但是 ChatGPT 更易上手和易用。
簡萊克（Jan Leike）：在某種意義上，你可以把 ChatGPT 理解為已經存在了一段時間的人工智能系統的另一個版本。本質上來說，這并不是一個比之前更強大的模型。在 ChatGPT 出現之前，同樣的基礎模型已經以 API 的形式使用了將近一年。但從另一種意義上說，我們使它更符合人類的需求，即用戶想讓它做什么。它可以與你對話，聊天界面使其很容易上手，它努力讓自己提供幫助。這是一個驚人的進步，我認為這是人們開始意識到的一件事。
約翰舒爾曼（John Schulman）：ChatGPT 更容易推斷出用戶的意圖。用戶可以通過不斷調整提示來得到他們真正想要的東西。ChatGPT 的訓練方式與 InstructGPT 非常相似，都使用了一種被稱為“從人類反饋中強化學習（RLHF）”的技術。這是 ChatGPT 的成功秘訣。其基本想法是拿到一個會生成各種內容的大型語言模型，比如 GPT-3.5，然后通過教它人類用戶真正喜歡什么樣的回答來調整它。
簡萊克（Jan Leike）：我們安排了很多人閱讀 ChatGPT 的提示和回答，然后判斷一個回答是否比另一個回答更好。所有這些數據被合并到一次訓練中。這和我們在 InstructGPT 上所做的是一樣的。你希望它（生成的內容）是有幫助的、真實的、無害的。還有一些關于制作對話和成為一名虛擬助手的東西。比如，如果用戶的問題不清楚，它就應該追問。它還應該澄清一下，自己是一個人工智能系統。它不應該假設自己是一個不應該擁有的身份，它不應該聲稱自己擁有它不擁有的能力，當用戶要求它做一個它不應該做的任務時，它必須拒絕。在這次訓練中出現的一句話是“作為一種由 OpenAI 訓練的語言模型……”，之前它并沒有明確地說出來，但這句話被人類評審員看得很重。
桑德希尼阿加瓦爾（Sandhini Agarwal）：是的，我想事情就是這樣發生的。我們有一系列的、不同的標準，人類評分者必須對模型進行排名，比如真實性。但他們也會青睞于他們認為很好的做法，比如不要扮演一個它不應該扮演的角色。因為 ChatGPT 使用的技術與 OpenAI 之前所用的相同，所以團隊在準備向公眾發布這個模型時并沒有做任何不同的事情。他們覺得，用以前模型所用的標準就足夠了。當我們準備發布時，我們并不認為這個模型會帶來全新的風險。GPT-3.5 已經存在于這個世界上了，我們已經知道它足夠安全了。通過 ChatGPT 對人類偏好的訓練，該模型只是自動學會了拒絕，它會拒絕很多請求。
簡萊克（Jan Leike）：我們確實為 ChatGPT 做了一些額外的“破壞性測試”，OpenAI 的每個人都坐下來試圖打破它。我們也有外部團體在做同樣的事情。我們還有一個開放給可信賴用戶的早期訪問程序，他們也會提供反潰
桑德希尼阿加瓦爾（Sandhini Agarwal）：我們確實發現它產生了某些不必要的輸出，但 GPT-3.5 也會產生類似的東西。所以就風險而言，作為一個研究預覽因為這是它最初的意圖它沒什么問題。
約翰舒爾曼（John Schulman）：你不能等到系統完美了才去發布它。我們已經對早期版本測試了幾個月，測試人員對該產品有正面的反潰我們最關心的是事實性，因為這個模型喜歡制造東西。但是 InstructGPT 和其他大型語言模型已經存在了，所以我們認為只要 ChatGPT 在事實性和其他安全問題方面比那些模型更好，就足夠了。根據我們有限的評估，我們在發布之前確認了該模型確實比其他模型更真實和安全，所以我們才做出了發布的決定。OpenAI 一直在關注人們如何使用 ChatGPT。它第一次看到，一個大型語言模型被數千萬用戶以千奇百怪的方式使用，這些用戶可能希望測試它的極限，發現它的缺陷。該團隊試圖抓住 ChatGPT 所能產生的問題最大的案例從褻瀆宗教的文字到竊取信用卡號碼的惡意軟件代碼并利用這些例子來調整該模型的未來版本。
桑德希尼阿加瓦爾（Sandhini Agarwal）：我們還有很長的路要走。我認為，ChatGPT 的病毒式傳播已經讓我們已知的很多問題浮出水面，并且變得至關重要這些是我們想要盡快解決的問題。比如，我們知道這個模型仍然很有偏見。是的，ChatGPT 非常擅長拒絕不好的請求，但它也很容易被提示所誤導，使它不去拒絕我們希望它拒絕的東西。
利亞姆費杜斯（Liam Fedus）：看到用戶的多樣化和創造性，已經很令人興奮了，但我們總是專注于需要改進的領域。我們認為，通過部署、獲得反饋和改進的迭代過程，我們可以產生一致性最強、性能最強的技術。隨著技術的發展，新的問題不可避免地會出現。
桑德希尼阿加瓦爾（Sandhini Agarwal）：在發布后的幾周里，我們看到了人們討論了一些最可怕的案例，即人們能看到的最糟糕的事情。我們評估了每一個問題，并討論了我們應該如何解決它。我們發現的很多事情都與越獄有關，這絕對是一個我們需要解決的問題。但是因為用戶必須嘗試一些復雜的方法，才能讓模型說出不好的事情，所以也不能說這被我們完全忽視了，而且這也不是讓我們非常驚訝的事情。不過，這是我們現在正在積極努力改進的事情。當我們發現越獄的情況時，我們會將它添加到訓練和測試數據中。我們看到的所有數據都將用來塑造未來的模型。
簡萊克（Jan Leike）：有時一些例子會在推特上瘋傳，但也會有一些人私下聯系我們。每次我們有了一個更好的模型，我們都想把它放出來并測試它。我們非常樂觀地認為，一些有針對性的對抗性訓練可以大大改善越獄的情況。目前還不清楚這些問題是否會完全消失，但我們認為，我們可以讓很多越獄工作變得更加困難。我想再強調一次，在模型被公布之前，我們就知道越獄是可能的。但我認為，一旦你部署了這些系統，就很難真正預測它們會出現哪些安全問題。所以我們非常關注人們使用這個系統去做什么，看看到底發生了什么，然后再對此做出反應。這并不是說，我們不應該在預測安全問題時主動弱化它的重要性。但是，當一個系統進入現實世界時，真的很難預見會發生什么。2023 年 1 月，微軟發布了 ChatGPT 支持的必應搜索，這是一個以聊天機器人形式存在的搜索引擎，許多人認為它是 OpenAI 未發布的 GPT-4 的一個版本。因為 OpenAI 的原話是：“必應背后的驅動技術，是一個微軟為搜索定制的、我們的下一代模型。它結合了來自 ChatGPT 和 GPT-3.5 的進步。”科技巨頭開始用上了聊天機器人，這給那些負責構建底層模型的人帶來了新的挑戰。
桑德希尼阿加瓦爾（Sandhini Agarwal）：現在的風險肯定比六個月前要高得多，但仍低于一年后可能會達到的水平。顯然，在這些模型中，真正重要的一點是它們被使用的上下文。對于谷歌和微軟而言，模型會生成虛構的事實，這是一個很大的問題，因為它們本質上是搜索引擎，用戶會期待正確的、真實的內容。搜索功能對大型語言模型的要求，遠遠不同于一個好玩的聊天機器人。我們需要弄清楚，我們如何在所有這些不同的用途之間游走，然后創造一些對人們有用的東西。在不同情景下，我們所期望的行為可能會有所不同。這增加了更多的壓力。因為我們現在知道，我們正在以產品為目的去塑造這些模型。ChatGPT 是一個現在有了 API 的產品。我們正在構建這種通用技術，我們需要確保它在所有方面都能勝任。這是我們現在面臨的關鍵挑戰之一。
約翰舒爾曼（John Schulman）：我低估了人們在政治話題上使用 ChatGPT 的興趣。在收集訓練數據時，我們本可以做出一些更好的決定，這樣就可以減少由此引發的問題。我們現在正在努力解決它。
簡萊克（Jan Leike）：在我看來，ChatGPT 有很多失敗之處我們有很多的事情要做。我沒覺得我們解決了所有這些問題。對我們自己和其他人而言，我們都必須傳達清楚這項技術的局限性。我的意思是，語言模型已經存在一段時間了，但現在還處于早期階段。我們知道它們所有的問題。我認為我們需要搶先用戶一步，合理地管理期望，并明確表示這不是一個成品。
支持：Ren
原文：
https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/
