始于谷歌，發跡于 OpenAI，這是很多 GPT-4 貢獻者的職業軌跡。

這個星期，OpenAI 大模型 GPT-4 的發布讓全球科技圈的技術競爭進入了白熱化。幾天之內，ChatGPT、必應搜索和 Microsoft 365 相繼接入 GPT-4，微軟的 AI 應用瞬間比競爭對手拉開一個身位，甚至有人說，新的工業革命開始了。
一方面我們被 GPT-4 的效果所震撼，一方面我們也迫不及待的想要了解背后的技術，好奇它的訓練方法、使用的算力等。
但遺憾的是，OpenAI 并不 Open。在公開的論文（其實更像技術報告）中，OpenAI 明確地說，GPT-4 模型使用 RLHF 精調外，不會公開任何技術細節。

鑒于 GPT-4 等大型模型的競爭性與安全影響，本報告不包含有關架構（包括模型大小）、硬件、訓練計算、數據集構建、訓練方法等更多詳細信息。
不過，在此報告中，OpenAI 詳細列出了貢獻者及其負責的工作內容。這值得我們細致研究。這幾百人的貢獻者名單與分類，能讓我了解到 GPT-4 的成功背后包含了哪些部門、技術分枝的努力。
在這篇文章中，我們對有代表性的貢獻者進行了盤點，期待能為讀者帶來啟發。
研發人員占絕大多數
從組織架構的設置上看，GPT-4 幕后的研發團隊大致可分為七個部分：預訓練（Pretraining）、長上下文（Long context）、視覺（Vision）、強化學習 & 對齊（RL & alignment）、評估 & 分析（Evaluation & analysis）、部署（Deployment），以及其他貢獻者（Additional contributions）。
預訓練部分的工作細分為：

• 計算機集群擴展（Compute cluster scaling）
• 數據（Data）
• 分布式訓練基礎設施（Distributed training infrastructure）
• 硬件正確性（Hardware correctness）
• 優化 & 架構（Optimization & architecture）
• Training run babysitting

長上下文部分的工作細分為：

• 長上下文研究（Long context research）
• 長上下文內核（Long context kernels）

視覺部分的工作細分為：

• 架構研究（Architecture research）
• 計算機集群擴展（Compute cluster scaling）
• 分布式訓練基礎設施（Distributed training infrastructure）
• 硬件正確性（Hardware correctness）
• 數據（Data）
• 對齊數據（Alignment Data）
• Training run babysitting
• 部署 & 后訓練（Deployment & post-training）

強化學習 & 對齊部分的工作細分為：

• 數據集貢獻（Dataset contributions）
• 數據基礎設施（Data infrastructure）
• ChatML 格式（ChatML format）
• 模型安全（Model safety）
• Refusals
• 基礎 RLHF 和 InstructGPT 工作（Foundational RLHF and InstructGPT work）
• Flagship training runs
• 代碼功能（Code capability）

評估 & 分析部分的工作細分為：

• OpenAI Evals 庫
• 模型等級評估基礎設施（Model-graded evaluation infrastructure）
• 加速預測（Acceleration forecasting）
• ChatGPT 評估
• 能力評估（Capability evaluations）
• 編碼評估（Coding evaluations）
• 真實世界用例評估（Real-world use case evaluations）
• 污染調查（Contamination investigations）
• 指令遵循和 API 評估（Instruction following and API evals）
• 新功能評估（Novel capability discovery）
• ……

細讀貢獻者名單，不難發現，GPT-4 項目團隊的成員通常「身兼數職」。對于希望追趕 ChatGPT 的科技公司來說，OpenAI 提供的部門架構樣板提供了一些可以學習的思路。另外，它對于 AI 領域人才的未來發展方向或許也有一些啟示。
在 ChatGPT 發布之后，OpenAI 在人才招聘方面也做出了一些調整，招募了數十名前谷歌和 Meta 員工來創建人工智能聊天機器人。
在 OpenAI 上，谷歌作為「硅谷黃埔軍校」的名頭算是坐實了：根據 LeadGenius 和 Punks & Pinstripes 的數據顯示，該公司的 300 多名員工（數據截止到 2023 年 1 月）中有許多來自谷歌和 DeepMind 的母公司 Alphabet。數據顯示，OpenAI 目前雇傭了約 59 名谷歌前員工和約 34 名 Meta 前員工，同時包括幾名蘋果和亞馬的前遜員工。

鑒于 OpenAI 在 GPT-4 發布的第一時間就公開了所有貢獻者名單，機器之心整理了一部分參與工作的華人學者。如果遺漏，歡迎補充。
預訓練組
Trevor Cai
Trevor Cai 是 GPT-4 項目中吞吐量團隊的負責人。Trevor Cai 本碩畢業于南加州大學，2022 年 3 月加入 OpenAI。在加入 OpenAI 之前，Trevor Cai 曾在 DeepMind 工作近 5 年，擔任軟件工程師。
袁啟明

袁啟明（Qiming Yuan）是 GPT-4 項目數據集來源和處理團隊的負責人。袁啟明本科畢業于清華大學，碩士畢業于得克薩斯大學奧斯汀分校，2018 年加入 OpenAI。此前，袁啟明曾在微軟工作近三年。
Che Chang
Che Chang 作為 OpenAI 的副總法律顧問參與了 GPT-4 的研發，他博士畢業于美國西北大學，2021 年加入 OpenAI，此前在 AWS 領導了人工智能 / 機器學習和市場業務的法律團隊。最近一段時間，OpenAI 的法律團隊還在招聘 AI 產品顧問。
歐陽龍
歐陽龍 2019 年加入 OpenAI，擔任研究科學家。Long Ouyang 本科畢業于哈佛大學，博士畢業于斯坦福大學，曾在斯坦福大學任博士后研究員。歐陽龍也參與研發了 ChatGPT 相關的技術項目，他還是 InstructGPT 論文的第一作者。
翁麗蓮

翁麗蓮（Lilian Weng）是 OpenAI 人工智能應用研究的負責人，2018 年加入 OpenAI，在 GPT-4 項目中主要參與預訓練、強化學習 & 對齊、模型安全等方面的工作。
Tao Xu
Tao Xu 2019 年加入 OpenAI，先后畢業于北京大學、康奈爾大學。Tao Xu 曾在微軟的必應機器學習研究組工作四年。
Jie Tang

Jie Tang 在加州大學伯克利分校獲得計算機科學博士學位，導師是 Pieter Abbeel。加入 OpenAI 前，他曾在初創公司和 Dropbox 工作約四年時間。Jie Tang 本科就讀于哈佛大學，2008 年獲得計算機科學和經濟學學士學位。
Ben Wang
Ben Wang 目前是賓夕法尼亞大學本科生，2021 年加入 OpenAI。Ben Wang 參與了 GPT-4 項目的預訓練和長上下文方面的工作。
視覺組
Mark Chen

Mark Chen 2018 年加入 OpenAI，任研究科學家，畢業于麻省理工學院（MIT）。他參與了 GPT-4 項目中視覺方面的工作。
Casey Chu
Casey Chu2020 年加入 OpenAI，畢業于斯坦福大學計算數學專業。Casey Chu 的主要研究方向是多模態 AI 系統，他在 GPT-4 項目中主要參與視覺方面的工作。
胡繩麗

胡繩麗（Shengli Hu）2022 年加入 OpenAI，她碩士畢業于復旦大學、博士畢業于康奈爾大學。她的研究興趣在于社會科學、計算語言學、計算機視覺和語音的跨學科研究。胡繩麗曾在自然語言處理、計算機視覺、語音和應用統計方面的頂級會議和期刊上發表過多篇論文，包括 CVPR、ACL、EMNLP、ECCV 等等，并獲得過最佳論文獎提名。
Tianhao Zheng
Tianhao Zheng2022 年加入 OpenAI。他本科畢業于清華大學，博士畢業于得克薩斯大學奧斯汀分校。再加入 OpenAI 之前，他曾先后在英偉達、谷歌、Twitter 工作過。Tianhao Zheng 在 GPT-4 項目中主要參與了視覺方面的工作。
翁家翌


翁家翌（Jiayi Weng）2020 年在清華大學計算機科學與技術系獲得本科學位。本科在朱軍教授組學習期間，主要參與了強化學習算法庫 Tianshou（天授）的開發，該項目已獲得 5.9K GitHub Star。CMU 碩士畢業后，翁家翌加入 OpenAI 任研究工程師。