機械語からChatGPTへ：プログラミングは8十年でいかに変わったか

ソフトウェアは高級言語へのコマンド入力から始まったのではない。最初の電子計算機は、その回路が直接読むことができた生のバイナリパターンで、命令ごとに設定された——現在は機械語と呼ばれるもの。そこから、プログラミングはアセンブリ言語を経由してから、プロセッサではなく人間向けに構築された高級言語へ移り、過去10年間はシステムがそれら自身のコードとテキストを生成する段階へ進んだ。以下の日付と数字はIBMの企業歴、IEEE Computer Society、ダートマス大学による1956年のワークショップの説明、そして今日のチャットボットで使用されるTransformerアーキテクチャを導入した2017年研究論文から来ている。

機械語からニモニックへ

IEEE Computer Societyが発表したタイムラインによると、最初のプログラミング言語の一つはドイツの工学者Konrad Zuseが1940年代に開発したPlankalkülであった。1949年までに、アセンブリ言語とShortcodeと呼ばれるシステムが現れ、長いバイナリ数字の文字列を短いニモニックコードで置き換えた——ただしそれらのコードはなお、プロセッサが実行できる形式へ、行ごとに翻訳される必要があった。

高級言語：プロセッサではなく人間向けに書く

転換は1957年に加速され、IBMはFortranを発表した。Fortranは「formula translation」の略である。プロジェクトのIBMの社内史によると、数学者John Backusが率いるチーム——そこにはコンパイラの算術式分析器を構築したLois Haibtも含まれた——は元々6ヶ月で完了すると予想されていた言語に3年を費やした。IBMによると、Fortranは従前約1,000のマシン語命令を要していたプログラムを最大47行に減らし、科学者とエンジニアがハードウェアを直接コーディングする代わりに'DO'や'GO TO'といった代数的なコマンドを書くことを可能にした。1960年代中盤までに、Fortranはアメリカの計算標準となっていたとIBMは述べている。

IEEE Computer SocietyのタイムラインはAlgolとLispが1958年に、ビジネスコンピューティング向けに構築されたCobolが1959年に出現したとしている。1972年、Bell LabsのDennis RitchieのチームがアメリカのCを生み出し、同じIEEEのタイムラインはそれをJavaScript、PHP、Pythonを含むその後の言語の構造的基礎として認定している。オブジェクト指向プログラミングは1983年のC++で続いた。IEEEの記述はさらにPythonが1991年にデビューし、Java、JavaScriptとPHPが1995年に、GoogleのGoが2009年に、AppleのSwiftが2014年にデビューしたことを記録している。

並行した軌道：機械に推論を教える

高級言語が広がる中、別個の研究の流れは、機械が単に指示に従うのではなく知能をシミュレートできるかどうかを問い始めた。ダートマス大学の独自の記述は1956年のダートマス夏期研究プロジェクトについて説明している。これは数学者John McCarthyが組織したもので、その提案は『学習のあらゆる側面、または知能の他のどんな特徴も、原則的にはそれほど正確に記述することができるため、機械がそれをシミュレートするように作られることができるという仮説』をテストすることを目指していた。ダートマス大学はそのワークショップを定義された研究分野としての人工知能の出発点として認定している。

数十年後、その研究は広く注視された公開試験をもたらした。Deep BlueチェスコンピュータのIBMの社内史は、その機械が1996年2月にフィラデルフィアで世界チャンピオンのGarry Kasparovとの最初の試合で4–2で敗北し、その後1997年5月にニューヨークで3.5–2.5のスコアで再試合に勝利したと述べている——IBMによると、標準的なトーナメント条件下で現在の世界チェスチャンピオンを打ち負かした最初のコンピュータである。

TransformerとGenerative AI時代

今日のチャットボットを支えるアーキテクチャは単一の2017年論文にさかのぼる。8人の研究者——Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、そしてIllia Polosukhin——は「Attention Is All You Need」を2017年6月12日にarXivプリプリントサーバーに投稿した。論文はTransformerを導入し、その要約では注意メカニズムのみに基づくネットワークとして説明されており、それまでの翻訳システムが依存していた再帰的および畳み込み層を削除している。著者らは英語-ドイツ語翻訳で28.4 BLEUと英語-フランス語翻訳で41.8 BLEUのスコアを報告し、以前のモデルより高速な訓練を達成した。

そのアーキテクチャは2018年以降リリースされた大規模言語モデルの基盤となっている。OpenAIは2022年11月30日にChatGPTをリリースした。OpenAIの共同創業者Sam Altmanを引用するHistory.comの記述によると、サービスは5日以内に100万ユーザーに達し、約2ヶ月で約1億月間ユーザーに達したとされており、その記述はこれを当時の最速のコンシューマアプリ採用記録として説明している。

ほぼ80年に渡って、上記で追跡された各ステップは人が手で書く必要があったハードウェア固有の詳細の量を削減してきた——Zuseのplankalkülと手で設定されたバイナリ命令から、Fortranの代数的コマンドを通じて、今では自然言語プロンプトからコードとテキストを生成する注意ベースのモデルまで。