本日は以下のNature誌のオープンアクセス記事から、重要と思ったポイントについて話してみたいと思います。
Open-source AI chatbots are booming — what does this mean for researchers?
Nature 618, 891-892 (2023)、doi: https://doi.org/10.1038/d41586-023-01970-6
◆オープンソース化のメリット
OpenAIやGoogleなどの大手は自社開発の生成AIモデルを公開することなく、いわゆる「秘密主義」に傾いています。
一方で、「オープンソース化」は、様々なメリットを提供します。
大規模なデータで学習した学習済みモデルを一般利用可能にすることで、それらを転移学習に使用することができます。具体的に、手元のタスクに特化したモデルになるようにファインチューニングを行います。数百から数千の専用データだけを追加し、ネットワークの出力に近い部分を調整します。
これまでも、AI研究者たちはコードをオープンソースとして公開し、結果をリポジトリに投稿することで、その分野の進歩を早めることに寄与してきました。例えば、現在の最先端の大規模言語モデルの基礎となるTransformerもGoogleがオープンソースとして公開されてきました。
AIの民主主義を促進する観点からいうと、低コストで技術へのアクセスできるため、小さな企業や非営利組織、個人にとってメリットが大きいです。
また、オープンソース化することで、研究者たちは協業しながら「システムがなぜこのように予測したのか」を解明したり、モデルの偏見や悪質な出力を防ぐための知見が集います。例えば、オープンソースのBLOOMを分析することで、訓練データから引き継がれるバイアス（例えば、言語モデルが「看護師」を女性、「医者」を男性と関連付ける傾向など）を特定し、修正する方法が見つけ出されました。
◆企業によるオープンソース化の例
① Hugging Face社は、AIへのアクセスを拡大することを目指し、自社のウェブサイトに100以上の大規模言語モデルをオープンソースとして掲載しています。特に、BLOOMという大規模な多言語オープンソースシステムを開発し、研究者向けに公開しています。
②Meta社がLLaMAを一部の開発者に無料公開してきました。しかし、LLaMAのコードは一週間で漏洩し、誰でもダウンロードできるように公開されるようになりました。
LLaMAは精度が良いのに、他の大規模言語モデルよりも規模がはるかに小さく、大規模な計算設備を必要としません（例：LLaMAの最大バージョンは650億のパラメータ、BLOOMは1760億、GoogleのPaLM2は5400億）。
AIツールを小型化することで、より広くアクセス可能にすることが考えられます。
ところで、AIへのアクセスの拡大に向けた取り組みは他の障壁もあり、例えば、低所得国の一部の研究者にとっては、高性能なパソコンでさえ手の届かないものとなっています。
そして、オープンソース化が進んだとしても、大規模言語モデル（LLM）の推進力は相変わらず大企業から来ると思われています。なんと言っても、大規模言語モデルの事前訓練には膨大なリソースが必要であり、OpenAIのGPT-4やGoogleのPaLM 2の訓練には数千万ドル相当の計算時間が必要と推計しています。
【生成AIに関する他の記事を読みたい方はこちらから『ChatGPTビジネスレポート』に無料登録してください】
執筆者：ヤン ジャクリン
