OpenAIの軽量モデル「GPT-4o mini」を試してみる

参考：GPT-4o mini: advancing cost-efficient intelligence | OpenAI[1]

GPT-4o mini の概要

GPT-4o miniは 低価格の軽量モデルとして公開されています。他モデルよりも低コストかつ低遅延であるためモデル呼び出しの連鎖や大量のコンテキストを使うアプリケーション、リアルタイム対話といった幅広いタスクで利用することができます。GPT-4oと同様に巨大なコンテキストウィンドウやマルチモーダル入力(テキスト、画像)といった特徴をもっています。

表１のようにGoogleのGemini Flashや Anthropicの Claude Haiku、OpenAIのGPT-3.5 Turboといった他の低価格モデルと比べ、トークンあたりのコストが低く設定されていることがわかります。

表1　OpenAI及び他社APIモデルの価格表

詳しくは公式サイトの [Pricing][2] やGPT-4o mini: advancing cost-efficient intelligence | OpenAI[1] のドキュメントを確認してみてください。

GPT-4o mini の文章生成能力

GPT-4o miniのベンチマークテスト結果がOpenAIから公開されており、推論(MMLU)、数学推論(MGSM)、マルチモーダル推論(MMMU)といった主要なタスクで他社の低価格モデルやGPT-3.5 Turboの性能を上回っており、GPT-4oに比べて近いパフォーマンスが得られています。

GPT-4o mini：コスト効率の高いインテリジェンスの進化 |OpenAI[1]

GPT-4o mini の使い方

「GPT-4o mini」を利用する場合にも、他のOpenAIモデルと同様にAPIを使って実行することができます。

pip install openai

モデル名を`gpt-4o-mini`もしくは`gpt-4o-mini-2024-07-18`と指定することで利用できます。

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
  model="gpt-4o-mini-2024-07-18",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Who won the world series in 2020?"},
    {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
    {"role": "user", "content": "Where was it played?"}
  ]
)

詳細な利用方法については[公式ドキュメント][3]を確認してみてください。

GPT-4o mini に質問してみる

いくつかの質問への回答を GPT-4o miniと GPT-3.5 Turboや GPT-4oを比較してみましょう。今回は、以下2つの質問にどのように回答するかを試してみました。

• 文脈理解
• 長文要約

文脈理解

まずは、マラソンの順位の変化について質問をして文脈理解の能力を試してみましょう。

以下のプロンプトを実行します。

それぞれのモデルの生成結果は以下のようになりました。

`gpt-4o-mini`

`gpt-3.5-turbo`

`gpt-4o`

表2　マラソンの順位の変化についての質問の正答率

こちらの質問は、`3位`が正答です。

回答例をみるとGPT-3.5 Turboでは不正解でしたが、GPT-4o miniでは正しく回答できていますね。また表２の正答率によると、GPT-4o miniの正答率（試行回数=10）は高く、GPT-4oと近い正答率になっています。

長文要約

次に、長文の要約タスクを試してみましょう。

今回は『「新しい資本主義」についての政策』[4]について要約してみます。このページの一部を対象に約100,000トークン程度の文章をプロンプトに組み込みます。

また、GPT-3.5 Turboでは入力可能なトークン数が少なくなるため、1/10程度まで文章を短くして組み込みます。

以下のプロンプトに先ほどのPDFの文章を追加して実行します。

今回は要約の文字数を指定しているので、出力文字数を比較してみましょう。 

それぞれのモデルの生成結果と出力文字数は以下のようになりました。

`gpt-4o-mini`

 `gpt-3.5-turbo`

`gpt-4o`

表３　長文要約結果の文字数の比較

GPT-4o / GPT-4o miniでは新しい資本主義についてまとめられており、内容もかなり近いですが、GPT-3.5 Turboでは回答例のように文書の一部に着目してしまい全体を上手く要約できないケースがありました。これは他モデルに比べ入力文字数が制限されることが原因の一つであると思われます。

また、表３にあるように各モデルの要約時の出力文字数と指定文字数を比較したところ、試行回数＝10 の場合の平均出力長はGPT-4o miniは他モデルよりも指定文字数から離れた値となりました。

GPT-4o mini のまとめ

本記事では、「GPT-4o mini」がプレビュー版から更新されてどう変わったのかについてご紹介しました。

今回は2つの質問を試してみましたが、特に文脈理解が必要なマラソンの順位についての質問への回答が従来の軽量モデルであるGPT-3.5 Turboよりも改善していました。また、要約タスクにおいてもGPT-3.5 Turboよりも多くのトークンを入力できるため、GPT-4oのような高価格なモデルに近い性能が得られるようになってきています。

GPT-4o miniでは従来の低価格モデルと比べてかなり生成精度が向上されており、マルチモーダルや長大なトークン入力等、今までは高価格なモデルでしかできなかった機能も利用できるため、難解なタスクへの対応を求められる場合以外はGPT-4o miniで十分といえるかもしれません。

【参考文献】

[1]https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/

[2]https://openai.com/pricing

[3]https://platform.openai.com/docs/guides/text-generation

[4]https://www.cas.go.jp/jp/seisaku/atarashii_sihonsyugi/pdf/ap2023.pdf