■目的 ・Web上にてユーザからの質問に答えるチャットボットを作る
■方式 (案１)国産のチャットサービスを使う 様々なチャットサービスがリリースされているので比較検討。
(案２)GPT-2 のモデルからファインチューニングして使う ・rinna/japanese-gpt2-medium といった学習済みモデルを使えば、API使用料金は無し。 ・ただファインチューニングは想像以上に大変でなかなか思うような出力にならない。 学習時間も開発コストもかかる。
(案３)OpenAIのAPIを使う ・InstructGPTのAPI使用料金は4段階。 ada や babbage といった安い料金帯のモデルで思うような出力になればそれでOK。最上位のdavinceモデルは高額。 → https://openai.com/pricing
・GPT Indexを使えば、2番目に安いbabbage モデルでも想定した結果に近い出力になった。ただ最安のadaでは厳しそう。
■所感 現実的には(案１)か(案３)になる。 OpenAIのbabbageモデルで想定すると費用は $0.0005 / 1K tokens になる。（2023年3月時点） 1回の対応で1000トークンかかったとすると、0.0005ドルで0.07円程度。 1,000回の対応があったとして70円。 質問と回答内容はデータベースに保存しておいて、類似の質問はAPIを使わず、保存してある回答を表示するようにすれば、コストは抑えられる。
既存のチャットサービスとコストの比較にはなるが、OpenAIの衝撃が大きいので(案３)を推したい。今後のさらなるバージョンアップも期待できるし、世界的にOpenAIのユーザが増えれば単価が下がるかもしれない。
簡単にチャットボットを導入できるようなサービスを作ってみたいが、それだけだと「OpenAIがすごいだけじゃん」と突っ込まれてしまうので、付加機能を考えたい。