入門基礎

トークン

AIが処理する最小単位。料金・処理量の基準となる。

詳細説明

LLMがテキストを処理する際の最小単位。単語やサブワードに分割されます。英語は1単語≒1トークン、日本語は1文字≒1〜2トークン程度が目安。APIの料金はトークン数に比例するため、コスト管理の基本単位となります。GPT-4は最大128,000トークン（約10万字相当）まで処理可能です。

AI APIのコスト試算や、一度に処理できる文書量の見積もりに使う概念。月次レポートなど長文の処理コストを事前に把握できます。