LLMへ渡すメッセージのtoken数を調べる
created: 2024-04-14
Azure Open AIとかLLMを試すときにコストが気になるのでトークン数を調べてみました
import tiktoken
model = "gpt-35-turbo"
enc = tiktoken.encoding_for_model(model)
tokens = enc.encode("Hello World!")
print(len(tokens))gpt-35-turbo で Hello World! は 3 トークンでした
openai-cookbook/examples/How_to_count_tokens_with_tiktoken.ipynb at main · openai/openai-cookbook に詳しく載っています
PR
AI開発するのに、この本が分かりやすいです
Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門
このリンクは、アフィリエイトリンクです
Amazonのアソシエイトとして、blog.freks.jp は適格販売により収入を得ています。
This site is managed by freks