Calculate the number of language model tokens for a string(blog.mastykarz.nl)

17 pointsby waldekmw zeszłym roku3 comments

https://blog.mastykarz.nl/calculate-number-language-model-tokens-string/

3 comments

sva_w zeszłym roku

  import tiktoken
  enc = tiktoken.encoding_for_model('o1-mini')
  len(enc.encode('some string'))

NitpickLawyerw zeszłym roku

Does that work on anything other than openai?

topicseedw zeszłym roku

No but most models have their own libs you can use