Calculate the number of language model tokens for a string(blog.mastykarz.nl)

17 pointsby waldekmปีที่แล้ว3 comments

https://blog.mastykarz.nl/calculate-number-language-model-tokens-string/

3 comments

sva_ปีที่แล้ว

  import tiktoken
  enc = tiktoken.encoding_for_model('o1-mini')
  len(enc.encode('some string'))

NitpickLawyerปีที่แล้ว

Does that work on anything other than openai?

topicseedปีที่แล้ว

No but most models have their own libs you can use