O TOON (Token-Oriented Object Notation) é uma codificação legível por pessoas para dados JSON projetada para reduzir o uso de tokens quando dados estruturados são passados para LLMs. Ele permite que os times mantenham o JSON em sistemas existentes e o convertam apenas no momento da interação com o modelo. Isso é importante porque o custo de tokens, a latência e as restrições da janela de contexto estão se tornando fatores concretos de projeto em pipelines de RAG, workflows de agentes e outras aplicações intensivas em IA. O JSON puro costuma consumir tokens com chaves repetidas e overhead estrutural em vez de conteúdo útil. Em nossa avaliação inicial, o TOON é uma otimização interessante de "última milha" para entradas de prompt, particularmente para grandes conjuntos de dados regulares onde um formato mais orientado ao schema (schema-aware) pode ser tanto mais eficiente quanto mais fácil para os modelos processarem do que o JSON. Ele não é um substituto para JSON em APIs, bancos de dados ou saídas do modelo, e frequentemente é a escolha errada para estruturas profundamente aninhadas ou não uniformes, arrays semi-uniformes ou dados tabulares simples, sem hierarquia onde o CSV é mais compacto. Ele também pode ser menos adequado para fluxos sensíveis à latência onde o JSON compacto tem um bom desempenho. Por esses motivos, acreditamos que vale a pena avaliar o TOON para times que constroem aplicações de LLM em que o tamanho da entrada estruturada tem impacto relevante em custo ou qualidade. Os times devem compará-lo com JSON ou CSV por meio de benchmarks usando seus próprios dados e stack de modelos.
