O FreeToken é um motor de inferência de código aberto projetado para executar modelos open-weight grandes baseados em Mixture-of-Experts (MoE) em hardware de consumo comum. Conforme esses modelos se tornam mais capazes, o tamanho total de seus pesos pode exceder os limites de memória das GPUs domésticas.
Diferente de executores de modelos locais de uso geral, o FreeToken é especializado em modelos MoE sobredimensionados (oversized). Ele combina, de forma adaptativa, a memória da GPU, o processamento na CPU, a memória do host e a largura de banda do barramento PCIe. O sistema faz cache dinâmico dos especialistas ativos na GPU e os alterna com base em quais especialistas são ativados.
Isso permite que as pessoas desenvolvedoras executem modelos significativamente maiores em hardwares existentes ou mais antigos. Já estamos começando a ver técnicas de offloading de MoE incorporadas a ferramentas mais amplas, como o llama.cpp (usado pelo Ollama), mas o FreeToken oferece uma abordagem especializada que vale a pena avaliar.
