PrismML, um laboratório de pesquisa de inteligência artificial (IA), está revolucionando a forma como usamos modelos de linguagem de grande porte (LLMs). Fundado por pesquisadores da Caltech e liderado por Babak Hassibi, o laboratório está desenvolvendo modelos compactos que podem rodar em PCs e smartphones.

A empresa lançou recentemente o Bonsai 2 27B, que reduz o tamanho do popular modelo Qwen3.8 27B de 27 bilhões de pesos para apenas 5,9 gigabytes. Isso representa uma redução de 9 a 10 vezes em comparação com o modelo original.

Tecnologia única

Segundo Hassibi, a tecnologia de compressão de PrismML é única porque mantém praticamente a mesma performance dos modelos originais. O Bonsai 2 atinge 98% dos pontuações de benchmark agregadas do Qwen, comparado com 95% do primeiro Bonsai, lançado há dois meses.

O método de compressão utilizado pelo laboratório envolve a simplificação dos 'pesos' do modelo, que são os dados aprendidos durante o treinamento. Normalmente, cada peso requer 16 bits, mas PrismML usa uma abordagem chamada 'ternária', que simplifica isso para +1, -1 ou 0, resultando em um modelo muito menor.