Tag: leis de escala

Como a Duração do Treinamento e Contagem de Tokens Afetam a Generalização de LLMs

Descubra como a duração do treinamento e a contagem de tokens influenciam a generalização de LLMs. Entenda os impactos do comprimento da sequência, memorização vs. raciocínio e técnicas modernas para melhorar a eficiência.

Ler mais

Leis de Escala em LLMs: O Que Melhora Quando os Modelos Crescem

Descubra como o desempenho de LLMs melhora com o aumento de escala. Analisamos leis de potência, eficiência de dados, raciocínio matemático e surpresas na inferência.

Ler mais