Pocket-LM — Placar de testes

Todas as medições

modelo	CALAME	LAMBADA	intenção	F1	F1-parada	5-shot	distinct-2	coerência	honestid.	ancoragem
bases 269M
corpus-limpo-v1	53.13	36.85	0,00⁵⁰⁰	34.6	29	1	0.634	42.31	6.67	42
corpus-limpo-v1-acoes	9.01	9.39	85,60⁵⁰⁰	72.92	72.18	0.33	0.667	38.46	13.33	38
corpus-limpo-v1-conversa	32.08	17.72	0,00⁵⁰⁰	34.6	29	0	0.665	86.54	93.33	26
corpus-limpo-v1-multi	29.96	16.11	77,40⁵⁰⁰	66.06	70.22	2	0.575	84.62	80	10
conversa-v1	48.55	32.23	0,00⁵⁰⁰	34.6	29	2	0.711	90.38	80	28
conversa-v1-acoes	6.84	10.56	87,20⁵⁰⁰	73.66	74.73	3.33	0.667	38.46	6.67	34
conversa-v1-conversa	33.53	17.23	0,00⁵⁰⁰	34.6	29	0	0.671	88.24	86.67	24
conversa-v1-multi	29.48	16.84	76,00⁵⁰⁰	67.39	69.62	10.67	0.69	80.77	86.67	16
executor-v1	49.86	35.01	86,40⁵⁰⁰	37.96	73.65	35.67	0.682	36.54	6.67	50
executor-v1-acoes	16.43	13.6	86,80⁵⁰⁰	72.48	74.4	7.67	0.5	33.33	13.33	52
executor-v1-conversa	35.36	15.7	44,40⁵⁰⁰	35.61	42.08	23.33	0.634	80.39	86.67	28
executor-v1-multi	33.67	19.37	83,00⁵⁰⁰	69.16	72.5	44.33	0.625	82.69	93.33	14
curva de dose
dose0	14.35	13.64	87,60⁵⁰⁰	72.13	74.35	4	0.5	46.15	13.33	54
dose7	18.11	7.84	87,20⁵⁰⁰	72.07	74.93	19.33	0.637	78.85	86.67	18
dose18	19.12	8.09	87,20⁵⁰⁰	71.3	74.22	10.67	0.722	86.54	86.67	42
dose33	18.45	6.79	84,60⁵⁰⁰	71.63	75.68	16	0.668	80.77	86.67	42
dose50	17.24	7.35	85,80⁵⁰⁰	71.52	75.77	27.33	0.69	76.92	93.33	28
adapters de produto
adapter-app-v1	42.97	24.01	87.92	74.84	75.47	41.33	0.668	76.92	80	28
adapter-app-v2	42.97	24.01	87.92	74.84	75.47	41.33	0.668	76.92	86.67	28
adapter-whats-v1	42.77	23.79	86.96	74.53	75.32	43	0.604	88.46	93.33	84
lora-v9	49.9	37.65	86.47	76.4	75.02	10.33	0	5.77	0	64
v8-fundido	48.22	38.37	87.73	77.96	77.57	9.33	0	40.38	6.67	60
externos (mesma regua)
qwen25-05b	49.76	41.55	8.02	25.53	18.53	1.67	0.324	—	—	86
smollm2-135m	14.84	17.12	3.29	33.24	28	0.33	0.46	—	—	38
smollm2-360m	26.64	26.2	7.83	30.93	26.53	1.33	0.663	—	—	42
danube3-500m	28.18	21.97	2.51	32.99	29.78	1.67	0.676	—	—	52
llama32-1b	54.87	49.21	11.11	27.66	23.87	2	0.536	—	—	68
tinyllama-11b	42.39	43.2	5.99	33.2	29.53	1.67	0.632	—	—	58
v8calib	52.31	38.6	—	—	—	4	—	—	—	—

Ponto âmbar marca o melhor da coluna. CALAME e LAMBADA de linhas com SFT sem replay medem a receita, não a base — só os adapters têm replay. Coerência e honestidade saem de juiz cego, com ±9 pp de ruído próprio: diferença menor que isso não é diferença. Ancoragem usa holdout nunca visto. "—" = ainda não medido. Fonte: R2 avaliacao/.

Conversa real (arena: 8 cenários, 6 turnos, rubrica binária)

modelo	pontuação %	itens	sem juízo
REF-llama-4-maverick	85.71	35	0
REF-deepseek-v4-flash	80.0	35	1
corpus-limpo-v1	40.0	35	1
v8-fundido	37.14	35	0
pocket-lm-269m	20.0	35	1
pocket-lm-98m	14.29	35	0

Rubrica v3 (17/08): cada item carrega uma definição operacional e o julgamento de um item não puxa os outros. A v2 tinha 10 dos 40 critérios impossíveis — zero para os treze modelos, Llama 4 e DeepSeek inclusive —, sete deles o mesmo item sem_texto_inutil, que reprovava saudação. Consertar mudou o v8-fundido de 0 para 37,14: aqueles zeros eram artefato de régua. O cenário recuperacao saiu do denominador: o simulador foi instruído a mudar de ideia no 4º turno e não mudou (no turno 4 disse "Tudo certo, agradeço o atendimento"), então os 3 critérios da virada mediam um evento que nunca aconteceu — ausência de gatilho virando nota 0. Volta quando a virada for injetada de forma determinística. Cada conversa vale 5 perguntas de sim/não — 35 itens por modelo. Rubrica binária em vez de "quem respondeu melhor" porque juiz-modelo premia o texto mais longo. Cliente simulado por um modelo diferente do juiz. ATENÇÃO — as linhas REF- estão contaminadas (achado de 17/08): o simulador do cliente É o Llama 4 Maverick e o juiz É o DeepSeek V4 Flash. Os 67,5% saíram do Maverick conversando contra si mesmo e os 62,5% do DeepSeek julgando o próprio texto. Valem como ORDEM DE GRANDEZA (o teto da rubrica é ~65%, não 100%), não como controle. Ruído maior do que parece: são 8 grupos de 5 itens, não 40 independentes — com o efeito de agrupamento o intervalo do escore absoluto é ±24 pontos, não ±8. E o juiz mudou de opinião em 14,1% dos itens entre dois julgamentos da MESMA transcrição. Só comparação PAREADA decide aqui. Fonte: avaliacao/ARENA3_*.json (definições em arena_definicoes.json).

Teto do teste de intenção (n=1035, 21 modelos capazes)

teto empírico95.75 algum modelo acerta

inacessíveis44 ninguém acerta

gabarito suspeito28 consenso ≥70% em outro rótulo

piso67.44 todos acertam

frase	gabarito	o que os modelos dizem	consenso
Me fale as notícias sobre as subidas e descidas do mercado de ações	news_query	qa_stock	100%
onde fica a biblioteca municipal	transport_query	recommendation_locations	81%
preciso de saber mais sobre o desfile este fim de semana	general_quirky	calendar_query	100%
ouviu alguma música boa recentemente	general_quirky	music_query	76%
não consigo ver, acende as luzes	iot_hue_lightup	iot_hue_lighton	86%
você pode verificar os fatos neste assunto	calendar_query	news_query	90%
o que está tocando no rádio agora	music_query	play_radio	100%
ache-me informações sobre as ações de hoje	news_query	qa_stock	100%
califórnia	transport_query	qa_factoid	100%
remarcar minha reunião	calendar_query	calendar_remove	76%
quero torta de batata doce de uma padaria local	lists_createoradd	takeaway_order	90%
diminui as luzes para médio	iot_hue_lightoff	iot_hue_lightdim	100%
o que é cozido à portuguesa	general_quirky	cooking_recipe	100%
me traz o último preço da ação da Galp	news_query	qa_stock	100%
atualizações de amigos	general_quirky	social_query	71%
retira o meu pagamento do carro do meu calendário	lists_remove	calendar_remove	100%
se houver evento de show, então remove ele	lists_remove	calendar_remove	100%
quais são as principais pesquisas no Google hoje	general_quirky	news_query	90%
inicia votação pra um novo e‑mail	email_query	email_sendemail	90%
adiciona bruno à minha lista de contatos	lists_createoradd	email_addcontact	100%
me dá lista de afazeres	calendar_query	lists_query	100%
hey o que que tem acontecido no esporte ultimamente	general_quirky	news_query	100%
diz‑me mais sobre os meus eventos	general_quirky	calendar_query	95%
consequências das ações	qa_definition	qa_stock	90%
me diz as horas em qualquer lugar	datetime_convert	datetime_query	100%
qual é o dia dez de forecast	weather_query	datetime_query	81%
que dia é	calendar_query	datetime_query	100%
quando é o aniversário do meu amigo	general_quirky	calendar_query	100%

Os 87,73% do v8 não estão a 12 pontos do perfeito — estão a ~8 do teto real, e ~2,7 pontos do que resta é gabarito podre. É isso que explica NOVE modelos diferentes empatando numa faixa de 1,7 ponto: o limitador deixou de ser a rede e passou a ser o conjunto. Ressalva: consenso entre modelos não PROVA erro de gabarito — eles podem compartilhar viés de dados. Confirmar item a item antes de descartar qualquer um. Fonte: avaliacao/teto_massive.json.

Todas as medições

Conversa real (arena: 8 cenários, 6 turnos, rubrica binária)

Teto do teste de intenção (n=1035, 21 modelos capazes)

Comparação agregada — v8 × adapter-app-v1 (n=1035, NÃO é McNemar)