Como avaliamos os livros

Quem faz este trabalho: inteligência artificial, sob um método fechado

É melhor dizer isto de cara, porque é o fato mais importante sobre como o site funciona: a coleta e a avaliação são executadas por inteligência artificial, do início ao fim. A IA procura as fontes, lê página de editora, lista de prêmio e resenha, extrai o que serve de evidência, preenche as cinco dimensões, deriva a janela etária e escreve a justificativa que você lê na página de cada obra. O código deste site também foi escrito assim.

O que não é feito por IA: a régua. A rubrica, os pesos, o que conta como evidência aceitável, o que derruba uma avaliação e o que fazer quando falta informação são decisões humanas, escritas antes e fora do processo. A IA aplica esse método; ela não o define, não o altera e não decide exceção.

E é justamente por ser IA que o site é construído do jeito que é. Modelo de linguagem inventa com fluência — inclusive prêmio que não existe e autoria trocada. Então nada aqui vale por ser afirmado: cada dimensão só pontua com evidência nomeada e endereço conferível, publicados junto da nota; dimensão sem fonte fica vazia em vez de virar palpite; e existem travas automáticas que barram a publicação quando uma ficha não tem lastro, quando a autoria diverge da lista oficial do prêmio, ou quando um número aparece sem a fonte que o produziu. A transparência não é enfeite deste site — é a única coisa que torna uma curadoria feita por IA verificável por você.

A revisão humana é por amostragem e por provocação: erro encontrado vira correção com registro do que mudou e, quando é erro de método, vira trava nova. Já aconteceu mais de uma vez — creditar a pessoa errada, tratar prêmio estrangeiro como se não valesse na edição brasileira, prometer resistência a livro frágil. Se você encontrar um, me avise.

O que foi lido, e o que não foi

Ninguém aqui leu os livros deste acervo de capa a capa, e seria mentira sugerir o contrário. Texto e ilustração são avaliados por amostragem: as páginas que a editora ou a livraria disponibilizam na prévia — a galeria do “Olhar dentro” e equivalentes —, mais o juízo já publicado por quem leu a obra inteira (resenha crítica, ficha de catálogo de curadoria, parecer de premiação). É a rota padrão desta base, não a exceção.

Três consequências disso, e as três estão à vista na página de cada obra:

A capa sozinha nunca pontua. Miniatura de capa não é miolo: se a única coisa disponível for a capa, texto e ilustração ficam sem avaliação — não recebem nota baixa, recebem nenhuma.

Amostra insuficiente deixa a dimensão vazia. Quando as páginas disponíveis não permitem julgar — poucas, ilegíveis, ou só a folha de rosto —, a ficha registra isso e a dimensão fica vazia. A nota é reescalada sobre as dimensões que sobraram, então uma lacuna não vira punição disfarçada.

A fonte de cada dimensão é publicada. Na página da obra, “Fontes da evidência” diz de onde veio cada julgamento — se foi análise própria sobre a amostra, se foi juízo de terceiro, ou se foi a lista oficial de um prêmio. Você consegue ver quanta base tem cada nota antes de confiar nela.

O que a amostragem não limita é a janela etária: ela sai das características materiais e estruturais da obra — suporte, extensão, estrutura verbal, o que a criança precisa já saber —, que são visíveis sem ler o livro todo.

A avaliação

Cada obra recebe uma avaliação de 0 a 5 em cinco dimensões — texto, ilustração, experiência de leitura, reconhecimento e perenidade —, cada uma com evidência registrada. Essas cinco notas aparecem na página da obra, uma a uma. A avaliação mede a obra, nunca o encaixe com a idade de quem lê — e não cai por causa da idade em hipótese nenhuma.

Por que não publicamos uma nota de 0 a 100

Existe um número interno, e ele serve para organizar o trabalho da curadoria. Ele não é publicado, e a razão é simples: nós o testamos e ele não passou. Num teste feito às cegas, comparando pares de obras, esse número concordou com o julgamento humano em 11 de 21 pares — menos do que o limite de acerto que tínhamos escrito antes de testar. Publicar "96 de 100" seria afirmar que 96 é distinguível de 93, e essa distinção nós não medimos.

O que o número separa bem é o grosso: obra de autor de produto industrial de licença. Por isso a página publica três faixas — Recomendado, Vale conhecer e Com ressalvas — e não uma posição. Os cortes entre elas são escolhas nossas, não medidas: não existe experimento que fixe onde uma faixa termina e a outra começa, e dizer o contrário seria repetir o defeito que acabamos de descrever.

A evidência

Toda avaliação carrega uma evidência com fonte. Sem evidência, a dimensão fica em branco — nunca recebe nota inventada. Isso baixa a confiança da avaliação (relatada junto de cada obra), não a avaliação em si: preferimos dizer "não sabemos" a fingir um juízo que não temos.

O piso de evidência

Uma obra com menos de duas dimensões avaliadas não recebe faixa nenhuma. Com uma dimensão só, o juízo inteiro sairia dela e viraria ruído com cara de veredito — e "não sabemos o bastante" é uma resposta diferente de "avaliamos e não é bom".

A régua

Quando dizemos que uma obra "pede 24 meses pela régua", falamos de uma régua de desenvolvimento da leitura: o que a criança precisa conseguir fazer para o livro render. Apontar e nomear o que vê. Prever o que vem na próxima página. Completar uma frase que já ouviu. Recontar a história com as próprias palavras. Perceber que o narrador está errado. Sustentar uma metáfora até o fim.

Essas habilidades aparecem em ordem parecida na maioria das crianças, e é isso que torna a régua útil — mas elas não aparecem no mesmo mês em todas. Por isso a janela de cada obra é larga e tem um ponto alto, em vez de uma idade exata: ela descreve a obra, não a criança que vai lê-la. Uma criança de dois anos que já reconta histórias alcança coisas que a régua coloca mais adiante, e isso não é a régua errando — é a régua sendo o que ela é, uma média de onde partir.

E ela é uma régua da casa. Durante um tempo esta régua foi creditada a duas referências de pediatria norte-americanas. Fomos conferir nas fontes originais e o crédito não se sustentava: essas fontes param nos 4 ou 5 anos de idade, mencionam livro pouquíssimas vezes, e nada do que elas publicam cobre as faixas acima disso. Tiramos o crédito. A régua continua de pé, agora com o nome certo — ela é nossa, montada a partir de literatura de desenvolvimento e do que vimos nas próprias obras, e responde por si.

Duas consequências que preferimos dizer a esconder. As faixas mais altas são as mais frágeis: da metade da idade pré-escolar para cima, a régua deixa de ter apoio em fonte externa e passa a ser juízo nosso. E, na metade de baixo, ela é adiantada — tende a supor a criança capaz um pouco antes do que as fontes supõem. Onde há fonte, ela acerta; onde não há, ela é uma opinião informada com cara de tabela. Por isso a janela nunca é o veredito sozinha: ela entra junto das características materiais da obra e do que já foi publicado por quem leu.

A confiança de cada janela

Toda janela sai com uma confiança declarada — alta, média ou baixa — e ela aparece na página da obra, ao lado da idade. Não é enfeite: ela diz de quantos insumos independentes a janela saiu e se eles concordavam. Janela derivada só das características do livro, sem nenhuma leitura publicada e sem curadoria externa para confrontar, sai com confiança baixa — e confiança baixa quer dizer trate esta idade como ponto de partida, não como resposta.

Quando as fontes discordam entre si, a divergência também é registrada em vez de ser aparada. A ficha da editora, em especial, quase sempre é mais generosa do que a nossa janela: onde ela diz "a partir de 2 anos" e nós dizemos 3, está escrito por quê. Discordar da editora é o trabalho; esconder que discordamos seria fingir uma unanimidade que não existe.

O que este site não sabe

A lista importa tanto quanto o método, porque é ela que diz até onde ir com o que está publicado aqui.

Não sabemos como o livro se comporta na mão da sua criança. A janela descreve a obra e uma média de desenvolvimento — não a criança que vai ler. Duas crianças da mesma idade podem responder de forma oposta ao mesmo livro, e nada aqui prevê isso.

Não lemos os livros inteiros, salvo exceção — texto e ilustração são avaliados por amostragem, como está descrito acima, e a página de cada obra diz o que sustentou cada dimensão.

Não sabemos o preço, e de propósito. O site não publica preço nem promoção; o valor muda o tempo todo e quem informa isso é a Amazon, na hora.

Não conhecemos o acervo inteiro publicado no Brasil. Avaliamos o que entrou na nossa fila. A ausência de um livro aqui não é juízo sobre ele: é só ausência.

Não temos experimento que valide a régua contra crianças reais. O que testamos foi a consistência do método e a capacidade dele de separar obra de autor de produto de licença. Nenhum teste nosso mediu se a idade que indicamos é a idade em que a criança de fato aproveita mais o livro — e é por isso que a linguagem aqui é "rende mais", nunca "é indicado para".

A faixa etária

A janela de idade de cada obra — quando começa a servir, quando termina, e o ponto alto — é triangulada de várias fontes: comentários reais de leitura, as características da obra frente a uma régua de desenvolvimento infantil, curadorias especializadas e, por último, a ficha da própria editora, que costuma ser generosa demais e por isso nunca é o veredito final sozinha.

Um exemplo, com o lastro à vista

Método descrito no vazio não vale nada, então veja um de verdade. Nesta data, a obra do acervo com mais lastro é Onda (Nova edição): 0 dimensões avaliadas e 11 fontes nomeadas, cada uma com endereço. Abra a página dela e confira o caminho inteiro — a evidência que sustentou cada dimensão, a janela de idade com a confiança declarada, e o que ficou vazio por falta de fonte. É o mesmo caminho em todas as outras; o que muda é quanto lastro cada uma tem.

O que a curadoria não faz

Nenhuma editora patrocina, envia exemplar ou influencia nota alguma. Os links para a Amazon podem carregar uma tag de associado — quando carregam, isso é dito no rodapé — mas a tag nunca altera a nota, que é decidida antes e independentemente de qualquer link.