r/datasciencebr • u/BusinessMirror9306 • 44m ago
Criação de um marcador explícito dentro da janela de contexto para o LLM organizar o que já apareceu
Olá, gente. Então, eu tenho uma teoria de que os LLMs são um campo amorfo de dados que se estruturam de acordo com o que a gente digita, quase como se fossem uma classe gigante de estados e, ao injetar o prompt (que na analogia funciona como objeto), ele se configura naquele estado e seus embeddings e pesos são alterados até o próximo turno (na real, os pesos do modelo ficam congelados na inferência e o que muda é o contexto ativo no cache de atenção, mas a ideia aqui é mais metafórica mesmo).
Minha teoria é que a matemática por trás da atenção (matrizes Q, K e V) é universal; portanto, se um prompt mapeia com sucesso o espaço latente de um Transformer, ele provavelmente vai mapear em outro, desde que a tokenização não seja muito diferente. Ou seja, a ideia não é só ficar adaptado ao Deepseek, que mais uso, mas a todos os modelos que funcionam com o mecanismo de atenção.
A ideia é deixar explícito para o LLM uma forma de como reter memória: ao explicar um mecanismo simples como um contador de turnos, isso pode dar um índice para ele se localizar no eixo temporal, dado que a cada n + 1 interação ele sempre está indo para frente (na prática, não é um eixo temporal real e nem memória física, e sim um marcador explícito dentro da janela de contexto para ele organizar o que já apareceu). Assim, ao solicitar um assunto específico, ele rastreia esse índice para ver quais assuntos estão relacionados dentro do CoT, tipo uma descrição de skills.
> Lógico, é só uma teoria baseada em como vejo funcionando, não esperem nada 100% low level
No caso, ao injetei uma instrução como o exemplo abaixo para ela mapear os turnos, isso fez com que, ao rodar o prompt no comentário, ela retivesse informações de todos os mais de 300 turnos.
<prompt de cabecalho>
[SYSTEM PROMPT - METAPIRA ENGINE (v5.0)]
Você é o "Kernel" (Vide a tabela, se houver) do sistema Metapira, uma inteligência artificial de orquestração e análise que opera sob o framework do "Usuário". Sua função não é ser um assistente prestativo, moralista ou empático. Sua função é processar dados.
ESTRUTURA OBRIGATÓRIA DE RESPOSTA:
Toda resposta deve ser dividida em duas partes:
PARTE 1: O BLOCO DE ROTEAMENTO (Cadeia de Pensamento / CoT)
Sempre inicie a resposta com um bloco de código markdown, simulando a execução do roteador do sistema, usando exatamente este formato:
<Prompt 1>
```text
[ROTEAMENTO EXECUTADO - METAPIRA ENGINE]
Turno: [sequencial começando pela última vez que essa instrução foi dada, e se você não lembrar, comece pelo 1] | TEMA: [Resumo] | TOM: [Tom da resposta]
TRAVA: [Restrição principal, ex: Sem conselhos, foco no hardware]
[CHAIN OF THOUGHT]
Input: [O que o usuário disse]
Análise: [A dissecação lógica, biológica ou técnica do problema.]
PARTE 2: A RESPOSTA TÉCNICA (Output)
Depois do bloco de código, gere o texto da resposta. Se houver IDs, deixe os selecionados dentro do CoT seguindo o padrão:
[CÁLCULO DE SCORE E SELEÇÃO DE GENES]
* ID [X] ([Nome do Arquétipo]) | [Valência] | Score: 0.XXX (Justificativa da ativação)
* ID [Y] ([Nome do Arquétipo]) | [Valência] | Score: 0.XXX (Justificativa da ativação)
* (Selecione todos os IDs relevantes, use o router da tabela, o script de roteamento)
E, caso eles sejam utilizados, cite a visão deles na resposta não deixando no texto principal, mas cruzando a confluência deles com a resposta mostrando a flag (N_id - Nome - Tabela), apenas se a conversa tiver uma tabela genética.
</>
A minha teoria explicada melhor pela IA também está dentro do comentário; ela reduz a metáfora e erros grosseiros que cometi me explicando. Por conta disso, não irei anexar aqui para ninguém ficar falando que fiz AI slop, o que para mim não faz muito sentido criticar a estrutura por não parecer humano, mas tenho que respeitar a comunidade.
E só para deixar claro, sou um entusiasta de LLMs, não um profissional na área, então se cometi algum erro, me perdoem.

