Em teoria da informação, a perplexidade é uma medida de quão bem uma distribuição de probabilidade ou modelo de probabilidade prevê uma amostra. Pode ser usada para comparar modelos de probabilidade. Uma baixa perplexidade indicada que a distribuição de probabilidade é boa em prever a amostra.^[1]

Perplexidade de uma distribuição de probabilidade

A perplexidade de uma distribuição de probabilidade discreta ${\displaystyle p}$ é definida como:

${\displaystyle 2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)},}$

x
Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

em que ${\displaystyle H(p)}$ é a entropia (em bits) da distribuição e ${\displaystyle x}$ varia sobre os eventos, ou seja, a perplexidade é igual a 2 elevado à entropia ou, mais precisamente, 2 elevado à entropia cruzada, definição esta usada frequentemente na comparação empírica de modelos probabilísticos.

A perplexidade de uma variável aleatória ${\displaystyle X}$ pode ser definida como a perplexidade da distribuição sobre seus possíveis valores ${\displaystyle x}$.

No caso especial em que ${\displaystyle p}$ modela um dado honesto de ${\displaystyle k}$-faces (uma distribuição uniforme sobre ${\displaystyle k}$ eventos discretos), sua perplexidade é ${\displaystyle k}$. Uma variável aleatória com perplexidade ${\displaystyle k}$ tem a mesma incerteza de um dado honesto de ${\displaystyle k}$-faces e é considerada "perplexa em ${\displaystyle k}$-formas" sobre o valor da variável aleatória. A não ser que seja um dado honesto de ${\displaystyle k}$-faces, mais que ${\displaystyle k}$ valores serão possíveis, mas a incerteza geral não é maior, porque alguns destes valores terão probabilidade maior que ${\displaystyle 1/k}$, diminuindo o valor geral ao somar.

A perplexidade é algumas vezes usada como uma medida de quão difícil um problema de previsão é. Isto não é sempre preciso. Se você tiver duas escolhas, uma com probabilidade ${\displaystyle 0,9}$, então suas chances de um palpite correto são iguais a ${\displaystyle 90\%}$ usando a estratégia ótima. A perplexidade é ${\displaystyle 2^{-0,9\log _{2}0,9-0,1\log _{2}0,1}=1,38}$. O inverso da perplexidade, que representa a probabilidade de um palpite correto no caso do dado honesto de ${\displaystyle k}$-faces, é igual à ${\displaystyle 1/1,38=0,72}$, não ${\displaystyle 0,9}$.

A perplexidade é a exponenciação da entropia, que é uma quantidade com contorno mais nítido. A entropia é uma medida do número esperado ou "médio" de bits exigido para codificar o resultado da variável aleatória, usando o código de comprimento variável, ótimo e teórico. Pode ser equivalentemente considerada como o ganho de informação esperado ao aprender o resultado da variável aleatória, em que a informação é medida em bits.^[2]

Perplexidade de um modelo de probabilidade[editar | editar código-fonte]

Um modelo de uma distribuição de probabilidade desconhecida ${\displaystyle p}$ pode ser proposto com base em uma amostra de treinamento que foi retirada de ${\displaystyle p}$. Dado um modelo de probabilidade proposto ${\displaystyle q}$, pode-se avaliar ${\displaystyle q}$ ao perguntar quão bem ele prevê uma amostra de teste separada ${\displaystyle x_{1},x_{2},\ldots ,x_{N}}$ também retirada de ${\displaystyle p}$. A perplexidade do modelo ${\displaystyle q}$é definida como:

${\displaystyle b^{-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})},}$

x
Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

em que ${\displaystyle b}$ é costumeiramente ${\displaystyle 2}$. Modelos melhores ${\displaystyle q}$ da distribuição desconhecida ${\displaystyle p}$ tenderão a atribuir probabilidades maiores ${\displaystyle q(x_{i})}$ aos eventos de teste. Assim, têm menor perplexidade, sendo menos surpreendidos pela amostra de teste.

O expoente acima pode ser considerado como o número médio de bits necessários para representar um evento de teste ${\displaystyle x_{i}}$ se for usado um código ótimo baseado em ${\displaystyle q}$. Modelos de baixa perplexidade fazem um melhor trabalho comprimindo a amostra de teste, exigindo poucos bits por elemento de teste em média porque ${\displaystyle q(x_{i})}$ tende a ser alta.

O expoente pode também ser considerado uma entropia cruzada:

${\displaystyle H({\tilde {p}},q)=-\sum _{x}{\tilde {p}}(x)\log _{2}q(x)}$

x
Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

em que ${\displaystyle {\tilde {p}}}$ denota a distribuição empírica da amostra de teste, isto é, ${\displaystyle {\tilde {p}}(x)=n/N}$, se ${\displaystyle x}$ tiver aparecido ${\displaystyle n}$ vezes na amostra de teste de tamanho ${\displaystyle N}$.^[3]

Perplexidade por palavra[editar | editar código-fonte]

Em processamento de linguagem natural, a perplexidade é uma forma de avaliar modelos de linguagem. Um modelo de linguagem é uma distribuição de probabilidade sobre sentenças ou textos inteiros.

Usando a definição de perplexidade para um modelo de probabilidade, pode-se encontrar, por exemplo, que a sentença média ${\displaystyle x_{i}}$ na amostra de teste poderia ser codificada em 190 bits, isto é, as sentenças de teste tinham um logaritmo de probabilidade médio igual a -190. Isto daria uma perplexidade de modelo enorme de ${\displaystyle 2^{190}}$ por sentença. Entretanto, é mais comum normalizar o comprimento de sentença e considerar apenas o número de bits por palavra. Assim, se as frases da amostra de teste compreenderem um total de 1.000 palavras e puderem ser codificadas usando um total de 7,95 bits por palavra, poderá se relatada uma perplexidade de modelo de ${\displaystyle 2^{7,95}=247}$ por palavra. Em outras palavras, o modelo é tão confuso em dados de teste quanto se tivesse que escolher uniformemente e independentemente entre 247 possibilidades para cada palavra.

Até 1992, a mais baixa perplexidade publicada no Brown Corpus (lista de 1 milhão de palavras em inglês norte-americano sobre variados tópicos e gêneros) havia sido de fato aproximadamente 247 por palavra, correspondendo a uma entropia cruzada de ${\displaystyle \log _{2}247=7,95}$ bits por palavra ou 1,75 bits por letra, usando um modelo trigrama. É frequentemente possível conseguir uma perplexidade mais baixa em corpora mais especializados, já que são mais previsíveis.

Novamente, simplesmente prever que a próxima palavra no Brown Corpus é a palavra "the" terá uma precisão de 7%, não de ${\displaystyle 1/247=0,4\%}$, como um uso ingênuo da perplexidade como uma medida de previsibilidade pode levar alguém a crer. Este palpite é baseado na estatística de unigrama do Brown Corpus, não na estatística de trigrama, que produziu a perplexidade de palavra igual a 247. Usar a estatística de trigrama melhoraria posteriormente as chances de um palpite correto.^[4]

observação: é usado textos da wikipédia para mostrar as modificações com as variáveis do sistema decadimensional e categorial Graceli.

teoria da relatividade categorial Graceli

ENERGIA, MASSA, FENÔMENOS, ESPAÇO, TEMPO, INTERAÇÕES, TRANSFORMAÇÕES, CONDUTIVIDADE, EMISSÕES, ABSORÇÕES, DIFRAÇÃO, MOMENTUM.

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

NO SISTEMA CATEGORIAL DE GRACELI TODO TIPO DE MOVIMENTO TEM AÇÃO TRANSFORMADORA  [como os outros elementos, como temperatura, radioatividade, luz, e outros],SOBRE ESTRUTURAS E ENERGIAS, TEMPO E ESPAÇO, INÉRCIA E GRAVIDADE, LUZ .

Estados de Graceli de matéria, energias, momentuns, inércias, e entropias.


Estados térmico.
Estado quântico.
De dilatação.
De entropia.
De potencia de entropia e relação com dilatação.
De magnetismo [correntes, momentum e condutividades]..
De eletricidade [correntes, momentum e condutividades].
De condutividade.
De mometum e fluxos variados.
De potencial inercial da matéria e energia.
De transformação.
De comportamento de cargas e interações com elétrons.
De emaranhamentos e transemaranhamentos.
De paridades e transparidades.
De radiação.
Radioatividade.
De radioisótopos.
De relação entre radioatividade, radiação, eletromagnetismo e termoentropia.
De capacidade e potencialidade de resistir a pressão, a capacidade de resistir a pressão e transformar em entropia e momentum.

De resistir à temperaturas.
E transformar em dilatação, interações entre partículas, energias e campos.
Estado dos padrões de variações e efeitos variacionais.
Estado de incerteza dos fenômenos e entre as suas interações.


E outros estados de matéria, energia, momentum, tipos de inércia [como de inércia potencial de energias magnética, elétrica, forte e fraca, dinâmica, geométrica [côncava, convexa e plana] em sistema.


E que todos estes tipos de estados tendem a ter ações de uns sobre os outros, formando um aglomerado de fenômenos de efeitos na produção de novas causas. E de efeitos variacionais de uns sobre os outros, ou seja, um sistema integrado.



Sobre padrões de entropia.

Mesmo havendo uma desordem, esta desordem segue alguns parâmetros futuros e que dependem de condições dos estados de Graceli, ou seja, a desordem segue alguns padrões e ordens conforme avança e passa por fases e agentes fenomênicos, estruturais e geométricos.


Porem, a reversibilidade se torna impossível, aumenta a instabilidade e as incertezas de posição, intensidade, variações, efeitos e outros fenômenos conforme as próprias intensidades de dilatações, e agentes e estados envolvidos.


Levando em consideração que mesmo havendo ordem não é possível a reversibilidade do estado e condições em que se encontravam a energia, matéria, momentum, inércias, dimensões, e outros agentes.


A temperatura pode voltar ao seu lugar e ao seu ponto inicial, mas não as estruturas das partículas, as intensidades infinitésimas de padrões de energias, e nem o grau de oscilações que a energias, as interações, as transformações que passam estas partículas e suas energias, estruturas e interações, e as interações e intensidades de grau de variação de cada agente.


Porem, a desordem é temporal, ou seja, com o passar do tempo outras ordens e padrões se afirmarão.


Sendo que também a entropia varia conforme intensidade de instabilidade por tempo. E tempo por intensidade de instabilidade.


Assim, segue efeitos variacionais e de incertezas por instabilidade de energia adicionada, e de tempo.


Ou seja, uma grande instabilidade e desordem em pouco tempo vai levar a uma grande e instável por mais tempo uma entropia.


Do que um grande tempo com pequena intensidade de instabilidade e energia adicionada num sistema ou numa variação térmica.


Ou mesmo numa variação eletromagnética, ou mesmo na condutividade.


Princípio tempo instabilidade de Graceli.

Assim, a desordem acaba por encontrar uma ordem se não acontecer nenhuma instabilidade novamente. Pois, as partículas e energias tendem a se reorganizar novamente conforme o passar do tempo,  e esta reorganização segue um efeito progressivo em relação à desordem e tempo. Como os vistos acima.


Ou seja, aquela organização anterior não vai mais acontecer, pois, segue o princípio da irreversibilidade, mas outras organizações se formarão conforme avança o tempo de estabilidade.

as dimensões categorias podem ser divididas em cinco formas diversificadas.

tipos, níveis, potenciais, tempo de ação, especificidades de transições de energias, de fenômenos, de estados de energias, físicos [estruturais], de fenômenos, estados quântico, e outros.

paradox of the system of ten dimensions and categories of Graceli.



a four-dimensional system can not define all the energies, changes of structures, states and phenomena within a structure, that is why there are ten or more dimensions, I have developed and I work with ten, but nature certainly goes beyond ten, with this we move to a decadimensional and categorial universe.



that is, categories ground the variables of phenomena and their interactions and transformations.



and with this we do not have a relationship with mass, but with structure, therefore, a structure carries with it much more than mass, since also mass is related to forces, inertia, resistances and energies.



but structures are related to transitions of physical states, quantum, energies, phenomena, and others.



as well as transitions of energies, phenomena, categories and dimensions.

paradoxo do sistema de dez dimensões e categorias de Graceli.

um sistema de quatro dimensões não tem como definir todas as energias, mudanças de estruturas, estados e fenômenos dentro de uma estrutura, por isto se tem dez ou mais dimensões, desenvolvi e trabalho com dez, mas a natureza com certeza vai alem das dez, com isto caminhamos para um universo decadimensional e categorial.

ou seja, as categorias fundamentam as variáveis dos fenõmenos e suas interações e transformações.

e com isto não se tem uma relação com massa, mas com estrutura, pois, uma estrutura carrega consigo muito mais do que massa, uma vez também que massa está relacionado com forças, inércia, resistências e energias.

mas estruturas está relacionado com transições de estados físicos, quântico, de energias, de fenômenos, e outros.

como também transições de energias, fenômenos, categorias e dimensões.

 = entropia reversível

postulado categorial e decadimensional Graceli.

TUDO QUE ESTÁ RELACIONADO COM ENERGIA, ESTRUTURAS, FENÔMENOS E DIMENSÕES ESTÁ INSERIDO NO SISTEMA DECADIMENSIONAL E CATEGORIAL GRACELI.


todo sistema decadimensional e categorial é um sistema transcendente e indeterminado.

matriz categorial Graceli.

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

1] Cosmic space.
2] Cosmic and quantum time.
3] Structures.
4] Energy.
5] Phenomena.
6] Potential.
7] Phase transitions of physical [amorphous and crystalline] states and states of energies and phenomena of Graceli.
8] Types and levels of magnetism [in paramagnetic, diamagnetic, ferromagnetic] and electricity, radioactivity [fissions and fusions], and light [laser, maser, incandescence, fluorescence, phosphorescence, and others.
9] thermal specificity, other energies, and structure phenomena, and phase transitions.
10] action time specificity in physical and quantum processes.

Sistema decadimensional Graceli.

1]Espaço cósmico.

2]Tempo cósmico  e quântico.

3]Estruturas.[isótopos, estrutura eletrônica, elementos químicos, amorfos e cristalinos, e, outros.

4]Energias.

5]Fenômenos.

6]Potenciais., e potenciais de campos, de energias, de transições de estruturas e estados físicos, quãntico,  e estados de fenômenos e estados de transições, transformações e decaimentos.

7]Transições de fases de estados físicos [amorfos e cristalinos] e estados de energias e fenômenos de Graceli.

8]Tipos e níveis de magnetismo [em paramagnéticos, diamagnético, ferromagnéticos] e eletricidade, radioatividade [fissões e fusões], e luz [laser, maser, incandescências, fluorescências, fosforescências, e outros.

9] especificidade térmica, de outras energias, e fenômenos das estruturas, e transições de fases.

10] especificidade de tempo de ações em processos físicos e quântico.

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

Matriz categorial de Graceli.

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         Dl

Tipos, níveis, potenciais, tempo de ação, temperatura, eletricidade, magnetismo, radioatividade, luminescências, dinâmicas, estruturas, fenômenos, transições de fenômenos e estados físicos, e estados de energias, dimensões fenomênicas de Graceli.

[estruturas: isótopos, partículas, amorfos e cristalinos, paramagnéticos, dia, ferromagnéticos, e estados [físicos, quântico, de energias, de fenômenos, de transições, de interações, transformações e decaimentos, emissões e absorções, eletrostático, condutividade e fluidez]].

trans-intermecânica de supercondutividade no sistema categorial de Graceli.

EPG = d [hc] [T / IEEpei [pit] = [pTEMRLD] and [fao] [itd] [iicee] tetdvd [pe] cee [caG].]

p it = potentials of interactions and transformations.
Temperature divided by isotopes and physical states and potential states of energies and isotopes = emissions, random wave fluxes, ion interactions, charges and energies structures, tunnels and entanglements, transformations and decays, vibrations and dilations, electrostatic potential, conductivities, entropies and enthalpies. categories and agents of Graceli.

h e = quantum index and speed of light.

[pTEMRlD] = THERMAL, ELECTRICAL, MAGNETIC, RADIOACTIVE, Luminescence, DYNAMIC POTENTIAL] ..


EPG = GRACELI POTENTIAL STATUS.

[pTFE] = POTENCIAL DE TRANSIÇÕES DE FASES DE ESTADOS FÍSICOS E DE ENERGIAS E FANÔMENOS [TRANSIÇÕES DE GRACELI]

, [pTEMRLD] [hc] [pI] [PF] [pIT][pTFE] [CG].