A fase de revisão de artigos consiste dos seguintes passos de configuração, que são detalhados nessa página:

Os templates de e-mail são configurados em Chair->Configure->Email templates

As pessoas podem ser convidadas ou incluídas arbitrariamente no sistema.

A página de convite está disponível em: Chair->People->TPC invitation.

A página para inclusão arbitrária de pessoas está disponível em: Chair->People->TPC members.

Na página dos TPC members:

• Attend e Dinner são opções para permitir que os integrantes do TPC indiquem são eles vão participar da reunião do comitê de programa. Esses opções não são sempre necessárias para todos os eventos, em alguns casos os eventos não realizam uma reunião do TPC.

Como Funcionam Os Pesos: "Weight" é usado para definir o peso das questões na média da revisão e "Global Weight" é usado para calcular o peso da revisão na média final do artigo. Ambas as somas devem ser 1, sendo que o "Global Weight" é opcional, não precisa ser usado se você não quiser, é só deixar ZERO para todas as questões.

Funciona da seguinte maneira, acho que através de exemplos fica mais fácil de explicar. Imagine as seguintes questões no review form:

1 - ORIGINALITY: 1 ~ 5 , Weight 0.5, Global Weight 0.0

2 - RECOMMENDATION: 1 ~ 5 , Weight 0.5, Global Weight 0.0

3 - CONFIDENCE IN THE EVALUATION: 1 ~ 5 , Weight 0.0, Global Weight 1.0

Para cada revisão o JEMS calcula uma "média", a partir dos scores dos revisores e pesos (Weight), e um "peso da revisão", a partir dos scores e pesos globais

(Global Weight). Por exemplo, veja as revisões e médias e pesos calculados abaixo:

Onde:

média revisão = Somatório(score / max score * weight) * 10

-- média da revisão 1 é: (4/5*0.5 + 4/5*0.5 + 3/5*0.0)*10 = 8

peso da revisão = Somatório(score / max score * global weight)

-- peso da revisão 1 é: (4/5*0.0 + 4/5*0.0 + 3/5*1.0) = 0.6

Então para cada artigo o JEMS calcula uma média geral e uma média ponderada. Essas médias são as notas finais de cada artigo, ou seja, é o critério de comparação usado pelos chairs para dizer quais os melhores e piores artigos.

A média geral é simplesmente uma média comum das médias das revisões.

Média geral = Somatório(Média)/Número de revisões

Média geral do artigo exemplo = 8 + 10 + 10 / 3 = 9.33

A média ponderada é calculada a partir das médias e pesos.

Média ponderada = Somatório(Média*Peso)/Somatório(Peso)

Média ponderada do artigo exemplo = (8*0.6 + 10*1.0 + 10*1.0 ) / (0.6 + 1.0 + 1.0) = 9.53

Assim, utilizando a média global é possivel determinar que uma revisão tenha mais peso em relação as outras na média do artigo a partir da confiança do revisor, ou familiaridade dele com o assunto. No exemplo acima, o revisor número 1 deu uma nota mais baixa que os outros, mas influenciou menos na média final do artigo pois a confiança dele era menor que a dos outros.

A lista de artigos ordenada dos artigos por nota (que é a média/média ponderada) está em "Chair-Papers-List papers", marcar opção "Average review score" em "Fields to show". É possível ordenar os artigos por média (Avg) ou média ponderada (GAvg).

Para distribuir os artigos para os revisores existem duas opções: manualmente ou usando um opção de recomendação automática de revisores.

Para distribuir os artigos manualmente os passos são:

Usando o algoritmo de recomendação automática os passos são:

Para que a opção de recomendação automática de revisores funcione adequadamente os TPC members (Chair->People->TPC members) devem escolher no sistema quais são os seus tópicos de interesse. O sistema pega então os tópicos de interesse deles e sugere artigos que possuem tópicos em comum com os revisores.

O número de revisores sugerido por artigo no algoritmo de sugestões é 3 por padrão, mas pode ser alterado em Chair->Reviews->Configure.

Para pedir que os TPC members informem os tópicos pode-se acessar a opção Chair->People->Send email e enviar uma mensagem através do sistema para "All Technical program committtee members".

O algoritmo de sugestão de artigos está descrito em: reviewer assignment suggestions.

Atribuindo Artigos De Diferentes Categorias Para Os Revisores: O JEMS não define nos templates de email uma varíavel correspondente a categoria/track do artigo. O que é possível entretanto é configurar o template de email primeiro para a primeira track (e.g. full papers), então atribuir os revisores somente dessa track, e notificar os revisores somente dessa track.

Na opção de "assignment suggestions" é possível filtrar e atribuir somente os revisores das submissões da de uma track específica (e.g. full papers).

Depois de feito tudo para a primeira track então alterar novamente o template de email, indicando que a revisão atribuída é da segunda track (e.g. short papers). Depois disso atribuir os revisores somente para os artigos da segunda track (e.g. short papers) usando o filtro novamente em "assignment suggestions" e notificar os revisores.

A notificação dos revisores é feita em Chair->Reviews->Notify reviewers.

Assumindo, por exemplo, que as tracks são "short papers" e "full papers"

Os passos são então:

Essa é a única maneira porque o JEMS não disponibiliza uma varíavel referente a track/categoria no template de email e também não mostra ao revisor a track/categoria do artigo no momento da revisão.

Uma solução possível é classificar os papers em categorias (categories) inglês e português, e os revisores em grupos (TPC groups) entende somente inglês, entende inglês e português. Feito isso na seção Reviews->Assignment suggestions pode-se filtrar os artigos e revisores por esses parâmetros, o que evita o problema de revisores estrangeiros receberem artigos em português.

Dessa maneira é preciso executar o assignment inicial duas vezes selecionando cada vez a categoria diferente de artigos por exemplo:

Categoria: [papers em português] / TPC group: [entende inglês e português]

Categoria: [papers em inglês] / TPC group: [All groups]

(assumindo que todos as pessoas entendem inglês)

Caso um dos coordenadores do evento (chair) seja autor de algum artigo, a identidade dos revisores pode ser preservada através da criação de usuários anônimos. Os usuários anônimos são usuários registrados no sistema sem o nome real, e devem ser criados pelo administrador do JEMS responsável pelo suporte ao evento. O chair deve requisitar a criação dos usuários anônimos ao administrator do JEMS e receb os e-mails/IDs e senhas dos usuários anônimos criados.

Geralmente os usuários são criados com a identidade:

O chair deve então atribuir seus artigos para esses usuários revisar, e requisitar que alguma pessoa de confiança repasse os usuários e senhas dos usuários anônimos manualmente pra os revisores reais. Essa pessoa de confiança pode ser um dos outros chairs, ou um revisor de confiança. Cabe a pessoa de confiança escolher os revisores reais apropriados.

Dessa maneira, os revisores reais podem acessar o sistema com as credenciais anônimas e não são identificados. Somente a pessoa de confiança sabe quem foram os revisores reais de fato.

This page in English: Paper review phase.