Planejamento de Experimentos, Implementação de Funcionalidades, Estudos e Pesquisas - Relato 4

Implementações

• Pendências da fase anterior (assumido pelo Dijalma em 22/11/2008);
  • Identificar, junto à equipe, que funcionalidades adicionais seriam necessárias no DB_CORE - Fernando (20/06/2008)
  • Implantar Roteiro de Verificação Periódica do SCAE
    • Implantar roteiro - Fernando (definir na reunião)
  • Implementar core do Wagner dentro do SCAE – Gustavo, Fernando (06/2008)
  • Gerar novas tabelas, criar funcionalidades no DB_CORE e fazer scripts para os conjuntos de treinamento e teste do Wagner – Gustavo, Fernando (07/2008)
  • Implementar o teste t no SCAE – Eliana e Fernando (08/2008)
  • Implementar os índices Kappa e Mc Nemar – Eliana e Fernando (08/2008)
  • Embutir técnica de uso da ordem das palavras na biblioteca shared para poder ser usada por qualquer core – Fernando (08/2008)

• Colocar a Wizard no SCAE (inclusive interface 8) – Ramon (Jan/2009)
  • Criar e implementar mecanismo de acompanhamento - Dijalma (Dez/2009)
• Implementar novo protótipo – Dijalma (Set/2009)
  • Implementar etiquetador MXPOST no SCAE – Claudine/Vicente (Jan/2009)
  • Correção ortográfica – Felipe (Jan/2009)
  • Desenvolver scripts para 10-fold cross-validation e para validação
  • Colocar o CORE mais rápido na primeira opção da interface 8 – Felipe (Fev/2009)
  • Alterar arquitetura do SCAE para acomodar um módulo de corte e seleção de descritores - Dijalma (Jan/2009)
  • Implementar o novo módulo de corte e seleção de descritores
    • Cortes R-Cut, P-Cut e S-Cut - Caribe (Fev/2009)
    • Corte usando descritores - Caribe (Abr/2009)
  • Otimizar o SCAE para desempenho
    • Alterar tipo da TTV - Alberto/Felipe/Bruno (Mar/2009)
    • Instalar o Fedora8 64 bits - Renderson (Dez/2008)
  • Criar Nova Interface para mostrar descritores - Dijalma (Abr/2009)
    • Reescrever os descritores de forma mais natural
      • Avaliar se inverter os descritores (ponto e vírgula) resolve
  • Criar uma sistemática incremental para a criação de uma base de dados atividade econômica x descritores?
  • Criação de makefile de teste para cada CORE - Dijalma (Jan/2009)
    • WNN – Alberto (Jan/2009)
    • WNN_COR – Alberto (Jan/2009)
    • BN – Hannu (Jan/2009)
    • VS – Elias (Jan/2009)
    • ENSEMBLE – Felipe França (Jan/2009)
• Criação de novos benchmarks para realização de comparações entre os métodos
  • Bases – Eliana (Dez/2009)
  • Métricas – Claudine (Jan/2009)

Empacotamento de Código

• Pendências da fase anterior (assumido pelo Dijalma em 22/11/2008);
  • Criar mecanismo de empacotamento da MAE como uma biblioteca pública - Fernando (11/07/2008)
  • Preparar versão instalável do sistema - Fernando (11/07/2008)

Documentação

• Processo de Iniciação do FCA – Dijalma (Fev/2009)
• Processo de Elaboração do FCA – Dijalma (Abr/2009)
• Criar mecanismo de divulgação de alterações no SCAE – Dijalma (Jan/2009)
• Mudar o nome do VS para 1NN – Elias (Fev/2009)

Experimentos

• Medir quais os tipos de erro humano mais freqüentes
• Fazer o Corte na Lista de Resultados Apresentada pelos Sistemas de Codificação Desenvolvidos
  • Usar as técnicas apresentadas pelo Caribe
  • Usar os categorizadores de texto que temos para aprender o número de subclasses por documento
• Descobrir Qual a Quantidade Mínima de Documentos por Subclasse para ter um Bom Desempenho dos Codificadores
• Descobrir Qual é Influência de Erros na Base de Dados de Treinamento no Desempenho de um Categorizador
  • Inferir experimentalmente (incluir % de erros e medir o impacto)?
  • Precisamos saber como o ser humano erra...
  • Investigar se é possível formular um modelo analítico da influência de erros na base de treino e/ou na base de teste no desempenho de um categorizador

Estudos e Pesquisas

• Gerar dados segundo as métricas para análise estatística
  • Wizard – Ramon (Mai/2009)
  • WNN – Claudine (Mai/2009)
  • Novo mecanismo de codificação baseado em redes Bayesianas – Hannu (Mai/2009)
  • Novo mecanismo de codificação baseado em Latent Semantic Indexing (centroides) – Elias (Mai/2009)
  • Novo mecanismo de composição dos resultados da codificação através de neurais artificiais, redes Bayesianas e Latent Semantic Indexing em uma única codificação, mais robusta – Charles (Mai/2009)
• Gerar novo mecanismo de codificação baseado em redes Bayesianas – Hannu (Mai/2009)
• Gerar novo mecanismo de codificação baseado em Latent Semantic Indexing (centroides) – Elias (Mai/2009)
• Gerar novo mecanismo de composição dos resultados da codificação através de neurais artificiais, redes Bayesianas e Latent Semantic Indexing em uma única codificação, mais robusta – Charles (Mai/2009)
• Nova avaliação: apresentar análise estatística dos desempenhos dos categorizadores – Eliana (Ago/2009)
• Apresentar a Saída dos Codificadores como Medidas de Certeza da Codificação
  • Medir usando a base de calibração e fazer um ajuste de curva saída do codificador x percentual de acertos observado na calibração
  • Examinar a literatura
  • Usar a medida de quão freqüentemente um termo aparece em documentos associados a uma subclasse (naive Bayes?)

Seminários

• Realizar dois seminários (os presentes no meeting, ocorrido em 22/11/2008, se comprometeram a participar de um seminário em agosto/setembro)
• Discutir com a Receita a dificuldade de apresentar os resultados de categorização na forma de descritores