Planejamento de Experimentos, Implementação de Funcionalidades, Estudos e Pesquisas - Relato 4

Implementações

• Pendências da fase anterior (assumido pelo Dijalma em 22/11/2008);
  • Identificar, junto à equipe, que funcionalidades adicionais seriam necessárias no DB_CORE - Fernando (20/06/2008)
  • Implantar Roteiro de Verificação Periódica do SCAE
    • Implantar roteiro - Fernando (definir na reunião)
  • Implementar core do Wagner dentro do SCAE - Gustavo, Fernando (06/2008)
  • Gerar novas tabelas, criar funcionalidades no DB_CORE e fazer scripts para os conjuntos de treinamento e teste do Wagner - Gustavo, Fernando (07/2008)
  • Implementar o teste t no SCAE - Eliana e Fernando (08/2008)
  • Implementar os índices Kappa e Mc Nemar - Eliana e Fernando (08/2008)
  • Embutir técnica de uso da ordem das palavras na biblioteca shared para poder ser usada por qualquer core - Fernando (08/2008)

• Colocar a Wizard no SCAE (inclusive interface 8) - Ramon (Jan/2009)
  • Criar e implementar mecanismo de acompanhamento - Dijalma (Dez/2009)
• Implementar novo protótipo - Dijalma (Set/2009)
  • Implementar etiquetador MXPOST no SCAE - Claudine/Vicente (Jan/2009)
  • Implementar uma versão do SCAE capaz de tratar bases classificadas em níveis superiores à subclasse (o relatório das alterações pode ser encontrado aqui) - Felipe (Jan/2009) (concluído em 06/01/2009);
  • Correção ortográfica - Felipe (Jan/2009) (concluído em 01/11/2008);
  • Desenvolver scripts para 10-fold cross-validation e para validação (concluído em 13/02/2008)
    • Foi enviado um arquivo com extensão ".doc" com o objetivo de:
      • Padronizar as bases para o benchmarking;
      • Padronizar o perfil delas;
      • Apresentar um script para utilização de 10-fold;
      • Apresentar o formato de arquivo a ser gerado pelos pesquisadores.
    • Foi elaborado um padrão para realizar experimentos utilizando o N-Fold Cross Validation
  • Colocar o CORE mais rápido na primeira opção da interface 8 - Felipe (Fev/2009) (O uso da comunicação via XML-RPC, no SCAE, impossibilita a implmentação desta requisição, como pode ser lido nesta página. Concluído em 23/01/2009)
  • Alterar arquitetura do SCAE para acomodar um módulo de corte e seleção de descritores - Dijalma (Jan/2009)
  • Implementar o novo módulo de corte e seleção de descritores
• Fazer o Corte na Lista de Resultados Apresentada pelos Sistemas de Codificação Desenvolvidos
  • • Cortes R-Cut, P-Cut e S-Cut - Caribe (Fev/2009)
    • Corte usando descritores - Caribe (Abr/2009)
    • Usar os categorizadores de texto que temos para aprender o número de subclasses por documento - Caribe (Abr/2009)
  • Otimizar o SCAE para desempenho
    • Alterar tipo da TTV - Alberto/Felipe/Bruno (Mar/2009)
    • Instalar o Fedora8 64 bits - Renderson (Dez/2008) (Concluído em Dez/2008)
  • Criar Nova Interface para mostrar descritores - Dijalma (Abr/2009) - Planejamento das Atividades
    • Reescrever os descritores de forma mais natural
      • Avaliar se inverter os descritores (ponto e vírgula) resolve (Concluído em 30/01/2009)
        • Após avaliar os arquivos cnae_110_atividade_corrigido e cnae_200_atividade disponibilizados no DB_CORE, percebeu-se que:
          • Os descritores ora são invertidos usando vírgula (,), ponto-e-vírgula (;) e ora não são invertidos, embora perceba-se a presença de mais de uma vírgula, que, a priori, deveria inverter a frase. Ao todo foram encontrados aproximadamente 9% dos casos para a CNAE 2.0 e 70% dos casos para a CNAE 1.1 que devem ser tratados por humanos. Alguns exemplos:
            • CNAE 1.1
              • PORTUGUÊS, CURSO, ENSINO DE - Neste caso deveria ser CURSO, ENSINO DE PORTUGUÊS ou ENSINO DE PORTUGUÊS, CURSO ?
              • PROJETOS DE ACONDICIONAMENTO DE AR, REFRIGERAÇÃO, SANEAMENTO, CONTROLE DE CONTAMINAÇÃO E ENGENHARIA ACÚSTICA - Neste caso não existe inversão.
              • LIXA, COMÉRCIO VAREJISTA - Neste caso, se inverter, a frase ainda ficará faltando uma preposição. O certo deveria ser : COMÉRCIO VAREJISTA DE LIXA.
            • CNAE 2.0
              • RESÍDUOS E SUBPRODUTOS DE LEGUMES E OUTROS VEGETAIS- EXCETO FRUTAS - (FOLHAS, CASCAS, RAMAS, RASPAS, ETC.) MESMO UTILIZADOS PARA ALIMENTAÇÃO ANIMAL - Neste caso não existe inversão, contudo existe vírgula. Note que não existe atividade, ou seja, o que é isto: uma comercialização, uma recuperação, um processamento ou uma industrialização?
              • FILME FOTOGRÁFICO, EMULSIONADO, NÃO IMPRESSIONADO, EM ROLOS, PARA USO FOTOGRÁFICO, INCLUINDO O MICROFILME E A MICROFICHA, FABRICAÇÃO DE - Neste caso há inversão e deve-se cortar na última ",".
              • GÔNDOLAS, EXPOSITORES E OUTRAS INSTALAÇÕES COMERCIAIS SEMELHANTES DE MADEIRA - Nota-se que neste caso a última vírgula não inverte a frase. Além de não existir uma atividade.
              • MATERIAIS METÁLICOS, REDUÇÃO DE VOLUME PARA A RECUPERAÇÃO DE (CORTE, PRENSAGEM OU OUTROS MÉTODOS DE TRATAMENTO MECÂNICO) - Nota-se que, neste caso, a inversão ocorre na 1a ",". Além de o texto entre "()", para inverter a frase de forma correta, vir após a inversão.
              • SOLO ATRAVÉS DE LANDFARMING, COMETABOLISMO OU DESNITRIFICAÇÃO, DESCONTAMINAÇÃO DO - Qual é a ",", neste caso, em que devemos inverter?
              • INSTALAÇÕES INDUSTRIAIS, EDIFICAÇÕES - Talvez a chave para a inversão seria procurar conjunções ou preposições após a vírgula. Este caso mostra que isto não resolve.
              • PROGRAMAS DE INFORMÁTICA SOB ENCOMENDA, SOFTWARE, DESENVOLVIMENTO, PRODUÇÃO, FORNECIMENTO E DOCUMENTAÇÃO DE - Nota-se que a inversão ocorre na 2a ",".
  • Criar uma sistemática incremental para a criação de uma base de dados atividade econômica x descritores?
  • Criação de makefile de teste para cada CORE - Dijalma (Jan/2009)
    • WNN - Alberto (Jan/2009)
    • WNN_COR - Alberto (Jan/2009)
    • BN - Hannu (Jan/2009)
    • VS - Elias (Jan/2009)
    • ENSEMBLE - Felipe França (Jan/2009)
• Criação de novos benchmarks para realização de comparações entre os métodos
  • Bases - Eliana (Dez/2009)
  • Métricas - Claudine (Jan/2009)

Empacotamento de Código

• Pendências da fase anterior
  • Criar mecanismo de empacotamento da MAE como uma biblioteca pública - Fernando (11/07/2008)
    • Aprender como incluir a MAE em um repositório público e documentar no wiki - Bruno (Fev/2009)
    • Gerar duas rpms da MAE, uma devel com tudo e uma não devel sem os exemplos - Bruno (Fev/2009)
    • Colocar a geração dos rpms da MAE dentro da própria estrutura de arquivos da MAE (talvez um make rpm) e subir a MAE para o repositório público (tipo o livna) - Bruno (Fev/2009)
  • Preparar versão instalável do sistema - Fernando (11/07/2008)

Documentação

• Pendências da fase anterior (assumido pelo Dijalma em 22/11/2008);
  • Criar guidelines para documentação do código - Fernando (04/05/2008) - (concluído em 20/02/2009)
  • Levantar requisitos para inclusão de cores no SCAE – Fernando e TODOS (05/2008)
  • Consertar a figura da arquitetura (Perl) em todos os documentos – Fernando (07/2008) (concluído pelo Dijalma em 26/02/2009);
• Processo de Iniciação do FCA – Dijalma (Fev/2009)
  • O FCA possui os seguintes módulos:
    • SOAC (concluído em 20/02/2009)
    • SOAD
    • Módulos de Apoio
• Processo de Elaboração do FCA – Dijalma (Abr/2009)
• Criar mecanismo de divulgação de alterações no SCAE – Dijalma (Jan/2009) - (concluído em 18/02/2009)
• Mudar o nome do VS para 1NN – Elias (Fev/2009)

Experimentos

• Medir quais os tipos de erro humano mais freqüentes (incluir códigos inexistentes? deixar de incluir um código? colocar um código errado?) - Eliana (Jun/2009)
• Descobrir Qual a Quantidade Mínima de Documentos por Subclasse para ter um Bom Desempenho dos Codificadores - Felipe (Fev/2009)
• Descobrir Qual é Influência de Erros na Base de Dados de Treinamento no Desempenho de um Categorizador
  • Inferir experimentalmente (Incluir % de erros e medir o impacto. Por exemplo: incluir códigos inexistentes; deixar de incluir um código; colocar um código errado; colocar -1 no vetor de códigos de palavras) - Felipe (Fev/2009)
  • Investigar se é possível formular um modelo analítico da influência de erros na base de treino e/ou na base de teste no desempenho de um categorizador - Felipe França/Valmir (Mai/2009)

Estudos e Pesquisas

• Gerar dados segundo as métricas para análise estatística
  • Wizard – Ramon (Mai/2009)
  • WNN – Claudine (Mai/2009)
  • Novo mecanismo de codificação baseado em redes Bayesianas – Hannu (Mai/2009)
  • Novo mecanismo de codificação baseado em Latent Semantic Indexing (centroides) – Elias (Mai/2009)
  • Novo mecanismo de composição dos resultados da codificação através de neurais artificiais, redes Bayesianas e Latent Semantic Indexing em uma única codificação, mais robusta – Charles (Mai/2009)
• Gerar novo mecanismo de codificação baseado em redes Bayesianas – Hannu (Mai/2009)
• Gerar novo mecanismo de codificação baseado em Latent Semantic Indexing (centroides) – Elias (Mai/2009)
• Gerar novo mecanismo de composição dos resultados da codificação através de neurais artificiais, redes Bayesianas e Latent Semantic Indexing em uma única codificação, mais robusta – Charles (Mai/2009)
• Nova avaliação: apresentar análise estatística dos desempenhos dos categorizadores – Eliana (Ago/2009)
• Apresentar a Saída dos Codificadores como Medidas de Certeza da Codificação
  • Medir usando a base de calibração e fazer um ajuste de curva saída do codificador x percentual de acertos observado na calibração - Felipe (Abr/2009)
  • Examinar a literatura - Claudine (Mar/2009)
  • Usar a medida de quão freqüentemente um termo aparece em documentos associados a uma subclasse (naive Bayes?) - Claudine(Mar/2009)

Seminários

• Pendências da fase anterior (assumido pelo Dijalma em 22/11/2008);
  • Fazer nova vídeo conferência sobre como incluir um core no SCAE – Fernando (30/04/2008)
  • Preparar seminário sobre Propriedade Intelectual - Fernando (20/05/2008)
• Realizar dois seminários (os presentes no meeting, ocorrido em 22/11/2008, se comprometeram a participar de um seminário em agosto/setembro)
• Discutir com a Receita a dificuldade de apresentar os resultados de categorização na forma de descritores - Alberto (Abr/2009)