Fevereiro de 2008

De LCAD
Ir para: navegação, pesquisa

Índice

29 de Fevereiro de 2008, sexta-feira

Felipe

  • Conversa com o Alberto e a Claudine sobre o artigo;
  • Realização de testes com o face_recog_planar_random (fase de teste);
  • Auxílio prestado ao Fernando na execução dos experimentos 2.4.1 e 2.4.2;
  • Realização de testes com VS_FB_CORE;
  • Alterei o WNN_KCOR_CORE para calcular as novas métricas;
  • Conversa com a Claudine sobre o andamento das métricas;
  • Conversa com a Claudine sobre o thesaurus.

Fernando

  • Conversa com o Ricardo sobre formatação dos resultados;
  • Rodando experimentos 2.4.1 e 2.4.2 com a ajuda do Felipe;
  • Explicação/Demonstração para o Jorcy sobre a DTSD;

Ricardo

  • Otimizando visualização das tabelas de resultados de experimentos
  • Estudando/preparando troca de HD da LCAD2
  • Executando experimentos do SCAE

Renderson

  • Verificacao do status do LCAD. Maquina de BACKUP nao respodeu ao ssh.
  • Manutencao preventiva na maquina de BACKUP com a limpeza dos conectores dos HDs e placas de memoria.
  • Integracao LAM-MPI com SGE (Primeiros testes nao funcionaram mas apos alguns ajustes no SGE conseguimos submeter em paralelo...)
  • Testes com scripts seriais e paralelos.

Rickson

  • Retestes com WNN_COR_CORE retirando art. conj. contr. interj. prep. pron.

Bruno

  • Integração do corretor ortográfico com o DB_CORE;
  • Ajuda ao Renderson na configuração do mpi no SGE;

28 de Fevereiro de 2008, quinta-feira

Felipe

  • Auxílio prestado ao Rickson na execução do WNN_CORE;
  • Reunião com o Ricardo para explicar:
    • A estrutura do dicionário filtrado;
    • As funções que filtram o dicionário;
    • Arquivos .bat utilizados para criar um dicionário filtrado;
  • Atualização da known_tables.csv do DB_CORE;
  • Retirada de um bug da função load_dictionary;
  • Remoção de dois arquivos .bat do DB_CORE (create_dictionary_by_filter1.bat e create_dictionary_by_filter2.bat);
  • Alteração de todos os CORES classificadores:
    • A struct CNAE foi movida para o shared;
    • A função load_cnae_table foi movida para o shared;
    • Para obter ó código, para um dado nível, o CORE chamará a função get_cnae_code_by_order_and_level (level, seq);
    • No módulo specific_core_rpcs_handling_functions.c, alteração dos parâmetros test_line;
    • Remoção dos arquivos cnae_saved.bin;
  • Na USER_INTERFACE, alteração de todos arquivos .bat (de teste), para permitir a passagem de mais um parâmetro (nível);
  • OBS: as modificações só estarão no svn após o Rickson e o Ricardo executarem todos os testes do wiki.

Fernando

  • Verificação da utilização do espaço em disco do backup;
  • Editando o template do Processo de desenvolvimento de software para o Projeto/LCAD no ProjectKoach;
  • Utilizando o template editado do ProjectKoach para avaliação;
  • Preenchendo o Documento de Visão;

Ricardo

  • Recebendo informações de Filipe sobre experimentos
  • Estudando/preparando troca de HD da LCAD2
  • Executando experimentos do SCAE
  • Estudo de Javascript e PHP

Renderson

  • Veirificacao do status do LCAD - Tudo ok
  • Troca do cooler da LCAD1 - manutenção preventiva
  • Email ao Fernando informando o espaço em disco na maquina de BACKUP
  • AJuda ao Ricardo no processo de teste para a troca do HD da LCAD2
  • Testes na integração do LAM-MPI com SGE 6.1 (andamento...)

Bruno

  • Teste com o WNN_COR_CORE;
  • Criação dos experimentos 3.6.x;
  • Integração do corretor ortográfico com DB_CORE;
  • Ajuda ao Renderson na configuração do SGE e MPI;

Rickson

  • Retestes com WNN_CORE retirando art. conj. contr. interj. prep. pron.

27 de Fevereiro de 2008, quarta-feira

Felipe

  • Reunião com Claudine e Felipe sobre implementação das funções para as métricas;
  • Remoção do arquivo debug.h do shared;
  • Alteração da USER_INTERFACE para permitir a passagem de mais um parâmetro na fase de teste (nível da tabela);
  • No diretório shared, criação dos módulos cnae_table.c cnae_table.h;
  • Realização de experimentos com o VS_FB_CORE.

Fernando

  • Editando o template do Processo de desenvolvimento de software para o Projeto/LCAD no ProjectKoach;
  • Verificação e envio do simulador DTSD para o Jorcy;
  • Testes com VirtualBox no linux, máquinas virtuais;
  • Reunião com Claudine e Felipe sobre implementação das funções para as métricas;
  • Conversa com o Bruno sobre definição das funcionalidades do corretor ortográfico;

Ricardo

  • Estudando/preparando troca de HD da LCAD2
  • Executando experimentos do SCAE
  • Estudo de Javascript e PHP

Bruno

  • Testes com o WNN_COR;
  • Correção dos scripts de experimentos;
  • Integração do corretor ortográfico com o DB_CORE;

Rickson

  • Padronização de nomes de arquivos de teste (*.bat) no svn;
  • Retestes retirando art. conj. contr. interj. prep. pron.

26 de Fevereiro de 2008, terça-feira

Felipe

  • Estudo do Thesaurus;
  • Reunião com Felipe sobre as métricas;
  • Conversa com o Alberto sobre o novo CORE que faz uso do feedback (VS_FB_CORE);
  • Conversa com o Alberto sobre o SCAE;

Fernando

  • Criando o template do Processo de desenvolvimento de software para o Projeto/LCAD no ProjectKoach;
  • Reunião com Felipe para explicar como implementar o suporte para as métricas;

Bruno

  • Ajuda ao Ricardo para rodar os experimentos do VS_CORE;
  • Integração do corretor ortográfico automático ao DB_CORE;
  • Testes com o WNN_CORE;
  • Correções de alguns scripts de experimento;
  • Ajuda ao Renderson na configuração do SGE no cluster;

Ricardo

  • Estudando/preparando troca de HD da LCAD2
  • Executando experimentos do SCAE
  • Estudo de Javascript e PHP


Rickson

  • Pesquisa de etiquetadores

25 de Fevereiro de 2008, segunda-feira

Felipe

  • Trabalhei com o Alberto na MAE, mais especificamente no exemplo face_recog_planar;
  • Trabalhei com a Claudine nos testes a serem realizados para a confeção do artigo;
  • Realização de experimentos de validação no Cluster;
  • Realização de experimentos de teste;

Fernando

Renderson

  • Verificacao do status do LCAD. Problemas com a maquina de BACKUP a mesma estava travada - ultimo backup 220208 as 21:30 (aparentemente incompleto).
  • LCAD11 desligada. Motivo: NO-BREAK (pequeno) desligou.
  • Testes de clonagem de HD com Ricardo para futura troca e redimencionamento do HD da LCAD2. Foi utilizado o guia de clonagem com hds diferentes como base

Bruno

  • Ajuda a Lúcia para configuração da conta de e-mail do LCAD;
  • Testes com o dicionário estatístico;
  • Teste com o WNN_CORE;
  • Integração do corretor ortográfico automático ao DB_CORE (em andamento);

Ricardo

  • Estudando/preparando troca de HD da LCAD2
  • Executando experimentos do SCAE
  • Estudo de Javascript e PHP

Rickson

  • Pesquisa de etiquetadores

22 de Fevereiro de 2008, sexta-feira

Felipe

  • Nova conversa com o Fernando sobre as futuras alterações no SHARED (inclusão de funções que calcularão as métricas);
  • Conversa com o Alberto, Elias, Felipe França para tirar dúvidas sobre o cálculo das métricas;
  • Consertei o bug na MAE. Reimplementei as funções que salvam/carregam a memória de um neurônio;
  • Realização de testes na MAE;
  • Realização de testes para o artigo de reconhecimento de faces.

Fernando

  • Assisti a defesa de mestrado do Patrick;
  • Lendo artigo sobre o ProjectKoach;
  • Reunião com a Claudine sobre definição de implementação para computar as métricas;

Renderson

  • Instalacao da biblioteca LAM-MPI versao disponivel nos pacotes do Fedora 8 (7.1.2)(nao funcionou) apresentou o mesmo problema que havia dado antes de formatar a maquina.
  • Instalacao da biblioteca LAM-MPI versao nova disponivel no site (7.1.4) LAM-MPI (FUNCIOUNOU!!!!! Finalmente.....)

Bruno

  • Testes com WNN_CORE e WNN_COR_CORE
  • Implementação do dicionário levando em consideração a estatística das palavras das tabelas;
  • Ajuda ao Renderson para instalação da biblioteca MPI.

Ricardo

  • Executando experimentos do SCAE
  • Estudo de Javascript e PHP

21 de Fevereiro de 2008, quinta-feira

Felipe

  • Conversa com a Claudine sobre os testes para o artigo de reconhecimento de faces;
  • Conversa com o Fernando sobre as futuras alterações no SHARED (inclusão de funções que calcularão as métricas);
  • Ajuda prestada ao Alberto sobre o novo CORE do SCAE;
  • Detectei um bug na MAE (função que salva/carrega a memória);
  • Realização de testes para o artigo de reconhecimento de faces;

Fernando

  • Ajudando o Renderson com a configuração do novo cluster;
  • Tentativa de configuração do wireless no notebook do Alberto e do meu: o meu funcionou!;
  • Checagem do Access Point;
  • Separação de uma máquina para o Felipe levar para o Rio;
  • Configuração do note do Hannu;
  • Explicação para o Hannu de como ele deve utilizar o JNI e como agregar seu CORE ao SCAE;
  • Fotografias/Scan da reportagem do LCAD para o Alberto;

Bruno

  • Alteração no código do SCAE para obter o score das palavras sugeridas;
  • Teste com WNN_COR e WNN_COR_CORE;

Rickson

  • Refazendo testes com os dados de BH.

Ricardo

  • Executando experimentos do SCAE
  • Estudo de Javascript e PHP

20 de Fevereiro de 2008, quarta-feira

Felipe

  • Auxílio prestado ao Rickson sobre a correção das coordenadas de imagens (reconhecimento facial);
  • Tentativa de retirar a interface gráfica do exemplo feito pelo Stiven (sem sucesso).

Fernando

  • Ajudando o Renderson com a configuração do novo cluster;
  • Transporte de revistas e livros até a Biblioteca Central a pedido do Alberto;
  • Teste da Ferramenta ProjectKoach para gerencia de projetos: parece util, se adequa ao OpenUP;
  • Teste da Ferramenta Mingle para gerencia de projetos: parece muito complicada;

Ricardo

  • Executando experimentos do SCAE
  • Estudo de Javascript e PHP

Renderson

  • Reuniao com Bruno sobre o grupo de estudo do LCAD (Assunto: LDAP)
  • Edicao do topico Roteiro de Verificação dos Serviços nas Máquinas do LCAD com adicao dos itens Roteador Wireless e impressoras do LCAD (Lexmark e Dell)
  • Analise do problema com Yum no fedora 8 na maquina Quad-Core com o Fernando.
  • Nova instalacao do Fedora 8 na Quad-Core (Motivo: problemas com o Yum por duas vezes)

Victor

  • Ajuda com as revistas e livros do Alberto. Foram deixadas na Biblioteca Central da UFES.
  • Otimizacao da metrica Ranking-Loss, de modo a evitar um processamento adicional de busca linear para extracao da probabilidade correspondente no conjunto de predicao para o conjunto de nao-pertinencia (complementar de pertinencia).
  • Fim estudo das metricas Precision, Recall, Microaveraging, Macroaveraging e seus derivados, e F-B function (utilizaremos B=1).

Bruno

  • Reunião sobre o grupo de estudo do LCAD
  • Criação de conta de e-mail para Lucia
  • Tirando dúvidas do Ricardo em relação ao PHP e aos experimentos do sistema SCAE
  • Testes com WNN_CORE e WNN_COR_CORE

Rickson

  • Correção das coordenadas de imagens (reconhecimento facial).

19 de Fevereiro de 2008, terça-feira

Felipe

  • Arrumação da sala no NPD para o novo Cluster;
  • Recebimento das novas máquinas do Cluster e teste simples nelas (todas ligam normalmente e possuem 2GB de Memória);
  • Auxílio prestado ao Rickson sobre a correção das coordenadas de imagens (reconhecimento facial).

Victor

  • Ajuda nas mudancas para a sala do NPD.
  • Correcao de erro na metrica Ranking-Loss.
  • Inicio do estudo das metricas Precision, Recall, Microaveraging, Macroaveraging e seus derivados, e F-B function (utilizaremos B=1).

Fernando

  • Arrumação da sala no NPD para o novo Cluster;
  • Recebimento das novas máquinas do Cluster e teste simples nelas (todas ligam normalmente e possuem 2GB de Memória);

Ricardo

  • Arrumação da sala no NPD para o novo Cluster;
  • Estudo de Javascript e PHP
  • Edição do Manual do SCAE

Bruno

  • Mudança do local de trabalho da Claudine
  • Compilação do código do aspell
  • Arrumação do espaço no NPD para o cluster novo

Rickson

  • Correção das coordenadas de imagens (reconhecimento facial).

18 de Fevereiro de 2008, segunda-feira

Felipe

  • Estudo do dicionário de sinônimos do NILC;
  • Conversa com o Alberto e a Claudine sobre o artigo;
  • Conversa com o Rickson sobre as correções a serem feitas nas coordenadas da imagens;
  • Ciração de um exemplo na MAE para que o Rickson possa consertar as coordenadas das imagens (apenas as problemáticas).

Fernando

  • Preparando documento com os passos do "Conjunto mínimo completo" (Continuação);
  • Selecionando artefatos de suporte (Continuação);
  • Estudo do documento sobre UML da RF;
  • Elaboração preliminar do "Passos do Conjunto Mínimo completo", eviando para Alberto para avaliarmos;

Rickson

  • Teste com script para altomatizar experimentos.

Victor

  • Analise da coerencia dos resultados obtidos pelas metricas.
  • Normalizacao da metrica Average Precision.
  • Teste das metricas usando os arquivos de pertinencia e predicao do SCAE e nao os de teste usados anteriormente.
  • Comentarios dos codigos das metricas.

Renderson

  • Verificacao do Status do Cluster
  • Instalacao do Fedora 8 na maquina da Claudine (Causa: Problemas com a instalacao da impressora Dell 1815dn)
  • Mais uma vez reinstalado o Fedora 8 na Quad-Core por problemas de acesso de usuarios cadastrados.
  • Coloquei mais 4 maquinas no ar no cluster (maquinas haviam desligado) 27 maquinas on-line

Ricardo

  • Edição do Manual do SCAE

Bruno

  • Acerto das horas das máquinas
  • Limpeza do filtro do ar condicionado
  • Tentativa de inserção do código que obtém o score do Aspell
  • Experimentos com VS_CORE para as tabelas 1.1.2 e 1.2.2

15 de Fevereiro de 2008, sexta-feira

Fernando

  • Preparando documento com os passos do "Conjunto mínimo completo";
  • Selecionando artefatos de suporte;
  • Ajuda ao Alberto com a burocracia do Projeto do NPD;
  • Coaching ao Ricardo;

Rickson

  • Teste com script para altomatizar experimentos.

Felipe

  • Reunião com o Alberto;
  • Auxílio ao Victor sobre a implementação do código que calculará as métricas;
  • Auxílio ao Bruno na criação da função replace_char_field (a ser inserida ao DB_CORE);
  • Estudo do Doxygen;
  • Criação do guia de utilização do Doxygen Doxygen;
  • Implementação das funções begin_training (), end_training (), begin_test (), end_test() nos CORES classificadores (todos os CORES). Estas funções são chamadas pela biblioteca shared. Ao começar um treino, o shared chamará a função begin_traiinng e ao término a função end_traininfg. O racioçionio é o mesmo para o procedimento de test.
  • Atualização do repositório. Foram atualizados: SHARED, DB_CORE, WNN_CORE, WNN_COR_CORE, WNN_KCOR_CORE e VS_CORE.

Victor

  • Modificacao para o SCAE da implementacao em C da métrica Ranking Loss, ou seja, foi modicicado a forma de gerar o conjunto complementar do de pertinencia. Anteriormente esse era gerado lendo os arquivos de entrada em um funcao fora do escopo da funcao compute_metrics. Agora, esse e gerado a partir dos conjuntos de pertinencia e predicao dentro da funcao compute_metrics, mas especificamente na funcao compute_r_loss, funcoes que serao reconhecidas pelo SCAE.
  • Teste das metricas usando os arquivos de pertinencia e predicao do SCAE e nao os de teste usados anteriormente.
  • Comentarios dos codigos referentes as metricas concluidas.

Renderson

  • Verificacao do Status do LCAD - Tudo OK
  • Diagnostico do problema de leitura no DVDRW externo
  • Remocao do DVDRW da LCAD3 para utilizar no modulo USB Externo
  • Email para a Panmella providenciar a troca das pecas defeituosas
  • Instalacao do Fedora 8 na maquina Quad-Core devido a problemas com senhas de usuarios da ultima instalacao (14.02.08)
  • Inicio da configuracao do NIS-NFS e instalacao da LAM-MPI

Bruno

  • Implementação das funções para testar as bases corrigidas pelo Aspell;
  • Testes com as bases corrigidas pelo Aspell;
  • Explicação do sistema SCAE para o Ricardo;

Ricardo

  • Estudando o manual do SCAE;
  • Discutindo/entendendo o Sistema com Bruno e Fernando
  • Leitura dos relatórios do Projeto;

14 de Fevereiro de 2008, quinta-feira

Felipe

  • Alteração da função de comparação utilizada pelo qsort no módulo statistics.c do shared;
  • Auxílio ao Ramon sobre a compilação do shared e do VS_CORE;
  • Conversa com o Fernando explicando o funcionamento das funções de filtro presentes no DB_CORE;
  • Criação da função add_table_to_known_tables ao DB_CORE.

Rickson

  • Teste com script para altomatizar experimentos.

Renderson

  • Verificacao do status do LCAD
  • Nova instalacao do Fedora 8 na maquina admin do minicluster (quad-core)

Bruno

  • Explicação ao Ricardo sobre os serviços da lcad2;
  • Implementação da técnica de estatística no corretor ortográfico;
  • Teste com a técnica de estatística;

Fernando

  • Revisão junto com o Ricardo do Manual do SCAE e explicação do mesmo, esclarecimento de dúvidas;
  • Instalação da MAE no /opt de todas as máquinas DELL;
  • Investigação dos problemas de compilação com g++ e gcc, juntamente com o Felipe;
  • Iniciando a seleção de artefatos do QoSRF;

Ricardo

  • Leitura dos relatórios do Projeto;
  • Estudando o manual do SCAE;

13 de Fevereiro de 2008, quarta-feira

Victor

  • Implementacao em C da métrica Ranking Loss.
  • Organizacao dos comentarios dos codigos referentes as metricas concluidas.

Renderson

  • Testes com isntalacao da biblioteca MPICH no minicluster
  • Estudando o manual da LAM_MPI

Felipe

  • Procura por outros dicionário de sinônimos na internet (nenhum continha mais palavras do que o achado anteriormente);
  • Criação do diretório THESAURUS no DB_CORE (não subi para o svn, pois depende de aprovação);
  • Implementação das funções que carregam o arquivo thesaurus.txt, cujo formato pode ser explicado em Formato;
  • Implementação das funções que criam um dicionário de sinônimos em .csv thesaurus_table.csv no formato: 
palavra; código_palavra; palavra_sinônima; código_palavra_sinônima

Rickson

  • Refazendo testes com a base de BH.

Fernando

Ricardo

  • Análise das informações no website do LCAD/SCAE;
  • Estudando o manual do SCAE;

Bruno

  • Testes do corretor ortográfico com o dicionário scae + o dicionário aspell;
  • Procura de como customizar o Aspell para aceitar a correção ortográfica baseado em frequência;
  • Testes do Aspell considerando tipografia;
  • Correção de algumas palavras do dicionário do scae;

12 de Fevereiro de 2008, terça-feira

Felipe

  • Alteração da função que realiza o feedback no VS_CORE;
  • Após a alteração, realizou-se o seguinte experimento:
    • treina com CNAE_110_SUBCLASSE e
    • 1º teste com DADOS_VITORIA => taxa de acerto de 57.79%;
    • 3º teste com DADOS_VITORIA => taxa de acerto de 61.38%;
    • 6º teste com DADOS_VITORIA => taxa de acerto de 66.26%;
    • 9º teste com DADOS_VITORIA => taxa de acerto de 67.30%;
    • 12º teste com DADOS_VITORIA => taxa de acerto de 68.42%;
    • 15º teste com DADOS_VITORIA => taxa de acerto de 68.91%;
    • 18º teste com DADOS_VITORIA => taxa de acerto de 69.03%;
  • Tentativa de utilizar um dicionário de sinônimos a fim de mapear palavras sinônimas para uma mesma palavra (o que diminuiria o tamanho do lexicon);
  • Procura na internet por um dicionário de sinônimos. Um bom dicionário de sinônimos foi encontrado em Dicionário de Sinônimos.

Fernando

Ricardo

  • Análise das informações no website do LCAD/SCAE;

Rickson

  • Refazendo testes com a base de BH.

11 de Fevereiro de 2008, segunda-feira

Rickson

  • Refazendo testes com a base de BH.

Felipe

  • Realização de novos testes com várias dicionários filtrados (combinação das filtragens possíveis: STOP WORD, STEMMING, ACCENT). A maior taxa de acerto (teste 1.x.1.4) foi de 84.34% com o dicionário filtrado somente com stemming. O resultado foi 0.12% maior do que o obtido com palvra canônica;
  • Criação de uma funçào que realiza o feedback no VS_CORE (não subi para o svn, pois depende de aprovação);
  • A função só seria chamada se a classificação não teve sucesso;
  • Conversa com a Claudine sobre Relevance Feedback;
  • Realização de alguns teste com o VS_CORE utilizando Relevance Feedback;
  • No exemplo face_recog_without_filters, alteri o código de forma que seja possível executar sem interface gráfica;
  • Realização de testes, com o face_recog_without_filters, nas lcads, na Master e na tpol20 a fim de garantir que os testes poderão ser realizados em qualquer máquina (todos rodaram).

Fernando

Ricardo

  • Conversa inicial sobre o SCAE/LCAD com o Fernando;
    • Esclarecimento de dúvidas;
    • Estabelecimento de prioridades iniciais;
Disponível em "http://www.lcad.inf.ufes.br/wiki/index.php?title=Fevereiro_de_2008&oldid=80104"