Mudanças entre as edições de "Diário de Bordo do Projeto"

De LCAD
Ir para: navegação, pesquisa
(→‎Ricardo)
Linha 1: Linha 1:
 +
== 18 de Fevereiro de 2008, segunda-feira ==
 +
=== Ricardo ===
 +
* Edição do Manual do SCAE
 +
 
== 15 de Fevereiro de 2008, sexta-feira ==
 
== 15 de Fevereiro de 2008, sexta-feira ==
 
=== Felipe ===
 
=== Felipe ===

Edição das 10h08min de 18 de fevereiro de 2008

Índice

18 de Fevereiro de 2008, segunda-feira

Ricardo

  • Edição do Manual do SCAE

15 de Fevereiro de 2008, sexta-feira

Felipe

  • Reunião com o Alberto;
  • Auxílio ao Victor sobre a implementação do código que calculará as métricas;
  • Auxílio ao Bruno na criação da função replace_char_field (a ser inserida ao DB_CORE);
  • Estudo do Doxygen;
  • Criação do guia de utilização do Doxygen Doxygen;
  • Implementação das funções begin_training (), end_training (), begin_test (), end_test() nos CORES classificadores (todos os CORES). Estas funções são chamadas pela biblioteca shared. Ao começar um treino, o shared chamará a função begin_traiinng e ao término a função end_traininfg. O racioçionio é o mesmo para o procedimento de test.
  • Atualização do repositório. Foram atualizados: SHARED, DB_CORE, WNN_CORE, WNN_COR_CORE, WNN_KCOR_CORE e VS_CORE.

Victor

  • Modificacao para o SCAE da implementacao em C da métrica Ranking Loss, ou seja, foi modicicado a forma de gerar o conjunto complementar do de pertinencia. Anteriormente esse era gerado lendo os arquivos de entrada em um funcao fora do escopo da funcao compute_metrics. Agora, esse e gerado a partir dos conjuntos de pertinencia e predicao dentro da funcao compute_metrics, mas especificamente na funcao compute_r_loss, funcoes que serao reconhecidas pelo SCAE.
  • Teste das metricas usando os arquivos de pertinencia e predicao do SCAE e nao os de teste usados anteriormente.
  • Comentarios dos codigos referentes as metricas concluidas.

Renderson

  • Verificacao do Status do LCAD - Tudo OK
  • Diagnostico do problema de leitura no DVDRW externo
  • Remocao do DVDRW da LCAD3 para utilizar no modulo USB Externo
  • Email para a Panmella providenciar a troca das pecas defeituosas
  • Instalacao do Fedora 8 na maquina Quad-Core devido a problemas com senhas de usuarios da ultima instalacao (14.02.08)
  • Inicio da configuracao do NIS-NFS e instalacao da LAM-MPI

Bruno

  • Implementação das funções para testar as bases corrigidas pelo Aspell;
  • Testes com as bases corrigidas pelo Aspell;
  • Explicação do sistema SCAE para o Ricardo;

Ricardo

  • Estudando o manual do SCAE;
  • Discutindo/entendendo o Sistema com Bruno e Fernando
  • Leitura dos relatórios do Projeto;

14 de Fevereiro de 2008, quinta-feira

Felipe

  • Alteração da função de comparação utilizada pelo qsort no módulo statistics.c do shared;
  • Auxílio ao Ramon sobre a compilação do shared e do VS_CORE;
  • Conversa com o Fernando explicando o funcionamento das funções de filtro presentes no DB_CORE;
  • Criação da função add_table_to_known_tables ao DB_CORE.

Renderson

  • Verificacao do status do LCAD
  • Nova instalacao do Fedora 8 na maquina admin do minicluster (quad-core)

Bruno

  • Explicação ao Ricardo sobre os serviços da lcad2;
  • Implementação da técnica de estatística no corretor ortográfico;
  • Teste com a técnica de estatística;

Fernando

  • Revisão junto com o Ricardo do Manual do SCAE e explicação do mesmo, esclarecimento de dúvidas;
  • Instalação da MAE no /opt de todas as máquinas DELL;
  • Investigação dos problemas de compilação com g++ e gcc, juntamente com o Felipe;
  • Iniciando a seleção de artefatos do QoSRF;

Ricardo

  • Leitura dos relatórios do Projeto;
  • Estudando o manual do SCAE;

13 de Fevereiro de 2008, quarta-feira

Victor

  • Implementacao em C da métrica Ranking Loss.
  • Organizacao dos comentarios dos codigos referentes as metricas concluidas.

Renderson

  • Testes com isntalacao da biblioteca MPICH no minicluster
  • Estudando o manual da LAM_MPI

Felipe

  • Procura por outros dicionário de sinônimos na internet (nenhum continha mais palavras do que o achado anteriormente);
  • Criação do diretório THESAURUS no DB_CORE (não subi para o svn, pois depende de aprovação);
  • Implementação das funções que carregam o arquivo thesaurus.txt, cujo formato pode ser explicado em Formato;
  • Implementação das funções que criam um dicionário de sinônimos em .csv thesaurus_table.csv no formato: 
palavra; código_palavra; palavra_sinônima; código_palavra_sinônima

Fernando

Ricardo

  • Análise das informações no website do LCAD/SCAE;
  • Estudando o manual do SCAE;

Bruno

  • Testes do corretor ortográfico com o dicionário scae + o dicionário aspell;
  • Procura de como customizar o Aspell para aceitar a correção ortográfica baseado em frequência;
  • Testes do Aspell considerando tipografia;
  • Correção de algumas palavras do dicionário do scae;

12 de Fevereiro de 2008, terça-feira

Felipe

  • Alteração da função que realiza o feedback no VS_CORE;
  • Após a alteração, realizou-se o seguinte experimento:
    • treina com CNAE_110_SUBCLASSE e
    • 1º teste com DADOS_VITORIA => taxa de acerto de 57.79%;
    • 3º teste com DADOS_VITORIA => taxa de acerto de 61.38%;
    • 6º teste com DADOS_VITORIA => taxa de acerto de 66.26%;
    • 9º teste com DADOS_VITORIA => taxa de acerto de 67.30%;
    • 12º teste com DADOS_VITORIA => taxa de acerto de 68.42%;
    • 15º teste com DADOS_VITORIA => taxa de acerto de 68.91%;
    • 18º teste com DADOS_VITORIA => taxa de acerto de 69.03%;
  • Tentativa de utilizar um dicionário de sinônimos a fim de mapear palavras sinônimas para uma mesma palavra (o que diminuiria o tamanho do lexicon);
  • Procura na internet por um dicionário de sinônimos. Um bom dicionário de sinônimos foi encontrado em DICIONARIO DE SINONIMOS.

Fernando

Ricardo

  • Análise das informações no website do LCAD/SCAE;

11 de Fevereiro de 2008, segunda-feira

Felipe

  • Realização de novos testes com várias dicionários filtrados (combinação das filtragens possíveis: STOP WORD, STEMMING, ACCENT). A maior taxa de acerto (teste 1.x.1.4) foi de 84.34% com o dicionário filtrado somente com stemming. O resultado foi 0.12% maior do que o obtido com palvra canônica;
  • Criação de uma funçào que realiza o feedback no VS_CORE (não subi para o svn, pois depende de aprovação);
  • A função só seria chamada se a classificação não teve sucesso;
  • Conversa com a Claudine sobre Relevance Feedback;
  • Realização de alguns teste com o VS_CORE utilizando Relevance Feedback;
  • No exemplo face_recog_without_filters, alteri o código de forma que seja possível executar sem interface gráfica;
  • Realização de testes, com o face_recog_without_filters, nas lcads, na Master e na tpol20 a fim de garantir que os testes poderão ser realizados em qualquer máquina (todos rodaram).

Fernando

Ricardo

  • Conversa inicial sobre o SCAE/LCAD com o Fernando;
    • Esclarecimento de dúvidas;
    • Estabelecimento de prioridades iniciais;

30 de Janeiro de 2008, quarta-feira

Rickson

  • Testes WNN_COR_CORE com os dados de BH.

Victor

  • Implementacao em C das métricas One-error, Average Precision, usando abordagens diferentes de manipulacao de estruturas chegando ate o comum acordo utilizado nos codigos atuais.

29 de Janeiro de 2008, terca-feira

Felipe

  • Finalmente, o filtro foi embutido no DB_CORE.
  • Criação de arquivos .bat que geram o dicionário filtrado a partir de um filtro especificado;
  • Criação de dois dicionários filtrados. Um pelo filtro implementado pelo patrick e o outro implementado pela Maria Abadia Lacerda Dias [1];
  • Inclusão, no Manual do SCAE, dos passos de instalação do Java Runtime Environment;
  • Descrição, no Manual do SCAE, de como criar dicionários filtrados.

Victor

  • Finalizacao da implementacao em C da métrica Coverage.

Fernando

  • Ajudando Alberto a corrigir, imprimir, gerar CDs dos relatórios da meta 2;
  • Criação do dicionário completo corrigido;

Rickson

  • Manutenção dos scripts de adicionar/criar dicionario e extrair lista de palavras de um texto.

28 de Janeiro de 2008, segunda-feira

Rickson

  • Testes do WNN_CORE com a base de BH.

Felipe

  • Implentando a funcionalidade de filtro.

Victor

  • Implementacao em C da métrica Coverage.

Fernando

  • Correções de separação de palavras no DB_CORE;

25 de Janeiro de 2008, sexta-feira

Felipe

  • Implentando a funcionalidade de filtro.

Rickson

  • Testes do VS_CORE com a base de BH.

Victor

  • Estudo e analise (teste e execucao) da métrica Coverage e implementacao em C da respectiva métrica.
  • "Reuniao" com Fernando, Bruno, Felipe e Claudine sobre a integracão da implementacão das métricas com os atuais códigos implementados.
  • Execucao dos treinos e testes usando o dicionario "novo", com atualizacao do manual no Wiki (CONCLUSAO: 1.2.x-VS_CORE, 2.2.x-WNN_CORE e 3.2.x-WNN_COR_CORE).

Fernando

  • Reunião com Claudine, Bruno, Felipe e Victor sobre implementação das métricas e documentos de implementação baseados no RUP;

24 de Janeiro de 2008, quinta-feira

Felipe

  • Implentando a funcionalidade de filtro.

Rickson

  • Testes do VS_CORE com a base de BH.

Fernando

  • Generalização das funções de dados no DB_CORE de dados_vitoria para dados, para acomodar também os dados de BH;
  • Adequação dos scripts build_tables;
  • Estudando Artefatos no RUP;

Victor

  • Estudo e analise (teste e execucao) da métrica Coverage e implementacao em C da respectiva métrica.
  • Execucao dos treinos e testes usando o dicionario "novo", com atualizacao do manual no Wiki (1.2.x-VS_CORE, 2.2.x-WNN_CORE e 3.2.x-WNN_COR_CORE).

23 de Janeiro de 2008, quarta-feira

Felipe

  • Filtragem de palvaras via JNI está funcionando;
  • Criação da interface entre C e Java a ser embutida no DB_CORE;
  • Conversa com a Caludine sobre o código que calculará as métricas;
  • Auxílio prestado ao Victor sobre o código que gerará as métricas (especificação do formato dos arquivos a serem lidos);
  • Auxílio prestado ao Rickson sobre o VS_CORE e o DB_CORE;
  • Encontreie um bug no DB_CORE, o qual aparentemente não existia nas versões anteiores. A TTV para os dados de BH está sendo gerada incorretamente;
  • Auxílio prestado ao Bruno sobre a execução de experimentos.

Fernando

  • Execução de experimentos para ajuda o Bruno;
  • Estudo do RUP;
  • Carregamento de materiais do projeto, da PROPLAN para o LCAD;

Rickson

  • Execução de teste sobre a base de dados de BH.

Victor

  • Estudo e analise (teste e execucao) das métricas e modificacao/analise dos scripts m-files.
  • Execucao dos treinos e testes usando o dicionario "novo", com atualizacao do manual no Wiki.

22 de Janeiro de 2008, terça-feira

Felipe

  • Consegui comunicar C com Java.

Rickson

  • Implementação de ferramenta para gerar lista de palavras compatível com script de criação/adição de dicionários.

Fernando

  • Reinstalação de linux na máquina da Claudine, reparticionamento conforme pedido dela;
  • Desenho do Diagrama de Atividades para a funcionalidade Executa Comandos;
  • Ajuda à Claudine a instalar a nova biblioteca xmlrpc, resolvendo alguns problemas de compilação/execução;
  • Correção nos Makefiles para nova versão das bibliotecas xmlrpc;
  • Instalação da MAE na lcad17 em /opt/MAE;
  • Estudando o RUP;

Victor

  • Estudo e analise (teste e execucao) das métricas e modificacao/analise dos scripts m-files.
  • Execucao dos treinos e testes usando o dicionario "novo", com atualizacao do manual no Wiki (Resultados do WNN_core - 2.2.x).

Bruno

  • Testes com o WNN_COR_CORE para novos experimentos;
  • Adição das telas da interface web no manual do SCAE;
  • Leitura sobre o corretor automático;

21 de Janeiro de 2008, segunda-feira

Rickson

  • Implementação de ferramenta para gerar lista de palavras compatível com script de criação/adição de dicionários.

Felipe

  • Estudo do Java Native Interface;

Fernando

  • Orientação do Rickson na atividade de experimentos com os dados de BH;

Victor

  • Estudo e analise (teste e execucao) das métricas e modificacao dos scripts m-files.
  • Execucao dos treinos e testes usando o dicionario "novo", com atualizacao do manual no Wiki (Resultados do WNN_core - 2.2.x).

Bruno

  • Testes com o TFIDF com os cores VS_CORE, WNN e WNN_COR;
  • Suporte ao Renderson na instalação do SGE;

18 de Janeiro de 2008, sexta-feira

Fernando

  • Reunião com Alberto para discutir a adição de funcionalidades no diretório shared do SCAE;
  • Download e aprendizado da ferramenta JUDE para confeccionar os Diagramas de Atividade;
  • Finalização da preparação dos dados de BH (87999 atividades economicas distintas);
  • Verificação da funcionalidade de criação/adição de palavras a um dicionário feita pelo Rickson;

Renderson

  • Problemas com a instalacao do SGE, foi feito nova instalação

Felipe

  • Reunião com Alberto para discutir a adição de funcionalidades no diretório shared do SCAE;
  • Auxílío prestado ao Victor sobre a execução do VS_CORE, WNN_CORE e WNN_COR_CORE no vários níveis da tabela CNAE;
  • Auxílío prestado ao Bruno sobre a criação dos vetore de treino e teste;
  • Estudo da integração entre C e Java;
  • Implementando a funcionalidade de filtro no DB_COR.

Victor

  • Estudo e analise (teste e execucao) das métricas e modificacao dos scripts m-files.
  • Execucao dos treinos e testes usando o dicionario "novo", com atualizacao do manual no Wiki (Resultados do VS_core - 1.2.x - e inicio dos Resultados do WNN_core - 2.2.x).

17 de Janeiro de 2008, quinta-feira

Fernando

  • Resolvendo problemas na conversão dos dados de BH;
  • Início de retirada das atividades de BH inconsistentes;

Renderson

  • Inicio da instalação do SGE N1 6.1 na maquina MASTER (Enterprise) do minicluster

Victor

  • Estudo e analise (teste e execucao) das métricas e modificacao dos scripts m-files.
  • Treinos e testes usando o dicionario novo.

Felipe

  • Auxílio prestado ao Lucas/Elias sobre a execução do Adtree e Boostexter;
  • Auxílio prestado ao Bruno sobre a criação dos vetores de treino e teste no DB_CORE;
  • Implementando a funcionalidade de FILTRO no DB_CORE.

Rickson

Otimização do script para adicionar palavras a um dicionário

16 de Janeiro de 2008, quarta-feira

Fernando

  • Trabalhando os dados da BH para colocá-los no formato csv;

Renderson

  • Bruno e eu verificamos problemas com o NIS + NFS nas maquinas do minicluster

Victor

  • Estudo e analise (teste e execucao) das métricas com a Claudine para posterior modificacao dos scripts m-files.
  • Inicio dos treinos e testes usando o dicionario novo

Rickson

Otimização do script para adicionar palavras a um dicionário

Felipe

  • Reformulação do Manual do SCAE;
    • Alteração da seção Comunicando cos os CORES classificadores;
    • Alteração da seção Módulos do SCAE (CORE's);
    • Alteração da seção Como acessar o Repositório SCAE;
    • Criação da seção Compilando a biblioteca compartilhada MAE;
    • Criação da seção Como acessar o Repositório MAE;
    • Criação da seção Compilando e executando o WNN_CORE;
    • Criação da seção Compilando e executando o WNN_COR_CORE;
  • Auxílio prestado ao Lucas/Elias sobrea a execução do Adtree e Boostexter;
  • Implementando a funcionalidade de FILTRO no DB_CORE.

Bruno

  • Testes com o lexicon corrigido;
  • Configuração do servidor NIS+NFS;

15 de Janeiro de 2008, terça-feira

Renderson

  • Configuracao do NIS+NFS nas maquinas do minicluster (TPOL1 e Enterprise)

Rickson

implementação do script para adicionar palavras a um dicionário

Felipe

  • Reunião com o Elias sobre as características do filtro implementado pelo Patrick;
  • Conferência com Alberto para detalhamento de atividades;
  • Reunião com o Patrick para esclarecimentos das funções do filtro implementado em JAVA;
  • Auxílio prestado ao Bruno sobre a criação do Lexicon;
  • Remoção dos cores WNN e WNN_COR da MAE. Eles encontram-se, agora, no nível CORES;
  • Remoção da MAE do diretório code. Ela passou a ser uma biblioteca, assim como o SHARED;
  • Alteração dos arquvios .bat existentes no diretório CORE;
  • Alteração dos nomes dos executáveis: wnn -> wnn_core e wnn_cor -> wnn_cor_core.

Fernando

  • Investigação do Diadorim em relação ao arquivo de sinônimos, ao que parece o Diadorim que temos não possui esta funcionalidade; Não consegui inferir como relacionar os sinônimos;
  • Reformulação do Manual do SCAE;
  • Conferência com Alberto para detalhamento de atividades;
  • Passagem dos dados de BH para CSV;

Victor

  • Término da correção das palavras do dicionário.
  • Aprendendo a como instalar o SCAE para a máquina de Claudine.
  • "Reanexo" do roteiro de instalação do Fedora Core 6, no wiki do LCAD.

Bruno

  • Modificação das funções create_lexicon, create_lexicon_rpc, compute_lexicon e compute_vector_L para forma correta de como considerar um documento;

14 de Janeiro de 2008, segunda-feira

Renderson

  • Configuração da TPOL1 (do minicluster)
  • Configurando o ambiente com NIS/NFS (TPOL1 e Enterprise)

Rickson

implementação do script para adicionar palavras a um dicionário

Felipe

  • Edição do wiki de como utilizar a USER_INTERFACE;
  • Edição do wiki de como adicionar um novo CORE (complementação);
  • Auxílio ao Bruno sobre a inclusão da funcionalidade TFIDF no DB_CORE;

Bruno

  • Reunião com Prof. Alberto a respeito de novas funcionalidades;
  • Descomposição das macro-atividades em atividades menores;
  • Correção da função compute_vector_L para utilizar a última linha na criação do lexicon;
  • Estudo da métrica TFIDF;

Fernando

  • Reunião com Prof. Alberto a respeito de novas funcionalidades;
  • Auxílio ao Rickson para elaboração do procedimento de adição de palavras no dicionário;

11 de Janeiro de 2008, sexta-feira

Felipe

  • Na USER_INTERFACE, altrerações no módulo remote_functions.c:
    • Alteração do test_respnse ();
    • Alteração da core_server_url () ;
    • Criação da função initialize_core_variables ();
  • Ainda ma USER_INTERFACE, remoção dos antigos arquvios .bat e inclusão de 64 novs, todos começando por experimentos_;
  • Tentativa de encontrar bug no DB_CORE (sem sucess);
  • Edição do wiki de como adicionar um novo CORE;

Fernando

  • Melhorias nas mensagens de inicialização do DB_CORE;
  • Nomenclatura do experimentos na página de resultados no wiki;

10 de Janeiro de 2008, quinta-feira

Fernando


Felipe

  • Preparação do repositório Vitorra.tar.gz, o qual conterá arquivos que foram utilizados nos experimentos do artigo;
  • Implemtação do código que recarrega o treinamento default, caso ele exista;
  • Implemtação do código que salva o nome do último treinamentoo em um arquivo (last_training.txt);
  • Retirada da função set_training_base_name () do arquivo specifc_core_rpsc_handling_functions ();
  • Retirada de bugs na MAE;
  • Retirada de bugs no DB_CORE.

Bruno

  • Codificação da função que retorna mensagens para a interface web mostrando as colunas que foram codificadas;
  • Testes com as interfaces de criação de lexicon, de ttv, treinamento e teste;

Victor

  • Continuação da correção das palavras do dicionário (letras "Q", "R", "S").

Rickson

  • Continuação da correção das palavras do dicionário (letra "T").

09 de Janeiro de 2008, quarta-feira

Renderson

  • Instalacao do Fedora 8 na TPOL1 (minicluster)
  • Pesquisa sobre o Anaconda-ks.cfg para replicacao de HDs via rede com configuracao preconfigurada (KS.CFG)

Felipe

  • Ajuste das funções get_training_info_rpc e get_test_info_rpc no DB_CORE;
  • O parâmetro do tipo base64 passou a ser o último na lista de parâmetros do XML:
    • Na USER_INTERFACE, ajuste da função save() e da função test() (no módulo remote_functions.c);
    • No diretório SHARED, ajuste da função save_rpc() e test_rpc() (no módulo core_rpcs.c) e correção da função das funções add_training_info() e add_test_info() (no módulo remote_functions.c);
    • No DB_CORE, ajuste das funções Ajsute das funções add_training_info_rpc, add_test_info_rpc no DB_CORE, get_training_info_rpc e get_test_info_rpc;
  • Reestruturação da função build_user_vector_rpc no DB_CORE;
  • Criação da função get_ttv_table_name_from_training () no DB_CORE;
  • Alteração do arquivo ports.cfg no diretório config (retirado o sufixo _SERVER);
  • Alteração da função read_ports no SHARED, na USER_INTERFACE e no DB_CORE (retirado o sufixo _SERVER);
  • Alteração da função test_response na USER_INTERFACE (retirado o sufixo _SERVER);
  • Ajuste da função build_user_vector existente no diretório SHARED (passrá como parâmetro o nome do CORE também);
  • Consertei o test_cores.bat.

Victor

  • Continuação da correção das palavras do dicionário (término letra "P", letra "Q").

Fernando

Bruno

  • Implementação das funções xmlrpc referentes às funções da interface de treinamento e teste;
  • Teste com as interfaces de treinamento e teste;
  • Adição das funcionalidades do AJAX à interface de codificação de colunas;

08 de Janeiro de 2008, terça-feira

Felipe

  • Criação das funções get_training_info_rpc e get_test_info_rpc no DB_CORE;
  • Retirada do lexicon durante o treinamento:
    • Ajuste da função save() no módulo remote_functions.c na USER_INTERFACE;
    • Ajuste da função save_rpc() no módulo core_rpcs.c no SHARED;
    • Ajuste da função add_training_info() no módulo core_rpcs_handling_functionsno SHARED;
    • Ajuste da função add_training_info_rpc, add_training_info, add_or_replace_training_info, compose_ttvs_and_limits e compose_train_string_line no DB_CORE;
  • Ajuste do arquivo .bat train_and_save_TTV_C1S_DESC_vs.bat na USE_INTERFACE;
  • Realização de testes com o WNN (treian com CNAE e testa com DADOS Vitória) => 63.5%;
  • Editei o arquivo README no diretório shared;
  • Subi a nova versão do DB_CORE;
  • Subi a nova versão do SHARED;
  • Subi a nova versão da USER_INTERFACE;
  • Alterei o comentário das funções existentes no módulo specific_core_rpcs_handling_functions.c;
    • Subi a nova versão do VS_CORE;
    • Subi a nova versão do WNN;
    • Subi a nova versão do WNN_COR;

Renderson

  • Acompanhei os trabalho dos técnicos na inspeção do problema no ar condicionado (split) do laboratorio.
  • Finalizei o roteiro para clonagem de HDs diferentes usando DD (Replicação de um Nó do Cluster (HDs Diferentes))
  • Pesquisa na internet sobre o Sun Grid Engine (SGE)

Bruno

  • Correção de uma função de sugestão na interface 4;
  • Desenvolvimento da função rpc create_ttv_table e teste da integração entre o interface web e o sevidor php;
  • Desenvolvimento da função rpc train, save, get_test_list;
  • Teste com a interface de criação dos vetores de treinamento e teste. Interface ok;

Rickson

  • Correção do dicionário: letras T e V

Fernando

  • Retirando lexicon dos scripts de treinamento;
  • Adequação de scripts da UI para a nova versão;
  • Adaptação e adição de novos scripts de atividade (DB_CORE) para esta nova versão;
  • Correção na process_csv_vector_char da csv_file_lib.rpc para não acessar c_p[-1];
  • Correção na create_ttv_rpc, agora funciona com a interface web;
  • Adaptação do build_tables_subclasse_110_sub+vit.bat para funcionar com a nova versão;
  • Correção no VS_CORE/specific_core_rpcs_handling_functions.c;
  • Alteração dos scripts do DB_CORE e da USER_INTERFACE para usar DEFAULT ao inves de COMMON;
  • Alteração nos scripts do DB_CORE e alguns da USER_INTERFACE para utilizar TTVs;
  • Execução de um experimento com o WNN a partir do novo dicionário completo e adição de seu resultado no wiki;

07 de Janeiro de 2008, segunda-feira

Felipe

  • Criei as funções get_ttv_line_rpc, get_ttv_from_ttv_table e get_cnae_codes_fomr_ttv_table no DB_CORE;
  • Retirei um bug que havia no USER_INTERFACE, mais precisamente na função compose_vec_ttv_and_limits;
  • Criei dois arquivos .bat na USER_INTERFACE: train_and_save_TTV_C1S_DESC_vs.bat e reload_and_test_TTV_C1S_DESC_vs.bat;
  • Realizei novos testes com o VS_CORE e consertei a tabela de resultados no wiki:
    • Testando com a tabela CNAE => taxa de acerto de 99.15%
    • Testando com os dados de Vitória => taxa de acerto de 53.76%
    • Testando com a segunda metade dos dados de Vitória => taxa de acerto de 57.22%
  • Realizei uma comparação do VS_COR antigo com o VS_CORE novo (utilizando a biblioteca) e obtive os mesmos

resultados;

  • Subi a nova versão do USER_INTERFACE;
  • Subi a nova versão do DB_CORE.

Renderson

  • refiz o processo de clonagem entre HDs diferentes usando outra distribuição (livecd).

Victor

  • Continuação da correção das palavras do dicionário (término letra "O", letra "P").

Rickson

  • Ajudando o Victor - correção do dicionário de V à Z.

Fernando

  • Correção no dicionário nilc, no completo e no script de conversão do nilc.
  • Adicção do script para retirar duplicatas de um dicionário.
  • Acrescentei um dicionário que concatena subclasse, atividade e o nilc.
  • Correções no diadorim-to-bd.pl.
  • Correção na get_ttv_info_rpc.
  • Adição da coluna origem ao dicionário.
  • Adição do arquivo csv do dicionário nilc.

Bruno

  • Implementação das funções referentes a criação dos vetores de treinamento e treinamento dos algoritmos;

05 de Janeiro de 2008, sábado

Felipe

  • Realizei o commit de todas as modificações feitas por mim em todos os CORES:
    • Subi uma nova versão do VS_CORE (já migrado);
    • Subi uma nova versão do diretório shared;
    • Subi uma nova versão da USER_INTERFACE;
    • Subi uma nova versão do arquivo ports.cfg;
    • Subi uma nova versão do WNN_CNAE (já migrado)
    • Subi uma nova versão do WNN_COR_CNAE (já migrado)
    • Subi uma nova versão do arquvo test_cores.bat.

04 de Janeiro de 2008, sexta-feira

Felipe

  • Migrando o CORE WNN_COR_CNAE;
  • Adição da função allocate_result_vec ao módulo class_cnae_user_functions.c;
  • Criação da arquivos .bat na USER_INTERFACE para testar o WNN_COR_CNAE migrado;
  • Realização de experimentos, com o VS_CORE, no nível subclasse (treina com tabela CNAE 1.0):
    • Testando com a tabela CNAE => taxa de acerto de 99.83%
    • Testando com os dados de Vitória => taxa de acerto de 61.32%
    • Testando com a segunda metade dos dados de Vitória => taxa de acerto de 64.47%
  • Mudança do nome do executável, no WNN_CNAE, de class_cnae para wnn;
  • Mudança do nome do executável, no WNN_COR_CNAE, de class_cnae para wnn_cor;
  • Modificação do script test_core.bat a fim de que o WNNC_COR possa ser testado;
  • Modificação de dois arquivos .bat na USER_INTERFACE: train_and_save_110_wnn_short.bat e reload_and_test_110_wnn.bat, de tal forma que eles possam ser lidos pelo novo executável da USER_INTERFACE;
  • Adição de dois arquivos .bat na USER_INTERFACE: train_and_save_110_vs_short.bat para train_and_save_110_vs_short.bat os quias serão utilizados pelo script test_cores.bat;
  • Adição de dois arquivos .bat na USER_INTERFACE: train_and_save_110_wnn_cor_short.bat e reload_and_test_110_wnn_cor.bat, os quias serão utilizados pelo script test_cores.bat;
  • Modificação do script test_core.bat a fim de que o WNN_COR possa ser testado;
  • Subi uma nova versão do DB_CORE.

Fernando

  • Terminei a implementação das TTV (falta só testar pela interface web, por linha de comando, ok);
  • Mudei no DB_CORE de COMMON para DEFAULT;
  • Subi para o SVN;
  • Pesquisa de ferramentas úteis ao Projeto junto com o Alberto;
  • Scripts de conversão do Dicionário do nilc para o SCAE (parcial, já gera o dicionario.csv dentro do diretorio nilc/dics com a coluna origem, a ser incluida no scae);
  • Debugando criação de TTVs via interface web, mas estou com dificuldades pois mesmo com backtrace o erro é, ou no comando fopen, ou no comando malloc;

Bruno

  • Terminei os ajustes nas funções que sugerem nomes de lexicons, tabelas e colunas;
  • Teste final com a interface de criação do lexicon;
  • Construção das funções referentes à interface de criação dos vetores de treinamento e teste;
  • Teste com chamada rpc create_ttv_table. Apresentou problemas e estamos debugando o código para verificar os erros;
  • Ajustes na interface de treinamento dos algoritmos;

03 de Janeiro de 2008, quinta-feira

Felipe

  • Atribuição, no arquivo ports.cfg, da porta 8095 ao CORE WNN_COR;
  • Alteração da função read_ports, localizada no módulo remotes_functions.c da USER_INTERFACE a fim de que a porta do WNN_COR possa ser lida;
  • Alteração da função test_response, localizada no módulo remotes_functions.c da USER_INTERFACE a fim de que o teste para ver se o CORE está ON leve em consideração, também, o WNNC_COR;
  • Realização de experimentos, com o VS_CORE, nos níveis divisão, grupo e classe (treina com tabela CNAE 1.0 e metade do dados de Vitória e testa com a outra metade):
    • Divisão => taxa de acerto de 89.64%
    • Grupo => taxa de acerto de 86.17%
    • Classe => taxa de acerto de 82.57%
  • Migrando o CORE WNN_CNAE;
  • Adição da função allocate_result_vec ao módulo class_cnae_user_functions.c;
  • A função Main do VS_CORE foi movida para o arquivo vector_spaces.c;
  • Inclusão, no .bashrc, das linhas que exportam o home do diretório shared (será utilizado nos Makefiles do CORES);
  • Criação da arquivos .bat na USER_INTERFACE para testar o WNN_CNAE migrado;
  • Remoção do bug na função replace_training_info (DB_CORE);
  • Remoção do bug na função replace_test_info (DB_CORE);

Renderson

Victor

  • Continuação da correção das palavras do dicionário (término letra "M", letras "N" e "O").

Bruno

  • Teste com a função create_lexicon_rpc. Foi encontrado um erro na função do db_core;
  • "Debugando" a função para encontrar o erro;
  • Ajustes nas funções de sugestão de nomes de lexicon, tabelas e colunas;

Fernando

  • Retirada de bug na create_lexicon/register_lexicon;
  • Continuação da implementação das funções relativas aos TTV;

02 de Janeiro de 2008, quarta-feira

Felipe

  • Implementação da função get_training_lit na USER_INTERRFACE;
  • Implementação da função get_test_lit na USER_INTERRFACE;
  • Realização de testes, via linha de comando, com arquivos .bat que solicitavam a lista de treinamento e teste.

Renderson

Fernando

  • Verificação do procedimento de verificação do LCAD, alterações solicitadas ao Renderson;
  • Alteração do topico como funciona o backup, para incluir o monthly;
  • Implementação das TTVs e funções auxiliares (ainda não concluído);

Bruno

  • Acerto nas funções que sugerem possíveis nomes de lexicons, tabelas e colunas;
  • Construção da função create_lexicon_rpc;
  • Testes com a interface de criação de lexicons (ainda em andamento);

26 de dezembro de 2007, quarta-feira

Renderson


21 de dezembro de 2007, sexta-feira

Victor

  • Continuação da correção das palavras do dicionário (letras "L" e "M")

Rickson

  • Correção das palavras do dicionário da letra G à I.

Bruno

  • Testes com a função get_lexicon_info;
  • Dificuldades no retorno do xml do php para o javascript(em andamento);

Felipe

  • Implementação da função get_train_list e get_test_list na USER_INTERFACE.
  • Implementação da comparação hierárquica no VS_CORE.
  • Realização de testes com o VSC_CORE no nível de subclasse (80.50%) e seção (92.44%). Treinou-se com a tabela CNAE e com a primeira metade da tabela DADOS_VITORIA_SUB_100 e o teste foi realizado com a segunda metade desta tabela.

Fernando

  • Encontrei a LCAD2 desligada, religuei e testei;
  • Apresentação do LCAD para a escola de segundo grau visitante;
  • Verificação do ar split, encontra-se com problemas, não gela e está pingando para dentro;
  • Início da implementação dos TTV no DB_CORE;
  • Planejamento das atividades para colocar o SCAE em uma única versão e já com a biblioteca de RPCs implementada;
  • Acompanhei o Felipe na comparação hierárquica do VS_CORE e testes nos níveis de subclasse e seção.


20 de dezembro de 2007, quinta-feira

Felipe

  • Salvando informações do teste no arquivo KNOWN_TESTS_saved.csv, testei linha de comando.
  • Implementação da função add_test_info_rpc.
  • Remoção do função die_if_fault em algumas funções do DB_CORE, da biblioteca SHARED e da USER_INTERFACE.
  • Implementação da função get_training_lit.
  • Implementação da função get_test_lit.
  • Realização de teste com conjunto: USER_INTERFACE + DB_CORE + VS_CORE;

Renderson

Fernando

  • Implementação da get_encodable_column_list_rpc;
  • Implementação de funções auxiliares como group_array_in_one_string, e ungroup_string_to_array;
  • Correção na get_column_by_name que não funcionava para a última coluna;
  • Implementação da função get_lexicon_info_rpc e funções auxiliares.

Bruno

  • Testes com a framework CSS;
  • Testes com a chamada rpc get_lexicon_info;
  • Ajuses no código em função dos testes acima;


19 de dezembro de 2007, quarta-feira

Felipe

  • Inclusão de subtype no known_trainings.csv;
  • Inclusão de subtype no known_tests.csv;
  • Salvando informações do treinamento no arquivo KNOWN_TRAININGS_saved.csv, testei linha de comando;
  • Salvando informações do teste no arquivo KNOWN_TESTS_saved.csv, testei linha de comando;
  • Implementação da função add_training_info_rpc;

Renderson

  • Finalizacao do redimencionamento do HD de 40GB para a TPOL19
 hda5 - /     - 7GB
 hda1 - /boot - 102MB
 hda7 - /tmp  - 30GB
  • Reativacao das TPOLs 11 , 17 e 22 que estavam fora do ar, perfazendo um total de 32 maquinas online no cluster

Fernando

  • Inclusão de subtype no known_tables.csv;
  • Implementação da get_table_list_by_type_rpc capaz de retornar a lista de tabela CNAE, DADOS e LEXICONS; falta implementar lista de TTV;
  • Salvando informações do lexicon no arquivo KNOWN_LEXICONS_saved.csv, testei linha de comando e interface web;

Bruno

  • Teste com a chamada rpc get_table_list_by_type para o db_server;
  • Correções no código devido ao teste realizado anteriormente;
  • Testes com uma framework CSS para agregar ao site;


18 de dezembro de 2007, terça-feira

Felipe

  • Realização de testes a fim de debugar o VS_CORE, a USER_INTERFACE e a biblioteca corerpcs.
  • Alteraçào da save_rpc na biblioteca corerpcs.
  • Alteraçào da train_rpc na biblioteca corerpcs.
  • Alteraçào do loop principal da USER_INTERFACE.
  • Trabalho com o SCAE é retomado.

Renderson

  • Verificação do ar split: o disjuntor (30A) que havia desarmado;
  • Redimencionamento do HD de 40GB para substituir os defeituosos das TPOLs (20 Gb) com o /tmp ocupando todo o restante do disco. (30 gb)

Fernando

  • Verificação do ar split: o disjuntor (30A) que havia desarmado;
  • Edição do tópico Ar Condicionado, acrescentando explicação do quadro de disjuntores;
  • Verificação de treinamento e teste da revisão 91 do VS, treinei com subclasse e primeira metade dos dados de vitória, testei com a segunda metade e aparentemente funcionou, apesar do resultado de 51,68%;
  • Incluido subtype no known_tables.csv para facilitar o carregamento e distinção das tabelas quando informando a lista de tabelas;
  • Implementando get_table_list_by_type_rpc no db_core, ainda não terminado;

Bruno

  • Construção das funções para sugestão de nome de tabelas e colunas na interface de criação do lexicon;
  • Construção de uma fila para as requisições em AJAX;


17 de dezembro de 2007, segunda-feira

Felipe

  • Criei a biblioteca "corerpcs", a qual será linkada com os CORES classificadores. Esta biblioteca se encontra no diretório shared, mais especificamente no subdiretório lib/.uma
  • O trabalho com o SCAE é retomado.

Renderson

  • Edicao do topico Ar Condicionado referente ao problema ocorrido
  • Reativacao de 32 maquinas do cluster (desligadas devido a falta de energia durante a noite).
  • Redimensionamento do HD de 40gb para substituir o de 20gb das Tpols para o novo tamanho (20 => 40) area maior para o /tmp


15 de dezembro de 2007, sábado

Felipe

  • Participação no Seminário SCAE.

Fernando

  • Participação no Seminário SCAE.


14 de dezembro de 2007, sexta-feira

Felipe

  • Participação no Seminário SCAE.
  • Ajudei o Fernando a debugar o DB_CORE.
  • Realização de testes com o WNN_COR_CNAE a fim de medir a taxa de acerto nos níveis: seção, divisão, grupo, classe e subclasse.

Bruno

  • Modularização das funções em JavaScript referentes à interface de criação do lexicon;

Renderson

  • DD do HD da TOPL19 para o novo HD (40GB)
  • Intalacao da Impressora Dell Laser Collor 3115 na lcad14
  • Impressao da agenda do 3º Metting do projeto SCAE
  • Manutencao na LCAD11 (desligada devido a um provavel pique de energia durante a noite) ajuste no Setup
  • Reativacao de 32 maquinas do cluster (desligadas devido ao desligamento* do ar condicionado durante a noite) nao foi possivel verificar se foi um problema no ar ou um possivel pique de energia.
  • Estudo da ferramenta NAGIOS para administração e monitoramento dos servicos de rede no LCAD

Fernando

  • Adequação das versões dos cores no note dell para demonstração no Seminário SCAE;
  • Ajustes finais da apresentação;
  • Correção no IP do ports.cfg que foi alterado por engano;
  • Apresentação e participação no Seminário SCAE.


13 de dezembro de 2007, quinta-feira

Felipe

  • Eu e o Alberto alteramos o DB_CORE para que a tabela CNAE_110_SUBCLASSE pudesse ser salva em um outro formato.
  • Eu e o Alberto programamos na wnn_cnae e no wnn_cor_cnae a fim de adicionar a funcionalidade de comparação em vários níveis da tabela CNAE (seção, divisão, grupo, classe e subclasse).
  • Gerei um nova versão do código que converte a saída do Boostexter para um arquivo interpretável pelos scripts em matlab.
  • Eu e a Claudine verificamos a possibilidade de a MAE ter sido prejudicada na métrica Coverage por deficiência do script feito em matlab.
  • Programação com o WNN_CNAE é retomada.
  • Conversei com a Claudine sobre os resultados preliminares do Adtree.
  • Programação com o WNN_CNAE é retomada.
  • Eu e Panmella fizemos um levantamento dos equipamentos do Projeto.
  • Ajudei o Patrick a instalar o Matlab na lcad11.
  • Ajudei o Fernando na função de criação dos vetores de treino e teste (no DB_CORE).
  • Comecei a trabalhar com o WNN_CNAE para permitir a realização da comparação com seção, divisão, grupo, classe e subclasse.
  • Executei o algoritmo classificar Adtree mais uma vez com a base de dados CNAE.

Renderson

  • Atualização da lista de material para o LCAD - Planilha compartilhada no GoogleDocs
  • Recuperacao da TPOL19 que estava parada.
  • Analise para a clonagem dos HDs das antigas TPOLs (20gb) para os novos HDs de reposição (40GB) para redimencionamento da particao hda5 (/tmp)
  • Maquina que sera enviada para o RIo foi separada e numeros de comodato enviado ao email do Fernando (CPU - 2838, Teclado - 2888, Monitor - 2878)

Bruno

  • Adição do AJAX na interface de criação do lexicon (finalizado);

Fernando

  • Alterações na interface web para funcionamento com o db_core (criação dos TST, treinamento e teste).
  • Alterações no db_core para funcionamento da interface web (criação dos TST, treinamento e teste).
  • Instalação do novo w3c-libwww e xmlrpc no note dell. Insucesso, fez tanta atualização que estragou o KDE. Acredito que tenha marcado o repositório development por engano e isto estragou tudo.
  • Reinstalação do Fedora 8 no note dell, atualização do mesmo e instalação da nova xmlrpc.
  • Preparei a apresentação para o Encontro SCAE de sexta.
  • Tentativa de colocar o SCAE no note dell para demonstração, mas algo estava impedindo a interface de funcionar (saímos do LCAD 23:50).


12 de dezembro de 2007, quarta-feira

Felipe

  • Eu e o Elias conversamos sobre os resultados dos algortimos e discutimos sobre o que poderia ser apresentado no artigo;
  • Assumi os treinos e testes com com Adtree para as bases do Yahoo e CNAE;
  • Eu e a Claudine procuramos por possíveis erros nos arquivos de entrada e saída MAE e do Boostexter. Nada anormal foi encontrado;
  • O trabalho com o SCAE é retomado;
  • Auxiliei o Lucas na execução do Adtree;
  • Auxiliei o Patrick na execução do Rank-svm;
  • Eu e a Claudine conversamos sobre os resultados do Boostexter, os quais foram superiores ao da MAE;
  • O trabalho com o SCAE é retomado, mais precisamente com o VS_CORE e a USER_INTERFACE;
  • Auxiliei o Rickson no que diz respesito ao svn, DB_CORE e USER_INTERFACE;
  • Execução do algoritmo Boostexter a pedido da Claudine;
  • Manutenção do ar-condicionado;

Bruno

  • Adição do AJAX na interface de criação do lexicon (não finalizado);

Fernando

  • Implementei a seguinte funcionalidade: quando um arquivo binário não é encontrado, seu csv é carregado e o binário é gerado, o que faz funcionar a interface web 2_2_2.
  • Criei a funcionalidade de utilização do known_tables.csv (várias alterações no db_core) e corrigi os scripts build_tables para funcionarem com as novas modificações.
  • Ajudei o Lucas a instalar e linkar a biblioteca gtk+(1.2) para utilização de um programa para escrito do artigo;
  • Auxiliei o Rickson na execução dos experimentos que a Claudine lhe pediu;

Renderson


11 de dezembro de 2007, terça-feira

Fernando

  • Acrescentei a funcionalidade de range ao lexicon e os scripts de treinamento de subclasse+primeira metade dos dados de Vitória e treinamento com o restante. Resultado de 75.69%! Adicionei o resultado no Wiki de resultados.
  • Reunião com Alberto e Claudine sobre andamento do Projeto.

Rickson

  • Executei para o WNN-COR os mesmos experimentos antes feitos para o WNN. Ambos se encontram em Resultados de Pesquisa.
Disponível em "http://www.lcad.inf.ufes.br/wiki/index.php?title=Diário_de_Bordo_do_Projeto&oldid=3598"