Mudanças entre as edições de "Diário de Bordo do Projeto"
(→Renderson) |
(→Bruno) |
||
Linha 9: | Linha 9: | ||
* Desenvolvimento da função rpc create_ttv_table e teste da integração entre o interface web e o sevidor php; | * Desenvolvimento da função rpc create_ttv_table e teste da integração entre o interface web e o sevidor php; | ||
* Desenvolvimento da função rpc train; | * Desenvolvimento da função rpc train; | ||
− | * Desenvolvimento da função | + | * Desenvolvimento da função save training; |
== 07 de Janeiro de 2008, segunda-feira == | == 07 de Janeiro de 2008, segunda-feira == |
Edição das 11h56min de 8 de janeiro de 2008
Índice
- 1 08 de Janeiro de 2008. terça-feira
- 2 07 de Janeiro de 2008, segunda-feira
- 3 05 de Janeiro de 2008, sábado
- 4 04 de Janeiro de 2008, sexta-feira
- 5 03 de Janeiro de 2008, quinta-feira
- 6 02 de Janeiro de 2008, quarta-feira
- 7 26 de dezembro de 2007, quarta-feira
- 8 21 de dezembro de 2007, sexta-feira
- 9 20 de dezembro de 2007, quinta-feira
- 10 19 de dezembro de 2007, quarta-feira
- 11 18 de dezembro de 2007, terça-feira
- 12 17 de dezembro de 2007, segunda-feira
- 13 15 de dezembro de 2007, sábado
- 14 14 de dezembro de 2007, sexta-feira
- 15 13 de dezembro de 2007, quinta-feira
- 16 12 de dezembro de 2007, quarta-feira
- 17 11 de dezembro de 2007, terça-feira
08 de Janeiro de 2008. terça-feira
Renderson
- Acompanhei os trabalho dos técnicos na inspeção do problema no ar condicionado (split) do laboratorio.
- Finalizei o roteiro para clonagem de HDs diferentes usando DD (Replicação de um Nó do Cluster (HDs Diferentes))
- Pesquisa na internet sobre o Sun Grid Engine (SGE)
Bruno
- Correção de uma função de sugestão na interface 4;
- Desenvolvimento da função rpc create_ttv_table e teste da integração entre o interface web e o sevidor php;
- Desenvolvimento da função rpc train;
- Desenvolvimento da função save training;
07 de Janeiro de 2008, segunda-feira
Renderson
- refiz o processo de clonagem entre HDs diferentes usando outra distribuição (livecd).
Victor
- Continuação da correção das palavras do dicionário (término letra "O", letra "P").
Rickson
- Ajudando o Victor - correção do dicionário de V à Z.
Fernando
- Correção no dicionário nilc, no completo e no script de conversão do nilc.
- Adicção do script para retirar duplicatas de um dicionário.
- Acrescentei um dicionário que concatena subclasse, atividade e o nilc.
- Correções no diadorim-to-bd.pl.
- Correção na get_ttv_info_rpc.
- Adição da coluna origem ao dicionário.
- Adição do arquivo csv do dicionário nilc.
Bruno
- Implementação das funções referentes a criação dos vetores de treinamento e treinamento dos algoritmos;
05 de Janeiro de 2008, sábado
Felipe
- Realizei o commit de todas as modificações feitas por mim em todos os CORES:
- Subi uma nova versão do VS_CORE (já migrado);
- Subi uma nova versão do diretório shared;
- Subi uma nova versão da USER_INTERFACE;
- Subi uma nova versão do arquivo ports.cfg;
- Subi uma nova versão do WNN_CNAE (já migrado)
- Subi uma nova versão do WNN_COR_CNAE (já migrado)
- Subi uma nova versão do arquvo test_cores.bat.
04 de Janeiro de 2008, sexta-feira
Felipe
- Migrando o CORE WNN_COR_CNAE;
- Adição da função allocate_result_vec ao módulo class_cnae_user_functions.c;
- Criação da arquivos .bat na USER_INTERFACE para testar o WNN_COR_CNAE migrado;
- Realização de experimentos, com o VS_CORE, no nível subclasse (treina com tabela CNAE 1.0):
- Testando com a tabela CNAE => taxa de acerto de 99.83%
- Testando com os dados de Vitória => taxa de acerto de 61.32%
- Testando com a segunda metade dos dados de Vitória => taxa de acerto de 64.47%
- Mudança do nome do executável, no WNN_CNAE, de class_cnae para wnn;
- Mudança do nome do executável, no WNN_COR_CNAE, de class_cnae para wnn_cor;
- Modificação do script test_core.bat a fim de que o WNNC_COR possa ser testado;
- Modificação de dois arquivos .bat na USER_INTERFACE: train_and_save_110_wnn_short.bat e reload_and_test_110_wnn.bat, de tal forma que eles possam ser lidos pelo novo executável da USER_INTERFACE;
- Adição de dois arquivos .bat na USER_INTERFACE: train_and_save_110_vs_short.bat para train_and_save_110_vs_short.bat os quias serão utilizados pelo script test_cores.bat;
- Adição de dois arquivos .bat na USER_INTERFACE: train_and_save_110_wnn_cor_short.bat e reload_and_test_110_wnn_cor.bat, os quias serão utilizados pelo script test_cores.bat;
- Modificação do script test_core.bat a fim de que o WNN_COR possa ser testado;
- Subi uma nova versão do DB_CORE.
Fernando
- Terminei a implementação das TTV (falta só testar pela interface web, por linha de comando, ok);
- Mudei no DB_CORE de COMMON para DEFAULT;
- Subi para o SVN;
- Pesquisa de ferramentas úteis ao Projeto junto com o Alberto;
- Scripts de conversão do Dicionário do nilc para o SCAE (parcial, já gera o dicionario.csv dentro do diretorio nilc/dics com a coluna origem, a ser incluida no scae);
- Debugando criação de TTVs via interface web, mas estou com dificuldades pois mesmo com backtrace o erro é, ou no comando fopen, ou no comando malloc;
Bruno
- Terminei os ajustes nas funções que sugerem nomes de lexicons, tabelas e colunas;
- Teste final com a interface de criação do lexicon;
- Construção das funções referentes à interface de criação dos vetores de treinamento e teste;
- Teste com chamada rpc create_ttv_table. Apresentou problemas e estamos debugando o código para verificar os erros;
- Ajustes na interface de treinamento dos algoritmos;
03 de Janeiro de 2008, quinta-feira
Felipe
- Atribuição, no arquivo ports.cfg, da porta 8095 ao CORE WNN_COR;
- Alteração da função read_ports, localizada no módulo remotes_functions.c da USER_INTERFACE a fim de que a porta do WNN_COR possa ser lida;
- Alteração da função test_response, localizada no módulo remotes_functions.c da USER_INTERFACE a fim de que o teste para ver se o CORE está ON leve em consideração, também, o WNNC_COR;
- Realização de experimentos, com o VS_CORE, nos níveis divisão, grupo e classe (treina com tabela CNAE 1.0 e metade do dados de Vitória e testa com a outra metade):
- Divisão => taxa de acerto de 89.64%
- Grupo => taxa de acerto de 86.17%
- Classe => taxa de acerto de 82.57%
- Migrando o CORE WNN_CNAE;
- Adição da função allocate_result_vec ao módulo class_cnae_user_functions.c;
- A função Main do VS_CORE foi movida para o arquivo vector_spaces.c;
- Inclusão, no .bashrc, das linhas que exportam o home do diretório shared (será utilizado nos Makefiles do CORES);
- Criação da arquivos .bat na USER_INTERFACE para testar o WNN_CNAE migrado;
- Remoção do bug na função replace_training_info (DB_CORE);
- Remoção do bug na função replace_test_info (DB_CORE);
Renderson
- Edição do tópico Roteiro de verificação dos Serviços nas Máquinas do LCAD com algumas alterações mostrando a saida (exemplos) de alguns comandos que foram mostrados.
- Continuação do topico Replicação de um Nó do Cluster (HDs Diferentes) com simulação em um novo HD de 40GB para finalização de alguns passos do roteiro
- Bruno e eu procuramos em arquivos de logs e outros por mensagens de erro geradas pelo script de backup para poder exemplificar no topico Roteiro de verificação dos Serviços nas Máquinas do LCAD
Victor
- Continuação da correção das palavras do dicionário (término letra "M", letras "N" e "O").
Bruno
- Teste com a função create_lexicon_rpc. Foi encontrado um erro na função do db_core;
- "Debugando" a função para encontrar o erro;
- Ajustes nas funções de sugestão de nomes de lexicon, tabelas e colunas;
Fernando
- Retirada de bug na create_lexicon/register_lexicon;
- Continuação da implementação das funções relativas aos TTV;
02 de Janeiro de 2008, quarta-feira
Felipe
- Implementação da função get_training_lit na USER_INTERRFACE;
- Implementação da função get_test_lit na USER_INTERRFACE;
- Realização de testes, via linha de comando, com arquivos .bat que solicitavam a lista de treinamento e teste.
Renderson
- Edicao do topico Replicação de um Nó do Cluster (HDs Diferentes) - EM ANDAMENTO
- Edicao do topico Roteiro de verificação dos Serviços nas Máquinas do LCAD - EM ANDAMENTO
Fernando
- Verificação do procedimento de verificação do LCAD, alterações solicitadas ao Renderson;
- Alteração do topico como funciona o backup, para incluir o monthly;
- Implementação das TTVs e funções auxiliares (ainda não concluído);
Bruno
- Acerto nas funções que sugerem possíveis nomes de lexicons, tabelas e colunas;
- Construção da função create_lexicon_rpc;
- Testes com a interface de criação de lexicons (ainda em andamento);
26 de dezembro de 2007, quarta-feira
Renderson
- Bancada que fica ao lado do outro laboratório e bancada de manutenção estavam sem energia. Rearmei os disjuntores do corredor e tudo voltou ao normal
- Havia apenas 23 maquinas "vivas" no cluster, levantei mais 9 ficando 32 máquinas no total.
- Editei o topico Replicação de um Nó do Cluster (HDs Identicos) para diferenciar do novo topico criado Replicação de um Nó do Cluster (HDs Diferentes)
- Criação do novo topico Replicação de um Nó do Cluster (HDs Diferentes) em Manutenção > Cluster Enterprise. (andamento)
21 de dezembro de 2007, sexta-feira
Victor
- Continuação da correção das palavras do dicionário (letras "L" e "M")
Rickson
- Correção das palavras do dicionário da letra G à I.
Bruno
- Testes com a função get_lexicon_info;
- Dificuldades no retorno do xml do php para o javascript(em andamento);
Felipe
- Implementação da função get_train_list e get_test_list na USER_INTERFACE.
- Implementação da comparação hierárquica no VS_CORE.
- Realização de testes com o VSC_CORE no nível de subclasse (80.50%) e seção (92.44%). Treinou-se com a tabela CNAE e com a primeira metade da tabela DADOS_VITORIA_SUB_100 e o teste foi realizado com a segunda metade desta tabela.
Fernando
- Encontrei a LCAD2 desligada, religuei e testei;
- Apresentação do LCAD para a escola de segundo grau visitante;
- Verificação do ar split, encontra-se com problemas, não gela e está pingando para dentro;
- Início da implementação dos TTV no DB_CORE;
- Planejamento das atividades para colocar o SCAE em uma única versão e já com a biblioteca de RPCs implementada;
- Acompanhei o Felipe na comparação hierárquica do VS_CORE e testes nos níveis de subclasse e seção.
20 de dezembro de 2007, quinta-feira
Felipe
- Salvando informações do teste no arquivo KNOWN_TESTS_saved.csv, testei linha de comando.
- Implementação da função add_test_info_rpc.
- Remoção do função die_if_fault em algumas funções do DB_CORE, da biblioteca SHARED e da USER_INTERFACE.
- Implementação da função get_training_lit.
- Implementação da função get_test_lit.
- Realização de teste com conjunto: USER_INTERFACE + DB_CORE + VS_CORE;
Renderson
- Clonagem de mais um HD de 40Gb para as TPOLs.
- Recuperacao do HD de 160Gb da LCAD4 (Veja detalhes em Historico de Manutencao das LCAD)
Fernando
- Implementação da get_encodable_column_list_rpc;
- Implementação de funções auxiliares como group_array_in_one_string, e ungroup_string_to_array;
- Correção na get_column_by_name que não funcionava para a última coluna;
- Implementação da função get_lexicon_info_rpc e funções auxiliares.
Bruno
- Testes com a framework CSS;
- Testes com a chamada rpc get_lexicon_info;
- Ajuses no código em função dos testes acima;
19 de dezembro de 2007, quarta-feira
Felipe
- Inclusão de subtype no known_trainings.csv;
- Inclusão de subtype no known_tests.csv;
- Salvando informações do treinamento no arquivo KNOWN_TRAININGS_saved.csv, testei linha de comando;
- Salvando informações do teste no arquivo KNOWN_TESTS_saved.csv, testei linha de comando;
- Implementação da função add_training_info_rpc;
Renderson
- Finalizacao do redimencionamento do HD de 40GB para a TPOL19
hda5 - / - 7GB hda1 - /boot - 102MB hda7 - /tmp - 30GB
- Reativacao das TPOLs 11 , 17 e 22 que estavam fora do ar, perfazendo um total de 32 maquinas online no cluster
Fernando
- Inclusão de subtype no known_tables.csv;
- Implementação da get_table_list_by_type_rpc capaz de retornar a lista de tabela CNAE, DADOS e LEXICONS; falta implementar lista de TTV;
- Salvando informações do lexicon no arquivo KNOWN_LEXICONS_saved.csv, testei linha de comando e interface web;
Bruno
- Teste com a chamada rpc get_table_list_by_type para o db_server;
- Correções no código devido ao teste realizado anteriormente;
- Testes com uma framework CSS para agregar ao site;
18 de dezembro de 2007, terça-feira
Felipe
- Realização de testes a fim de debugar o VS_CORE, a USER_INTERFACE e a biblioteca corerpcs.
- Alteraçào da save_rpc na biblioteca corerpcs.
- Alteraçào da train_rpc na biblioteca corerpcs.
- Alteraçào do loop principal da USER_INTERFACE.
- Trabalho com o SCAE é retomado.
Renderson
- Verificação do ar split: o disjuntor (30A) que havia desarmado;
- Redimencionamento do HD de 40GB para substituir os defeituosos das TPOLs (20 Gb) com o /tmp ocupando todo o restante do disco. (30 gb)
Fernando
- Verificação do ar split: o disjuntor (30A) que havia desarmado;
- Edição do tópico Ar Condicionado, acrescentando explicação do quadro de disjuntores;
- Verificação de treinamento e teste da revisão 91 do VS, treinei com subclasse e primeira metade dos dados de vitória, testei com a segunda metade e aparentemente funcionou, apesar do resultado de 51,68%;
- Incluido subtype no known_tables.csv para facilitar o carregamento e distinção das tabelas quando informando a lista de tabelas;
- Implementando get_table_list_by_type_rpc no db_core, ainda não terminado;
Bruno
- Construção das funções para sugestão de nome de tabelas e colunas na interface de criação do lexicon;
- Construção de uma fila para as requisições em AJAX;
17 de dezembro de 2007, segunda-feira
Felipe
- Criei a biblioteca "corerpcs", a qual será linkada com os CORES classificadores. Esta biblioteca se encontra no diretório shared, mais especificamente no subdiretório lib/.uma
- O trabalho com o SCAE é retomado.
Renderson
- Edicao do topico Ar Condicionado referente ao problema ocorrido
- Reativacao de 32 maquinas do cluster (desligadas devido a falta de energia durante a noite).
- Redimensionamento do HD de 40gb para substituir o de 20gb das Tpols para o novo tamanho (20 => 40) area maior para o /tmp
15 de dezembro de 2007, sábado
Felipe
- Participação no Seminário SCAE.
Fernando
- Participação no Seminário SCAE.
14 de dezembro de 2007, sexta-feira
Felipe
- Participação no Seminário SCAE.
- Ajudei o Fernando a debugar o DB_CORE.
- Realização de testes com o WNN_COR_CNAE a fim de medir a taxa de acerto nos níveis: seção, divisão, grupo, classe e subclasse.
Bruno
- Modularização das funções em JavaScript referentes à interface de criação do lexicon;
Renderson
- DD do HD da TOPL19 para o novo HD (40GB)
- Intalacao da Impressora Dell Laser Collor 3115 na lcad14
- Impressao da agenda do 3º Metting do projeto SCAE
- Manutencao na LCAD11 (desligada devido a um provavel pique de energia durante a noite) ajuste no Setup
- Reativacao de 32 maquinas do cluster (desligadas devido ao desligamento* do ar condicionado durante a noite) nao foi possivel verificar se foi um problema no ar ou um possivel pique de energia.
- Estudo da ferramenta NAGIOS para administração e monitoramento dos servicos de rede no LCAD
Fernando
- Adequação das versões dos cores no note dell para demonstração no Seminário SCAE;
- Ajustes finais da apresentação;
- Correção no IP do ports.cfg que foi alterado por engano;
- Apresentação e participação no Seminário SCAE.
13 de dezembro de 2007, quinta-feira
Felipe
- Eu e o Alberto alteramos o DB_CORE para que a tabela CNAE_110_SUBCLASSE pudesse ser salva em um outro formato.
- Eu e o Alberto programamos na wnn_cnae e no wnn_cor_cnae a fim de adicionar a funcionalidade de comparação em vários níveis da tabela CNAE (seção, divisão, grupo, classe e subclasse).
- Gerei um nova versão do código que converte a saída do Boostexter para um arquivo interpretável pelos scripts em matlab.
- Eu e a Claudine verificamos a possibilidade de a MAE ter sido prejudicada na métrica Coverage por deficiência do script feito em matlab.
- Programação com o WNN_CNAE é retomada.
- Conversei com a Claudine sobre os resultados preliminares do Adtree.
- Programação com o WNN_CNAE é retomada.
- Eu e Panmella fizemos um levantamento dos equipamentos do Projeto.
- Ajudei o Patrick a instalar o Matlab na lcad11.
- Ajudei o Fernando na função de criação dos vetores de treino e teste (no DB_CORE).
- Comecei a trabalhar com o WNN_CNAE para permitir a realização da comparação com seção, divisão, grupo, classe e subclasse.
- Executei o algoritmo classificar Adtree mais uma vez com a base de dados CNAE.
Renderson
- Atualização da lista de material para o LCAD - Planilha compartilhada no GoogleDocs
- Recuperacao da TPOL19 que estava parada.
- Analise para a clonagem dos HDs das antigas TPOLs (20gb) para os novos HDs de reposição (40GB) para redimencionamento da particao hda5 (/tmp)
- Maquina que sera enviada para o RIo foi separada e numeros de comodato enviado ao email do Fernando (CPU - 2838, Teclado - 2888, Monitor - 2878)
Bruno
- Adição do AJAX na interface de criação do lexicon (finalizado);
Fernando
- Alterações na interface web para funcionamento com o db_core (criação dos TST, treinamento e teste).
- Alterações no db_core para funcionamento da interface web (criação dos TST, treinamento e teste).
- Instalação do novo w3c-libwww e xmlrpc no note dell. Insucesso, fez tanta atualização que estragou o KDE. Acredito que tenha marcado o repositório development por engano e isto estragou tudo.
- Reinstalação do Fedora 8 no note dell, atualização do mesmo e instalação da nova xmlrpc.
- Preparei a apresentação para o Encontro SCAE de sexta.
- Tentativa de colocar o SCAE no note dell para demonstração, mas algo estava impedindo a interface de funcionar (saímos do LCAD 23:50).
12 de dezembro de 2007, quarta-feira
Felipe
- Eu e o Elias conversamos sobre os resultados dos algortimos e discutimos sobre o que poderia ser apresentado no artigo;
- Assumi os treinos e testes com com Adtree para as bases do Yahoo e CNAE;
- Eu e a Claudine procuramos por possíveis erros nos arquivos de entrada e saída MAE e do Boostexter. Nada anormal foi encontrado;
- O trabalho com o SCAE é retomado;
- Auxiliei o Lucas na execução do Adtree;
- Auxiliei o Patrick na execução do Rank-svm;
- Eu e a Claudine conversamos sobre os resultados do Boostexter, os quais foram superiores ao da MAE;
- O trabalho com o SCAE é retomado, mais precisamente com o VS_CORE e a USER_INTERFACE;
- Auxiliei o Rickson no que diz respesito ao svn, DB_CORE e USER_INTERFACE;
- Execução do algoritmo Boostexter a pedido da Claudine;
- Manutenção do ar-condicionado;
Bruno
- Adição do AJAX na interface de criação do lexicon (não finalizado);
Fernando
- Implementei a seguinte funcionalidade: quando um arquivo binário não é encontrado, seu csv é carregado e o binário é gerado, o que faz funcionar a interface web 2_2_2.
- Criei a funcionalidade de utilização do known_tables.csv (várias alterações no db_core) e corrigi os scripts build_tables para funcionarem com as novas modificações.
- Ajudei o Lucas a instalar e linkar a biblioteca gtk+(1.2) para utilização de um programa para escrito do artigo;
- Auxiliei o Rickson na execução dos experimentos que a Claudine lhe pediu;
Renderson
- Pesquisa sobre serviços instalados (relevantes) nas maquinas do lcad
- Edicao do topico Roteiro de verificação dos Serviços nas Máquinas do LCAD no wiki
11 de dezembro de 2007, terça-feira
Fernando
- Acrescentei a funcionalidade de range ao lexicon e os scripts de treinamento de subclasse+primeira metade dos dados de Vitória e treinamento com o restante. Resultado de 75.69%! Adicionei o resultado no Wiki de resultados.
- Reunião com Alberto e Claudine sobre andamento do Projeto.
Rickson
- Executei para o WNN-COR os mesmos experimentos antes feitos para o WNN. Ambos se encontram em Resultados de Pesquisa.