Como realizar experimentos de N-Fold Cross Validation

De LCAD
Revisão de 14h28min de 29 de janeiro de 2009 por Bzmelotti (discussão | contribs) (→‎Criando tabelas dos folds no DB_CORE)
Ir para: navegação, pesquisa

Para realizar os experimentos com N-fold Corss Validation no SCAE, siga os passos descritos a seguir.

Realizando experimentos de validação

Realizando experimentos de teste

Criando tabelas dos folds no DB_CORE

Todos os passos a seguir devem ser executados no diretório DB_CORE/:

  1. Compilar o DB_CORE
  2. Editar o arquivo parameters.cfg de acordo com o experimento de N-fold cross-validation que deseja executar;
  3. Executar o arquivo generate_build_file_of_folds.bat. Esse executável gera os arquivos de build para cada fold;
  4. Executar o arquivo build_folds_table.bat. Esse arquivo constrói as TTVs.

Gerando os arquivos de treino e teste dos folds

Todos os passos a seguir devem ser executados no diretório test/USER_INTERFACE/:

Submitendo os experimentos de fold no cluster

Todos os passos a seguir devem ser executados no diretório do CORE DESEJADO:

  1. Editar o arquivo parameters.cfg de acordo com o experimento de N-fold cross-validation que deseja executar;
  2. Executar o arquivo cp_conf_dir.bat. Esse executável replica o diretório padrão de acordo com a nome da base e os parâmetros do CORE;
  3. Executar o arquivo run_folds.bat. Esse executável submete cada o experimento de n-fold cross-validation no cluster.
  4. Após os experimentos finalizarem, execute o arquivo get_results.bat para coletar os resultados. Esse executável gera um arquivo .csv, onde cada linha representa o fold e as colunas as métricas utilizadas no SCAE.

Caso deseje deletar os diretórios criados pelo experimento, execute o arquivo rm_dir.bat.

Disponível em "http://www.lcad.inf.ufes.br/wiki/index.php?title=Como_realizar_experimentos_de_N-Fold_Cross_Validation&oldid=5638"