Mudanças entre as edições de "Como realizar experimentos de N-Fold Cross Validation"
| Linha 1: | Linha 1: | ||
| − | + | O objetivo deste procedimento é listar os passos necessários para a realização de experimentos de n-fold cross-validation utilizando o cluster. Não é objetivo ensinar a utilizar o SCAE. | |
| − | + | O procedimento foi elaborado partindo do princípio que o autor dos experimentos disponha de conhecimentos técnicos do SCAE. Caso tenha alguma dúvida de como funciona o SCAE consulte []. | |
| − | + | As seções a seguir apresentam os passos necessários para realizar experimentos de validação e teste para o n-fold cross-validation. | |
| − | ===Criando tabelas dos folds no DB_CORE=== | + | ==Validação== |
| + | O experimento de validação é realizado em apenas um fold para "tunar" os categorizadores de com acordo com os seus respectivos parâmetros. Para realizar os experimentos com n-fold cross-validation no SCAE, siga os passos descritos a seguir. | ||
| + | |||
| + | ====Criando tabelas dos folds no DB_CORE==== | ||
| + | ---- | ||
| + | Todos os passos a seguir devem ser executados no diretório '''DB_CORE/''': | ||
| + | |||
| + | # Compilar o DB_CORE | ||
| + | # Editar o arquivo ''parameters.cfg'' de acordo com o experimento de N-fold cross-validation que deseja executar; | ||
| + | # Executar o arquivo ''generate_build_file_of_folds.bat''. Esse executável gera os arquivos de build para cada fold; | ||
| + | # Executar o arquivo ''build_folds_table.bat''. Esse arquivo constrói as TTVs. | ||
| + | |||
| + | ===Gerando os arquivos de treino e teste dos folds=== | ||
| + | ---- | ||
| + | Todos os passos a seguir devem ser executados no diretório '''test/USER_INTERFACE/''': | ||
| + | |||
| + | ===Submitendo os experimentos de fold no cluster=== | ||
| + | ---- | ||
| + | Todos os passos a seguir devem ser executados no diretório do '''CORE DESEJADO''': | ||
| + | # Editar o arquivo ''parameters.cfg'' de acordo com o experimento de N-fold cross-validation que deseja executar; | ||
| + | # Executar o arquivo ''cp_conf_dir.bat''. Esse executável replica o diretório padrão de acordo com a nome da base e os parâmetros do CORE; | ||
| + | # Executar o arquivo ''run_folds.bat''. Esse executável submete cada o experimento de n-fold cross-validation no cluster. | ||
| + | # Após os experimentos finalizarem, execute o arquivo ''get_results.bat'' para coletar os resultados. Esse executável gera um arquivo .csv, onde cada linha representa o fold e as colunas as métricas utilizadas no SCAE. | ||
| + | |||
| + | Caso deseje deletar os diretórios criados pelo experimento, execute o arquivo ''rm_dir.bat''. | ||
| + | |||
| + | ==Teste== | ||
| + | |||
| + | ====Criando tabelas dos folds no DB_CORE==== | ||
---- | ---- | ||
Todos os passos a seguir devem ser executados no diretório '''DB_CORE/''': | Todos os passos a seguir devem ser executados no diretório '''DB_CORE/''': | ||
Edição das 07h47min de 30 de janeiro de 2009
O objetivo deste procedimento é listar os passos necessários para a realização de experimentos de n-fold cross-validation utilizando o cluster. Não é objetivo ensinar a utilizar o SCAE.
O procedimento foi elaborado partindo do princípio que o autor dos experimentos disponha de conhecimentos técnicos do SCAE. Caso tenha alguma dúvida de como funciona o SCAE consulte [].
As seções a seguir apresentam os passos necessários para realizar experimentos de validação e teste para o n-fold cross-validation.
Índice
Validação
O experimento de validação é realizado em apenas um fold para "tunar" os categorizadores de com acordo com os seus respectivos parâmetros. Para realizar os experimentos com n-fold cross-validation no SCAE, siga os passos descritos a seguir.
Criando tabelas dos folds no DB_CORE
Todos os passos a seguir devem ser executados no diretório DB_CORE/:
- Compilar o DB_CORE
- Editar o arquivo parameters.cfg de acordo com o experimento de N-fold cross-validation que deseja executar;
- Executar o arquivo generate_build_file_of_folds.bat. Esse executável gera os arquivos de build para cada fold;
- Executar o arquivo build_folds_table.bat. Esse arquivo constrói as TTVs.
Gerando os arquivos de treino e teste dos folds
Todos os passos a seguir devem ser executados no diretório test/USER_INTERFACE/:
Submitendo os experimentos de fold no cluster
Todos os passos a seguir devem ser executados no diretório do CORE DESEJADO:
- Editar o arquivo parameters.cfg de acordo com o experimento de N-fold cross-validation que deseja executar;
- Executar o arquivo cp_conf_dir.bat. Esse executável replica o diretório padrão de acordo com a nome da base e os parâmetros do CORE;
- Executar o arquivo run_folds.bat. Esse executável submete cada o experimento de n-fold cross-validation no cluster.
- Após os experimentos finalizarem, execute o arquivo get_results.bat para coletar os resultados. Esse executável gera um arquivo .csv, onde cada linha representa o fold e as colunas as métricas utilizadas no SCAE.
Caso deseje deletar os diretórios criados pelo experimento, execute o arquivo rm_dir.bat.
Teste
Criando tabelas dos folds no DB_CORE
Todos os passos a seguir devem ser executados no diretório DB_CORE/:
- Compilar o DB_CORE
- Editar o arquivo parameters.cfg de acordo com o experimento de N-fold cross-validation que deseja executar;
- Executar o arquivo generate_build_file_of_folds.bat. Esse executável gera os arquivos de build para cada fold;
- Executar o arquivo build_folds_table.bat. Esse arquivo constrói as TTVs.
Gerando os arquivos de treino e teste dos folds
Todos os passos a seguir devem ser executados no diretório test/USER_INTERFACE/:
- Editar o arquivo parameters.cfg de acordo com o experimento de N-fold cross-validation que deseja executar;
- Executar o arquivo generate_train_and_test_fold_files.bat. Esse executável gera os aquivos de treino e teste que serão utilizados pelo CORE desejado.
Submitendo os experimentos de fold no cluster
Todos os passos a seguir devem ser executados no diretório do CORE DESEJADO:
- Editar o arquivo parameters.cfg de acordo com o experimento de N-fold cross-validation que deseja executar;
- Executar o arquivo cp_conf_dir.bat. Esse executável replica o diretório padrão de acordo com a nome da base e os parâmetros do CORE;
- Executar o arquivo run_folds.bat. Esse executável submete cada o experimento de n-fold cross-validation no cluster.
- Após os experimentos finalizarem, execute o arquivo get_results.bat para coletar os resultados. Esse executável gera um arquivo .csv, onde cada linha representa o fold e as colunas as métricas utilizadas no SCAE.
Caso deseje deletar os diretórios criados pelo experimento, execute o arquivo rm_dir.bat.
