Informações técnicas a respeito dos dados de Treinamento do SCAEWEB 2

Introdução

Esta página visa explicar como foi preparada a base de dados de treinamento dos classificadores automáticos do SCAEWEB. Conforme especificado no terceiro relato do Projeto SCAE, para preparar uma base de treinamento são necessários seguir os seguintes passos exibidos na Figua 1:

1. Carregar dicionário previamente preparado
2. Carregar Tabela CNAE
3. Carregar Tabela de Dados
4. Carregar Tabela de Vetores de Código de Palavra
5. Criar Lexicon
6. Criar Tabelas TTV
7. Salvar Tabelas

Figura 1: Processo de criação de tabelas do SCAE

Dicionário previamente preparado

Na versão atual do SCAEWeb foi utilizado o DICIONÁRIO_COMPLETO_CORRIGIDO. Este dicionário possui ao todo 1.212.255 (um milhão, duzentos e doze mil, duzentos e cinqüenta e cinco) palavras. Ele foi criado, conforme especificado no terceiro relato do Projeto SCAE.

Tabela CNAE

Na versão atual está sendo utilizada a tabela CNAE_110_SUBCLASSE_CORRIGIDO. Esta tabela foi criada, conforme especificado no terceiro relato do Projeto SCAE.

Tabela de Dados

Na versão atual do SCAEWeb foi utilizada a tabela DADOS_VITORIA_SUB_110_CORRIGIDO. Esta tabela é formada a partir da correção ortográfica manual das descrições dos objetos sociais de 3281 empresas. Maiores detalhes a respeito do processo de formação desta tabela pode ser consultado no terceiro relato do Projeto SCAE.

Subconjunto das Subclasses Treinadas

Do total de 3281, foram encontradas 764 subclasses, listadas aqui.

Tabela de Vetores de Código de Palavras

Na versão atual do SCAEWeb os vetores de código de palavras foram criados a partir das descrições das subclasses da Tabela CNAE e a partir dos Objetos Sociais da Tabela de Dados..

Lexicon

Na versão atual o LEXICON foi criado a partir das Tabelas de Vetores de Códigos de Palavras, eliminando as {{{eliminated_grammar_class_description}}} além de eliminar as palavras cuja freqüência no texto é superior a 20.000.

Tabelas TTV

Na versão atual foram criadas 4 tabelas TTV, a partir do Lexicon, apresentadas a seguir:

1. TTV_C1S_DESC_TF - Gerado a partir das descrições das subclasses existentes na Tabela CNAE, utilizando a função TF para o cálculo dos pesos dos termos.
2. TTV_DVS1_OBJS_TF - Gerado a partir das descrições das descrições dos objetos sociais existentes na Tabela de Dados, utilizando a função TF para o cálculo dos pesos dos termos.
3. TTV_C1S_DESC_TFIDF - Gerado a partir das descrições das subclasses existentes na Tabela CNAE, utilizando a função TFIDF para o cálculo dos pesos dos termos.
4. TTV_DVS1_OBJS_TFIDF - Gerado a partir das descrições das descrições dos objetos sociais existentes na Tabela de Dados, utilizando a função TFIDF para o cálculo dos pesos dos termos