Onde posso encontrar informações sobre como criar um ETL de analisador de arquivos CSV no TSCO? |
Existem dois tipos diferentes de analisadores de arquivos CSV que podem ser criados. Um analisador CSV importa dados em um formato colunar (para que cada linha de dados tenha várias colunas com métricas diferentes) e a outra em um formato vertical (cada linha de dados no arquivo de entrada é para uma única métrica). Aqui está a documentação do TSCO 11.3.01 referente aos dois ETLs do CSV Parser disponíveis:
Fora da documentação do produto TrueSight Capacity Optimization (TSCO), também há documentação que fornece exemplos e recomendações adicionais relacionados à importação de dados por meio de um analisador CSV. Por exemplo, este documento Hot Tip: Hot Tip - Integrating CSV files in BCO A TSCO Technical Support Knowledgebase também inclui informações úteis relacionadas à implementação do TSCO CSV Parser ETL - particularmente em relação a mensagens de erro comuns e problemas de importação de dados específicos da versão. Ao criar um analisador CSV pela primeira vez, algumas recomendações incluem: Mantenha as coisas simples no início. Depois de ter um arquivo simples de entrada de dados que processa corretamente em seu ambiente de teste, é muito mais fácil adicionar dados adicionais para importação do que tentar depurar um carregamento inicial de dados grande. Se você tiver problemas e procura ajuda do Suporte Técnico, tente ser realmente específico sobre o que está tentando realizar. Para um analisador de CSV, geralmente é melhor enviar um arquivo CSV de amostra que não esteja funcionando e a Configuração de Execução ETL que você possui atualmente Observe que, para o analisador de CSV, pode haver uma curva de aprendizado inicial acentuada, mas uma vez criada uma com êxito, outras serão muito mais fáceis. P: Um ETL Genérico CSV Parser pode importar dados do Business Driver (contagem de transações)? Sim, o analisador CSV pode importar dados do sistema (métricas como utilização da CPU, taxas de E / S e assim por diante) e dados do driver de negócios (métricas que representam drivers de negócios, como acessos a páginas da web, número de usuários logados etc.) ) Ao criar um analisador CSV para importar dados do Business Driver, por exemplo Usuários Logados, convém selecionar o conjunto de dados "WKLDAT - Dados da Carga de Trabalho". Então, quando você importar os dados, escolherá a BCO Metric certa para a importação. Para fazer isso, eu iria para Administração -> Data Warehouse -> Conjuntos de dados e, em seguida, procuraria uma boa métrica na tabela. Para o número que você está falando sobre "USERS_CURRENT" (descrito como 'Os usuários atualmente no sistema.') Pode ser bom para usar. Depois de importar o número de usuários logados no sistema para o TSCO, o que você está falando sobre a criação é uma Análise de Carga de Desempenho (PLA). É aí que a TSCO plota a utilização de um recurso (CPU, E / S, memória) em um Driver de Negócios (usuários neste caso). Você também pode usar esse PLA para fazer uma análise de correlação (para determinar o quão bem correlacionada a métrica de desempenho está com o número medido de usuários no sistema. Ao importar dados do sistema e do driver de negócios, é necessário criar dois ETLs do CSV Parser separados - um para inserir os dados do sistema e outro para inserir os dados dos drivers de negócios. Na seção Conjuntos de dados suportados da documentação, "Este ETL suporta conjuntos de dados verticais: SYSDAT, WKLDAT. Observe que apenas um conjunto de dados por vez é suportado.". Portanto, você deseja separar seus dados de entrada em dois arquivos de entrada CSV separados, discriminados por tipo de dados, e depois inserir os dados do sistema por meio de um ETL do CSV Parser e os dados do driver de negócios por um segundo ETL do analisador de CSV. P: Um único ETL TSCO Generic CSV Parser pode importar várias métricas de sistema diferentes por meio de um único arquivo de entrada CSV? Sim. Na integração do BMC Capacity Optimization à página de ajuda on-line do analisador de arquivos CSV, na seção "Formato de arquivo de entrada para métricas do sistema" na parte inferior, consulte o primeiro arquivo de entrada de amostra. Esse arquivo de entrada traz as métricas CPU_UTIL, NET_IN_BYTE_RATE e BYIF_IN_BYTE_RATE para o BCO por meio de um único ETL. O TSCO pode importar quantas métricas diferentes do sistema você deseja, por meio de um único arquivo de entrada CSV, e separadamente, você pode ter quantas métricas diferentes de driver de negócios, como deseja importar, por meio de um único arquivo de entrada CSV. Mas eles precisam ser arquivos separados importados por dois ETLs do CSV Parser. P: Quais são os separadores de campo padrão a serem usados no ETL do analisador CSV? Os separadores de campo mais comuns são a vírgula (,) e o ponto e vírgula (;), mas outros separadores de campo são suportados e qualquer separador de campo pode ser especificado através do parâmetro ETL Run Configuration 'CSV Separator'. P: O caractere de barra vertical (|) pode ser usado como um separador de campos? O símbolo de tubulação pode ser usado como um separador de campos, mas o símbolo de tubulação é um caractere reservado, portanto (a) não será detectado automaticamente como um separador de campos e (b) Se você quiser especificá-lo como um separador de campos, precisará escape na caixa de edição 'Separador CSV: especificado'. Então, você especificaria isso como o 'CSV Separator': \ (barra invertida, tubo) Observe que geralmente o separador de campo será um único caractere e não deve ter espaços ao seu redor. Se houver espaços ao redor do separador de campos (por exemplo, "a | b | c | d"), eles deverão ser incluídos como parte do separador de campos especificado (ou removido do arquivo de entrada). Portanto, nesse caso, o que você especificaria como separador de campos é (entre aspas duplas): "\ |" (espaço, barra invertida, tubo, espaço) Etapas de amostra para criar um modelo Open ETL (1) Em Administração -> ETL e tarefas do sistema -> Tarefas de ETL -> selecione Adicionar -> Adicionar / editar Abrir modelo de ETL. (2) Na tela Adicionar / editar modelo de ETL aberto, selecione "Criar um novo modelo de ETL aberto". Clique em Next (3) 'Selecionar tipo de fonte de dados' do arquivo 'Comma Separated Value (CSV)'. Selecione os dados 'Métricas de desempenho ou configuração para um conjunto de sistemas (qualquer tipo)'. Clique em Avançar. (4) No 'Selecionar tipo de entidade dos seus dados importados', não selecione nada. Apenas deixe essa lista em branco para que os dados possam ser aplicados a qualquer tipo de entidade. Clique em Avançar. (5) Para o 'Selecionar arquivo CSV a ser carregado', clique no botão 'Procurar' e selecione seu arquivo de entrada. Clique em Avançar. (6) A tela 'Mapear coluna importada para a coluna do conjunto de dados esperado' informará quais campos precisam ser definidos no seu arquivo CSV de entrada e permitirá mapear os campos para as métricas TSCO desejadas. Dois campos que são necessários, mesmo ao importar dados de configuração, são: * TS - A coluna de registro de data e hora que define o início do intervalo em que esses dados são aplicáveis à máquina de destino * DURATION - Uma coluna de duração que define a duração que esses dados são aplicáveis à máquina de destino. O campo TS deve ser definido como um valor de carimbo de data / hora. Você pode configurá-lo para o início do mês ou o início do dia, ou o que for. O valor DURATION pode ser deixado em branco para importação de dados de configuração, se você desejar que essa métrica de configuração seja sempre válida. Se, no futuro, você importasse um valor diferente para a máquina (por exemplo, o hardware fosse alterado), a métrica de configuração atual receberia uma data final e a nova métrica de configuração se tornaria atual para a máquina. Mapeie os campos conforme necessário e clique em Avançar. (7) Atribua um nome e uma descrição ao modelo Open ETL. Clique em Finish. (8) De volta ao menu Tarefas ETL, clique em Adicionar -> Adicionar ETL. (9) Na configuração de execução do ETL: Selecione "Genérico - analisador de arquivo colunar CSV" como o "Módulo ETL" Selecione "Baseado em um modelo de ETL aberto" na seleção de módulo. No campo 'Selecionar modelo de ETL aberto', selecione o modelo de ETL que você acabou de criar. Em Catálogo de entidades, selecione 'Catálogo de entidades compartilhadas'. No campo 'Compartilhando com o catálogo de entidades', selecione o catálogo de entidades no qual são definidas as máquinas que esse ETL deve aumentar com métricas adicionais. Em 'Relacionamentos de objetos', selecione "deixe todas as novas entidades em 'Recém-descobertas'" (como esse ETL não está definindo relacionamentos, apenas aprimora as entidades existentes com uma nova métrica. Em Local do arquivo, especifique o local do seu arquivo de entrada. Clique no botão 'Avançado' e, na seção 'Configuração do carregador', defina "Ignorar criação de entidade" como 'true' se você quiser que esse ETL inclua essa métrica de configuração em entidades que já existem (você não deseja que ele crie um nova entidade que carrega apenas essa métrica) (10) Salve a configuração atualizada do ETL. Agora você pode executar o ETL e ele deve importar essa nova métrica (quando a opção Executar configuração 'Executar no modo de simulação' estiver definida como 'não'). Uma coisa que você precisa pensar ao criar esse ETL é como mapeará essa métrica para uma entidade existente no catálogo de entidades. Quando você apenas usa o nome do host como o valor 'DS_SYSNM', está fazendo o que é chamado de pesquisa 'única', onde o ETL procurará uma entidade existente que tenha uma pesquisa PADRÃO que corresponda ao nome do host ou um valor _COMPATIBILTY_lookup que corresponda ao nome do host. Isso funcionará frequentemente da maneira que você deseja - mas você pode ter uma situação em que várias entidades no catálogo de entidades corresponderão ao nome do host em uma pesquisa e o ETL não saberá o que fazer. Quando criamos um ETL, geralmente definimos uma "pesquisa múltipla" que fornece uma maneira melhor de mapear para entidades existentes no ambiente - mas é mais complexo definir uma pesquisa múltipla. Portanto, você pode começar com uma única pesquisa e ver como vai - mas lembre-se de que isso pode levar a problemas nos quais o ETL não é capaz de descobrir para o que mapear (e se você definir a opção "Ignorar criação de entidade "significa que a métrica não é importada. Aqui está um KA que apresenta tabelas sobre a configuração de um desses ETLs genéricos para analisar o CSV de maneira mais geral (em relação à importação de dados do driver de negócios); 000137040: No TSCO, qual é a melhor maneira de importar dados do Business Driver? Relatórios BIRT personalizados O KA a seguir possui os links para os Guias de instruções do BCO: Como criar relatórios personalizados no BCO, que é um documento de alta qualidade relacionado à criação de modelos de relatórios BIRT personalizados Ao criar primeiro os relatórios do BIRT, algumas recomendações são: 000029447: Where can I find documentation related to the creation of custom ETLs and BIRT Advanced Report templates in the TSCO Integration Studio? Verifique se você não pode realizar o que deseja usando o relatório criado a partir de uma Análise TSCO. É muito mais fácil criar um relatório a partir de uma análise - mas a facilidade de criação limita sua flexibilidade. Verifique se não há um modelo de relatório TSCO BIRT pronto para uso que possa realizar o que você deseja fazer com seu modelo personalizado (ou um que esteja próximo do desejado). Você pode usar esse modelo pronto para uso do TSCO como base para o seu modelo personalizado (você o baixa do console TSCO e pode carregá-lo no TSCO Integration Studio). Se você estiver incorporando SQL personalizado em um relatório BIRT, verifique se a funcionalidade não pode ser melhor implementada usando as Exibições do TSCO DataMart. Essa é uma maneira de criar visualizações materializadas que podem ser referenciadas por um relatório BIRT como a fonte de dados Se você precisar contratar o Suporte técnico, é sempre melhor ser muito específico sobre o que você está tentando realizar e até onde você chegou (em que pontos você está preso). Uma captura de tela ou exemplo do que você está tentando exibir no TSCO é uma boa maneira de fornecer ao Suporte Técnico uma boa idéia do que você está tentando fazer |