O Blog

Artigos


Por David Kovar URSA

GIGO – Garbage In, Garbage Out.

  • Se seus dados brutos apresentarem falhas, haverá pouca esperança de uma análise significativa.
  • Se seus dados forem questionáveis, seus analistas serão forçados a gastar recursos não planejados rastreando e corrigindo ou contornando dados ruins
  • Se seus dados estiverem mal organizados, encontrar as informações necessárias para produzir os relatórios necessários torna-se um exercício de frustração
  • Se seus dados não estiverem normalizados – ou seja, no mesmo formato, unidades, modelos de referência geoespacial, etc -, recursos significativos serão necessários para normalizá-los antes que qualquer análise significativa possa ser realizada

Semelhante a projetos de ediscovery e investigações forenses digitais, investir tempo inicial para coletar, organizar, normalizar e validar seus dados economizará um tempo significativo mais tarde, ajudará o projeto a permanecer dentro do cronograma e produzirá resultados mais precisos.

Coleção

Esta é a etapa mais crítica. Se você não coletar os dados durante o exercício, provavelmente nunca os obterá. Você não pode fazer os voos novamente, você não pode mitigar o drone que agora está no rio, você não pode obter registros do fornecedor que limpou seus sistemas.

E coletar tudo. Você pode não precisar dele, mas se quiser mais tarde, é melhor tê-lo agora.

Pegue:

  • Registros CUAS
  • Dados da API CUAS, provavelmente preservados no sistema de bancos de dados de registro
  • Registros de UAV da estação de controle de solo e do UAV
  • Dados TSPI, tempo real e pós-voo
  • Registros de observadores de observadores com os pilotos, operadores CUAS e sala de comando
  • Registros do coletor – a equipe que faz a coleta deve criar uma trilha de auditoria de tudo o que está fazendo

Eu não posso enfatizar isso o suficiente. Se você não fizer mais nada, obtenha o máximo de dados possível o mais rápido possível e preserve-os em vários locais.

Organização

Todos nós passamos horas vasculhando pastas de arquivos, vários computadores, diferentes sistemas de arquivos compartilhados, tudo para encontrar as informações que sabemos que existem, mas não nos lembramos onde as colocamos. Você acabou de coletar tudo então dedique mais alguns minutos para aplicar alguma organização simples a ele.

  • Onde – onde você vai manter o conjunto mestre? Você sempre pode duplicá-los para fins de compartilhamento, trabalho ou arquivamento, mas precisa saber onde estão todos os dados originais e saber que eles não serão modificados. (Você pode adicionar a ele, mas não remova nada.) Algum tipo de armazenamento baseado em nuvem é provavelmente o melhor, mas as políticas da sua organização provavelmente determinarão isso para você.
  • Convenção de nomenclatura de arquivo – se você nomear todos os arquivos de uma forma padrão desde o início, será muito mais fácil encontrar o que você precisa posteriormente.
    • Quase sempre começo com nessa ordem. Se todos os arquivos de alguma forma acabarem mesclados, uma classificação simples coloca tudo em ordem cronológica
    • Para dados CUAS, você pode adicionar . Agora é fácil encontrar todos os arquivos associados a um determinado fornecedor e sensor
    • Se você souber a qual voo um arquivo está associado, inclua
    • Você vai acabar com algo como: 2021-01-21-URSA-radar-J203Uma simples pesquisa de arquivos localizará todos os arquivos do URSA, ou todos os arquivos associados ao voo J203, ou todos os arquivos de um determinado dia. Sem tags, sem índices, sem bancos de dados necessários.
  • Estrutura de pasta – Semelhante às convenções de nomenclatura de arquivo, configurar uma estrutura de pasta lógica (e possivelmente fornecer um diagrama de árvore para apresentá-la às pessoas) pode evitar muitos aborrecimentos

Todos nós realizamos alguma forma dessas etapas automaticamente como parte de nosso fluxo de trabalho normal, mas vale a pena pensar nisso com antecedência.

Validação

Valide seus dados, certifique-se de que estão completos e intactos. Você não pode detectar todos os problemas enquanto está no local, mas pode detectar e corrigir os erros mais significativos. As etapas mais fáceis são:

  • Os arquivos existem? Antes de iniciar o exercício, você deve saber o que espera coletar a cada dia. Faça uma lista de verificação para tudo e à medida que os dados forem chegando, marque-a. Se algo estiver faltando, se não existir em sua coleção, vá buscá-lo. Se estiver realmente faltando e não puder ser recuperado ou recriado, registrar isso portanto, um analista não passará horas procurando por ele meses depois.
  • Os arquivos estão intactos? A verificação mais fácil é abri-los (somente leitura ou de um sistema de arquivos somente leitura) com um aplicativo que deve ser capaz de lê-los. Pode ser um editor de texto simples para arquivos CSV ou Excel ou um banco de dados ou…. Registre o fato de que você fez isso e o resultado
  • Verificação de sanidade. Você provavelmente não pode fazer uma validação detalhada de que todos os dados estão presentes e sãos, mas você pode:
    • Verifique os carimbos de data / hora. Eles são de hoje?
    • Verifique o volume de dados. Há o suficiente para cobrir o período de tempo e a fonte de dados esperados?
    • Verifique o início e o fim do arquivo. Há algo corrompido ou cortado?

Você pode não conseguir corrigir imediatamente nenhum problema, mas documentá-los agora poupará muito esforço no futuro.

Exemplo

Para um próximo exercício, você pode proceder da seguinte forma:

  • Todos os arquivos ficarão em um Google Drive de acesso controlado, acessível apenas para a equipe de cobrança
  • A equipe de coleta copiará (não moverá) os arquivos para os locais apropriados, uma vez que o processo de coleta de dados tenha sido validado
  • Os fornecedores são obrigados a fornecer cópias de todos os logs do sistema CUAS antes de deixar o local. (Isso seria parte de um processo de desconexão diário.)
  • Para cada fornecedor, e a cada dia, crie um pen drive. Isso será usado para coletar os dados associados.
  • Crie um registro para rastrear cada pen drive. Cadê? Quem tocou por último? Alguém confirmou que o fornecedor o preencheu com os dados esperados? A equipe validou os dados – intactos, completos?
  • Quando o pen drive voltar
    • Copie (não mova) os arquivos para um local temporário
    • Trave o pen drive para evitar modificações e guarde-o em um local seguro
    • Valide os arquivos. Se houver algum problema, priorize resolvê-lo agora
    • Renomear conforme apropriado
    • Mova (não copie) os arquivos do local temporário para o local mestre
    • Atualize o log

Análise de Robótica de Sistemas Não Tripulados



Source

WeCreativez WhatsApp Support
Nossa equipe de suporte ao cliente está aqui para responder às suas perguntas. Pergunte-nos qualquer coisa!
Olá, como posso ajudar?