Antes de se conectar com BigQuery
Será necessário obter o JSON de credenciais de uma service account do GCP que garanta acesso ao dataset desejado. Os roles "BigQuery User" sobre o dataset, "BigQuery Data Viewer" sobre as tabelas, e "BigQuery Job User" sobre o projeto são suficientes.
Configurações do provider
O provider recebe os seguintes campos de configuração:
Configuração | Significado |
Service account credentials JSON | JSON da Service Account que garante acesso a esse projeto |
Project ID | ID do projeto do GCP contendo o dataset |
Dataset ID | Dataset cujas tabelas e views deseja-se sincronizar |
Tabelas disponíveis
As tabelas disponíveis para sincronização serão as tabelas e views disponíveis no dataset do BigQuery configurado.
Configurações das tabelas
Para cada tabela a ser sincronizada, será necessário saber qual o nome da coluna contendo a informação de data, e como essa coluna está formatada. Se a coluna no BigQuery é do tipo DATE, DATETIME ou TIMESTAMP, é necessário selecionar a opção de formato sugerida pela plataforma:
Se a coluna é do tipo STRING, é necessário entender o formato dos dados de data nela e selecionar (ou escrever) o formato correto.
Limitações
Performance
Para grandes dados, alguma demora é esperada nas sincronizações. Todas as sincronizações (tanto a inicial, quanto as seguintes) deveriam demorar aproximadamente o mesmo tempo (não havendo mudanças significativas nos dados).
Timeout na criação da conexão
Criações de conexões com esse provider correm um risco de resultar em um timeout, que se apresenta como um erro na criação da conexão com uma mensagem indicando que ela ainda assim pode ser bem sucedida. Nesse caso, é necessário retornar à página de Data Sources e aguardar até 5 minutos e dar refresh antes de tentar criar a conexão novamente ou acionar o suporte.
Atraso para identificação de novas tabelas
Se uma nova tabela (ou view) é criada em um dataset com o qual existe uma conexão, essa nova tabela pode levar até 10 minutos para estar disponível para configuração.