Retour

Data warehousing with BigQuery - storage design, Query optimization, and administration

Objectifs de la formation

- Décrire les principes de base de l'architecture BigQuery. - Implémenter des modèles de conception de stockage et de schéma pour améliorer les performances. - Utiliser DML et planifier des transferts de données pour ingérer des données. - Appliquer les meilleures pratiques pour améliorer l'efficacité de la lecture et optimiser les performances des requêtes. - Gérer la capacité et automatiser les charges de travail. - Comprendre les modèles par rapport aux anti-modèles pour optimiser les requêtes et améliorer les performances de lecture. - Utiliser des outils de journalisation et de surveillance pour comprendre et optimiser les modèles d'utilisation. - Appliquer les meilleures pratiques de sécurité pour gérer les données et les ressources. - Créer et déployer plusieurs catégories de modèles de machine learning avec BigQuery ML.

Contenu de la formation

- Principes de base de l'architecture BigQuery Introduction Infrastructure centrale BigQuery Stockage BigQuery Traitement des requêtes BigQuery Shuffling des données BigQuery - Optimisations de stockage et de schéma Stockage BigQuery Partitionnement et clustering Champs imbriqués et répétés Syntaxe ARRAY et STRUCT Les meilleures pratiques - Ingestion de données Options d'intégration de données Ingestion par lots Ingestion de diffusion en continu Legacy Streaming API BigQuery Storage Write API Matérialisation des requêtes Interroger des sources de données externes Service de transfert de données - Modification des données Gestion du changement dans les entrepôts de données Gestion des Slowly Changing Dimensions (SCD) Déclarations DML Bonnes pratiques DML et problèmes courants - Améliorer les performances de lecture Cache de BigQuery Vues matérialisées BI Engine Lectures à haut débit API de lecture de stockage BigQuery - Optimisation et dépannage des requêtes Exécution simple des requêtes SELECT et Agrégation JOIN et JOIN biaisés Filtrage et classement Meilleures pratiques pour les fonctions - Gestion de la charge de travail et tarification Emplacements BigQuery Modèles de tarification et estimations Réservations de créneaux Contrôle des coûts - Journalisation et surveillance Cloud Monitoring BigQuery Admin Panel Cloud Audit Logs INFORMATION_SCHEMA Chemin de requête et erreurs courantes - Security in BigQuery Ressources sécurisées avec IAM Vues autorisées Données sécurisées avec classification Chiffrement Découverte et gouvernance des données - Automatisation des charges de travail Planifier des requêtes Script Procédures stockées Intégration avec les produits Big Data - Apprentissage automatique dans BigQuery Présentation de BigQuery ML Comment faire des prédictions avec BigQuery ML Comment créer et déployer un système de recommandation avec BigQuery ML Comment créer et déployer une solution de prévision de la demande avec BigQuery ML Modèles de séries temporelles avec BigQuery ML BigQuery ML Explainability

Résultats de la formation

Attestation d'acquis ou de compétences;Attestation de suivi de présence

Conditions spécifiques d'accès à la formation

Pour suivre cette formation BigQuery il est recommande d avoir des connaissances prealables en Big Data et en machine learning. Vous pouvez les acquerir en suivant par exemple la formation Machine Learning : Etat de l art et bonnes pratiques (OMLE).

Métier formé

Administration de base de données

Niveau d'étude visé

Sans le Bac

Type d'immersion professionnelle

Formation initiale

Organisme de formation

PLB Consultant

Durée de la formation

1 mois

Modalités de formation

formation entièrement présentielle

Prochaine(s) session(s)

  • 10/02/2025 - 12/02/2025

Lieu de formation

3-5 Rue Maurice Ravel 92300 Levallois-Perret