speaker-photo

Michał Pilarski

Data QA and Testing Specialist
Data QA and Testing Specialist z ponad 10 letnim doświadczeniem. W trakcie swojej kariery Michał był zawsze związany z danymi przestrzennymi oraz przetwarzaniem GIS. Lubi znajdować i pokonywać wyzwania związane z testowaniem Big Data zawierających atrybuty geometryczne. Ma doświadczenie w przygotowywaniu strategii testowych dla systemów ETL, które odpowiadają za ekstrakcję, transformację i ładowanie dużych zbiorów danych przestrzennych. Jego stos technologiczny obejmuje Python, Pytest, ArcGIS, QGIS, FME, Robot Framework, Selenium, Playwright, HP ALM, QTest, ReportPortal, Snowflake, DBT, Airflow oraz Geopandas. Dodatkowo uczy młodych uczniów programowania w Pythonie w środowisku Minecraft.
Warsztat 5

Poniedziałek 5 października

Testowanie data pipelines w praktyce - warsztat dla QA

Testowanie data pipelines w praktyce - warsztat dla QA

W miarę jak organizacje coraz częściej przechodzą na projekty zorientowane na dane, związane z procesami ETL (Extract, Transform, Load) oraz hurtowniami danych (Data Warehouse), jakość i wiarygodność danych stały się równie istotne jak kod aplikacji. Ta ewolucja przyczyniła się do rosnącego zapotrzebowania na Data Testerów, którzy specjalizują się w weryfikowaniu transformacji oraz jakości danych. DBT (Data Build Tool), dzięki swojej bezproblemowej integracji z nowoczesnymi technologiami, takimi jak Snowflake, Databricks, Airflow, Dagster, Prefect, BigQuery, GitLab, GitHub, Tableau i Power BI, stał się de facto standardem w zakresie budowania, testowania i utrzymywania niezawodnych procesów analitycznych.
Podczas tego warsztatu poznasz najlepsze praktyki dotyczące testowania procesów ETL z wykorzystaniem DBT. Testowanie 'data pipelines' ma kluczowe znaczenie dla zapewnienia wiarygodności analiz oraz poprawności danych. W trakcie sesji dowiesz się, jak tworzyć i uruchamiać testy z wykorzystaniem SQL i YAML, aby weryfikować poprawność transformacji, integralność schematów oraz jakość danych w środowisku DBT. Niezależnie od tego, czy dopiero zaczynasz pracę z DBT, czy chcesz pogłębić swoje kompetencje w zakresie projektów zorientowanych na dane, ten warsztat dostarczy Ci praktycznych metod i wiedzy, które pozwolą podnieść jakość i skuteczność testowania procesów związanych z danymi.