Programmēšana datu pārvaldībai un analīzei ar Python, R un SQL

• Python, R un SQL pamati datu pārvaldībai, 2 ECTS
STUDIJU KURSA MĒRĶIS:
Apgūt Python, R un SQL programmēšanas valodu tiem, kas vēlas kļūt par datu programmētājiem.

STUDIJU KURSA UZDEVUMI:
sniegt zināšanas par Python programmēšanu;
sniegt zināšanas par R programmēšanu;
sniegt zināšanas par SQL programmēšanu;
sniegt zināšanas par programmas datu apstrādi un datu avotu analīzi pēc tehniskās un loģiskās struktūras;
veidot datu konceptuālo modeli un fizisko modeli atbilstoši definētajām prasībām;
sniegt zināšanas par Python, R un SQL programmēšanu datu lietotņu izstrādei.

• Programmēšana datu pārvaldībai un analīzei, 2 ECTS
STUDIJU KURSA MĒRĶIS:
Apgūt datu programmētāja profesijas pamatus. Iemācīties veidot mākslīgā intelekta datu lietotnes un digitālus risinājumus biznesa datu pārvaldībai un automatizētai apstrādei.

STUDIJU KURSA UZDEVUMI:

sniegt zināšanas par datu lietotņu izveidi;
sniegt zināšanas par datu pārvaldības programmu algoritmiem;
sniegt zināšanas par dažādu tehnisko risinājumu izvēli biznesa datu pārvaldībai un automatizētai apstrādei;
sniegt zināšanas par datu konceptuālajiem modeļiem un fiziskiem modeļiem datu lietotnēm;
sniegt zināšanas par piegādes/nodevumu testēšanas un darbināšanas vidēs integrāciju datu risinājumiem.

Python, R un SQL pamati datu pārvaldībai
Darba vides sagatavošana. VSCode, Jupyter Notebooks, Google Colab, RStudio un PostgreSQL vides pielāgošana tālākai darbībai.
Python, R un SQL programmēšanas valodu pamati. Kodēšana ar MI atbalstu.
OOP pamati Python.
Programmas koda pārvaldības sistēmas – Git un GitHub.
Python un R bibliotēkas datu analītikai, vizualizācijai, modelēšanai un pārlasīšanai (piem., Pandas, Seaborn, Matplotlib, Plotly, dplyr, ggplot2, tidyvrse).
Datu konceptuālā modeļa un fiziskā modeļa izveide ar PostgreSQL un DuckDB.
Datu apstrāde un dažādu datu avotu analīze ar Python, R un SQL. Darbs ar dažāda formāta failiem, API un datubāzēm.
Programmas koda atkļūdošana, izmantojot MI atbalstu.

Programmēšana datu pārvaldībai un analīzei
Datu pārvaldības tehnisko risinājumu (piem., DBMS), datu krātuves un lielo datu platformas, datu straumēšanas risinājumi, ETL / Datu integrācijas rīki) analīze un izvēles kritēriji. Datu pārvaldības tehnisko risinājumu izstrāde. Programmu prasību validācija, detalizācija un prototipēšana.
Datu konceptuālo modeļu un fizisko modeļu izveide, izmantojot SQL, ne-SQL risinājumus, datu krātuves un lielo datu platformas.
Datu modelēšana: konceptuālais un fiziskais modelis (ER diagrammas, tabulu struktūra, atslēgas un relācijas).
Datu plūsmu pārvaldīšana ar ETL/ELT sistēmām, izmantojot Prefect. Datu ieguves, transformācijas, ielādes, optimizācijas un orķestrēšanas algoritmi. Projektējuma dekompozīcija.
Datu avotu integrācija ar DLT. Izstrādes uzdevumu darbplūsmu pārrakstīšanās, veicot uzdevumu prioritizēšanu un izmantojot uzdevumu pārvaldības platformas.
Datu straumēšanas un reāllaika piegādes testēšanas integrācijas risinājumi (Apache Kafka un Apache Flink).
Programmu uzturēšanas procesa nodrošināšana un lielo datu apjomu pārvadīšana ar Dask, DuckDB, Polars, Vaex, Modin.
Datu konceptuālo modeļu un fizisko modeļu izveide un pārvaldīšana ar Django ORM.
Datu pārvaldīšanas risinājumu testēšanas un piegādes darbināšanas vidēs integrācija ar REST API, izmantojot Django REST un Postman.
Mašīnmācīšanās un dziļās mašīnmācīšanās programmu algoritmu konstruēšana un aprakstīšana, izmantojot SkLearn, TensorFlow, Keras un Hugging Face, ņemot vērā programmas prasības un biznesa vajadzības.
Datu programmu saskarnes projektēšana, izmantojot Django, Streamlit un R Shiny, ņemot vērā programmas prasības.
Programmu prasību validācija, detalizācija un prototipēšana ar Streamlit un R Shiny. BI interaktīvo paneļu veidošana. Koda dokumentēšana atbilstoši vadlīnijām.
Piegādāto datu pārvaldības programmu savlaicīga un kvalitatīva integrācija testēšanas un produkcijas (darbināšanas) vidēs mākonī.
MLOps pamati. Modeļu un programmatūras piegādes integrācija, izmantojot MLflow un Hugging Face risinājumus.

Nepieciešams dators ar interneta pieslēgumu, pārlūks Mozilla Firefox, Google Chrome vai Microsoft Edge. Skandas vai mobilais tālrunis ar Android vai iOS operētājsistēmu un Mozilla Firefox vai Google Chrome pārlūku.
Datorā jāvar instalēt un darbināt šādas pakotnes: R un RStudio, Python, Anaconda, VS Code, Postgres, Docker.
Ļoti ieteicams otrs monitors vai otrs dators. Vēlams mikrofons.