Programmēšana datu pārvaldībai un analīzei ar Python, R un SQL

• Python, R un SQL pamati datu pārvaldībai, 2 ECTS
STUDIJU KURSA MĒRĶIS:
Apgūt Python, R un SQL programmēšanas valodu tiem, kas vēlas kļūt par datu programmētājiem.

STUDIJU KURSA UZDEVUMI:
sniegt zināšanas par Python programmēšanu;
sniegt zināšanas par R programmēšanu;
sniegt zināšanas par SQL programmēšanu;
sniegt zināšanas par programmas datu apstrādi un datu avotu analīzi pēc tehniskās un loģiskās struktūras;
veidot datu konceptuālo modeli un fizisko modeli atbilstoši definētajām prasībām;
sniegt zināšanas par Python, R un SQL programmēšanu datu lietotņu izstrādei.

• Programmēšana datu pārvaldībai un analīzei, 2 ECTS
STUDIJU KURSA MĒRĶIS:
Apgūt datu programmētāja profesijas pamatus. Iemācīties veidot mākslīgā intelekta datu lietotnes un digitālus risinājumus biznesa datu pārvaldībai un automatizētai apstrādei.

STUDIJU KURSA UZDEVUMI:
sniegt zināšanas par datu lietotņu izveidi;
sniegt zināšanas par datu pārvaldības programmu algoritmiem;
sniegt zināšanas par dažādu tehnisko risinājumu izvēli biznesa datu pārvaldībai un automatizētai apstrādei;
sniegt zināšanas par datu konceptuālajiem modeļiem un fiziskiem modeļiem datu lietotnēm;
sniegt zināšanas par piegādes/nodevumu testēšanas un darbināšanas vidēs integrāciju datu risinājumiem.

Python, R un SQL pamati datu pārvaldībai

1. Python, R un SQL darba vides sagatavošana. VSCode, Jupyter Notebooks, Google Colab, RStudio un PostgreSQL vides pielāgošana tālākai darbībai.
2. Python, R un SQL programmēšanas valodu pamati. Kodēšana ar MI atbalstu.
3. Objektorientētas programmēšanas pamati Python.
4. Programmas koda pārvaldības sistēmas – Git un GitHub.
5. Python un R bibliotēkas, kuras izmanto datu analītikai, vizualizācijai, modelēšanai un pārlasīšanai (piem., Pandas, Seaborn, Matplotlib, Plotly, dplyr, ggplot2, tidyvrse).
6. Datu konceptuālā modeļa un fiziskā modeļa izveide ar PostgreSQL un DuckDB atbilstoši definētajām prasībām.
7. Datu apstrāde un dažādu datu avotu analīze ar Python, R un SQL pēc tehniskās un loģiskās struktūras. Darbs ar dažāda formāta failiem, API un datubāzēm.
8. Koda atkļūdošana, identificējot un novēršot kļūdas rašanās cēloni, izmantojot MI atbalstu.

Programmēšana datu pārvaldībai un analīzei

1. Dažādu datu pārvaldības tehnisko risinājumu (piem., Datubāzu pārvaldības sistēmas (DBMS), datu krātuves un lielo datu platformas, datu straumēšanas risinājumi, ETL / Datu integrācijas rīki)  analīze un izvēles kritēriji. Atbilstošo datu pārvaldības tehnisko risinājumu izstrāde. Programmu prasību validācija, detalizācija un prototipēšana.
2. Datu konceptuālo modeļu un fizisko modeļu izveide, izmantojot SQL, ne-SQL risinājumus, datu krātuves un lielo datu platformas.
3. Datu modelēšana: konceptuālais un fiziskais modelis (ER diagrammas, tabulu struktūra, atslēgas un relācijas).
4. Datu plūsmu izveide un datu pārvaldīšana ar ETL/ELT sistēmām, izmantojot Prefect. Datu ieguves, transformācijas, ielādes, optimizācijas un orķestrēšanas algoritmi. Projektējuma dekompozīcija uz zemāku līmeni, veidojot datu un procesu aprakstus.
5. Datu avotu integrācija ar DLT. Izstrādes uzdevumu darbplūsmu pārrakstīšanās, veicot uzdevumu prioritizēšanu un izmantojot uzdevumu pārvaldības platformas.
6. Datu straumēšanas un reāllaika piegādes/nodevumus testēšanas un darbināšanas vidēs integrācijas risinājumi (Apache Kafka un Apache Flink).
7. Programmu uzturēšanas procesa nodrošināšana un lielo datu apjomu pārvadīšana ar Dask, DuckDB, Polars, Vaex, Modin.
8. Datu konceptuālo modeļu un fizisko modeļu izveide un pārvaldīšana ar Django ORM.
9. Datu pārvaldīšanas risinājumu testēšanas un piegādes darbināšanas vidēs integrācija ar REST API, izmantojot Django REST un Postman.
10.Inovatīvu lielo valodas modeļu (LLM) algoritmu konstruēšana un aprakstīšana padziļinātai datu analītikai un biznesa inteliģencei, ņemot vērā programmas prasības un organizācijas vajadzības.
11.Datu programmu saskarnes projektēšana, izmantojot Django, Streamlit un R Shiny, ņemot vērā programmas prasības.
12.Programmu prasību validācija, detalizācija un prototipēšana ar Streamlit un R Shiny. Biznesa inteliģences (BI) interaktīvo paneļu veidošana. Programmatūras koda dokumentēšana atbilstoši vadlīnijām.
13.Piegādāto datu pārvaldības programmu savlaicīga un kvalitatīva integrācija testēšanas un produkcijas (darbināšanas) vidēs mākonī. 
14.LLMOps pamati. Lielo valodas modeļu un MI programmatūras piegādes integrācija testēšanas un darbināšanas vidēs. Automatizēta datu apstrāde un analīze ar MI aģentu palīdzību.

Nepieciešams dators ar interneta pieslēgumu, pārlūks Mozilla Firefox, Google Chrome vai Microsoft Edge. Skandas vai mobilais tālrunis ar Android vai iOS operētājsistēmu un Mozilla Firefox vai Google Chrome pārlūku.
Datorā jāvar instalēt un darbināt šādas pakotnes: R un RStudio, Python, Anaconda, VS Code, Postgres, Docker.
Ļoti ieteicams otrs monitors vai otrs dators. Vēlams mikrofons.   

Vispārējā vidējā izglītība (atestāts par vispārējo vidējo izglītību)