Temă Învățare Automată – Partea 1: Închiriere biciclete și Autovit

Analiză exploratorie, preprocesare și antrenare de modele de regresie pentru două seturi de date: predicția numărului de biciclete închiriate pe oră și predicția prețului de vânzare al unui autoturism.

Cuprins

Prezentare generală
Seturile de date
Structura proiectului
Instalare și rulare
Modele de învățare automată
Căutarea hiperparametrilor
Set de date 1: închiriere biciclete
Set de date 2: Autovit (preț autoturisme)
Concluzii generale
Autor

Prezentare generală

Proiectul urmărește trei etape de lucru cu fiecare set de date, cerute de enunțul temei ([InvAut-2025-2026]-Tema1.pdf):

Explorarea și vizualizarea datelor (EDA), pentru a înțelege complexitatea problemei: existența unor trenduri sau cicluri temporale, corelațiile dintre atribute și ținta de prezis, precum și existența datelor lipsă.
Extragerea, standardizarea și selecția atributelor, inclusiv suplimentarea valorilor lipsă, pornind de la seturi de date cu variabile de tipuri diferite (categorice, numerice) și de ordine de mărime diferite.
Antrenarea și compararea mai multor algoritmi de regresie: LinearRegression, SVR, RandomForestRegressor, GradientBoostingRegressor (cu loss="squared_error" și loss="quantile") și QuantileRegressor, fiecare optimizat printr-o căutare de hiperparametri cu validare încrucișată.

Cele două seturi de date au fost alese pentru că pun probleme diferite. Închirierea de biciclete este un set de date curat, cu puține coloane, dominat de sezonalitate și cicluri temporale, potrivit pentru a arăta clar diferența dintre un model liniar și unul care poate învăța interacțiuni nelineare. Autovit este, în schimb, un set de date "murdar" în sensul clasic: 37 de coloane de tipuri diferite (numerice, categorice, text liber), cu procente mari de valori lipsă pe unele coloane (până la 40%) și cu anomalii logice între coloane (de exemplu, o mașină marcată simultan ca "manuală" și "4x4 automat"), care cer o strategie de curățare mult mai elaborată decât o simplă imputare cu media.

Seturile de date

Dataset	Notebook	Țintă (target)	Tip problemă
Închiriere biciclete	`Homework_bicycle_rent.ipynb`	`total` (număr de biciclete închiriate pe oră)	Regresie
Autovit	`Homework_cars_price_prediction.ipynb`	`pret` (preț de listare, în euro)	Regresie

Structura proiectului

.
├── Homework_bicycle_rent.ipynb            # EDA, preprocesare și modelare pentru inchirierea de biciclete
├── Homework_cars_price_prediction.ipynb   # EDA, preprocesare și modelare pentru pretul masinilor
├── inchiriere-biciclete/
│   ├── train_split.csv                    # 6.878 inregistrari orare
│   ├── eval_split.csv                     # 4.008 inregistrari orare
│   └── results/                           # grafice exportate din notebook (EDA + analiza atributelor)
├── autovit/
│   ├── README.md                          # descrierea coloanelor setului Autovit
│   ├── train_cars_listings.csv            # 18.988 anunturi auto
│   ├── val_cars_listings.csv              # anunturi auto pentru evaluare
│   └── results/                           # grafice exportate din notebook (EDA + curatare + atribute)
└── [InvAut-2025-2026]-Tema1.pdf           # enuntul temei

Instalare și rulare

# activare mediu virtual (deja creat în .venv/)
source .venv/bin/activate

# instalare dependențe, dacă mediul nu este deja configurat
pip install pandas numpy matplotlib seaborn scikit-learn jupyter

# lansare notebook-uri
jupyter notebook Homework_bicycle_rent.ipynb
jupyter notebook Homework_cars_price_prediction.ipynb

Dependențe principale: pandas, numpy, matplotlib, seaborn, scikit-learn.

Modele de învățare automată

Ambele notebook-uri antrenează și compară aceiași cinci algoritmi de regresie din scikit-learn. Pentru fiecare este explicat pe scurt principiul de funcționare și motivul pentru care a fost inclus în comparație.

Linear Regression: modelul de bază (baseline). Presupune că ținta este o combinație liniară a atributelor. Este rapid de antrenat și ușor de interpretat, dar limitat atunci când relația reală dintre atribute și țintă nu este liniară.
SVR (Support Vector Regression): extinde ideea de regresie prin căutarea unei funcții care aproximează ținta în interiorul unei marje de toleranță (epsilon), penalizând doar predicțiile care depășesc marja. Cu un kernel neliniar (rbf), poate învăța relații de tip curbă fără a avea nevoie de atribute polinomiale construite manual. Hiperparametrii principali sunt kernel, C (penalizarea erorilor mari) și epsilon (lățimea marjei de toleranță).
Random Forest Regressor: un ansamblu de arbori de decizie antrenați pe eșantioane bootstrap ale datelor și pe subseturi aleatoare de atribute (bagging). Fiecare arbore învață independent praguri și interacțiuni nelineare, iar media predicțiilor tuturor arborilor reduce varianța și riscul de overfitting al unui singur arbore. Nu necesită standardizarea atributelor.
Gradient Boosting Regressor: tot un ansamblu de arbori, dar antrenați secvențial, astfel încât fiecare arbore nou este antrenat să corecteze eroarea (reziduul) lăsată de arborii anteriori. Această strategie produce, de regulă, predicții mai precise decât bagging-ul (Random Forest), cu prețul unui timp de antrenare mai mare și al unei sensibilități mai ridicate la hiperparametri (learning_rate, n_estimators, max_depth, subsample).
Quantile Regressor: un model liniar care, în loc să minimizeze eroarea pătratică medie (deci să estimeze media condiționată a țintei), minimizează pinball loss pentru a estima o anumită cuantilă a distribuției țintei, de exemplu mediana. Este util ca punct de comparație direct cu Linear Regression, pentru a vedea cât din diferența de performanță se datorează funcției de pierdere și cât se datorează naturii liniare a modelului.

Suplimentar, pentru ambele seturi de date, GradientBoostingRegressor este antrenat și cu loss="quantile" pentru α = 0.05, 0.50 și 0.95, ceea ce produce o bandă de predicție în jurul valorii mediane, nu doar o singură valoare punctuală. Secțiunea de regresie cu cuantile din fiecare dataset detaliază acest rezultat.

Căutarea hiperparametrilor

Fiecare model (cu excepția Linear Regression de bază) este optimizat printr-o căutare de hiperparametri cu validare încrucișată în 5 fold-uri (KFold, respectiv cross_val_score/GridSearchCV/RandomizedSearchCV cu scoring='r2'):

GridSearchCV (folosit pentru SVR) testează exhaustiv toate combinațiile dintr-o grilă de hiperparametri predefinită. A fost preferat pentru SVR pentru că spațiul de căutare este relativ mic (3 kerneluri × 4-5 valori de C × 3 valori de epsilon).
RandomizedSearchCV (folosit pentru Random Forest și Gradient Boosting) eșantionează aleator un număr fix de combinații (50) dintr-un spațiu de hiperparametri mult mai mare. A fost preferat în locul unei căutări exhaustive pentru că spațiul de combinații posibile ar face un GridSearchCV complet nefezabil ca timp de rulare.

Validarea încrucișată în 5 fold-uri asigură că scorul de performanță raportat pentru fiecare combinație de hiperparametri nu depinde de o singură împărțire aleatoare a datelor de antrenare, reducând riscul de a alege hiperparametri care se potrivesc întâmplător unui singur subset de date.

Metricile folosite pentru evaluarea finală, pe setul de test, sunt aceleași pentru ambele dataseturi:

MAE (Mean Absolute Error): eroarea medie absolută, exprimată în aceleași unități ca ținta; ușor de interpretat direct.
RMSE (Root Mean Squared Error): penalizează mai puternic erorile mari decât MAE, fiind mai sensibil la outlieri.
R²: proporția din variația țintei explicată de model (1.0 = predicție perfectă).

Set de date 1: închiriere biciclete

Date orare culese pe o perioadă de doi ani (2011–2012), cu variabile meteo și de calendar. Obiectivul este predicția coloanei total pentru fiecare oră din setul de test.

Atribute principale: data_ora, sezon, sarbatoare, zi_lucratoare, vreme, temperatura, temperatura_resimtita, umiditate, viteza_vant, ocazionali, inregistrati, total.

Coloană	Descriere
`data_ora`	Data și ora înregistrării
`sezon`	Sezon (1 = primăvară, 2 = vară, 3 = toamnă, 4 = iarnă)
`sarbatoare`	Indică dacă ziua respectivă este sărbătoare legală
`zi_lucratoare`	Indică dacă ziua respectivă este zi lucrătoare
`vreme`	Codul condițiilor meteo (însorit, noros, ploaie/ninsoare ușoară, furtună/ger)
`temperatura`	Temperatura (°C)
`temperatura_resimtita`	Temperatura resimțită (°C)
`umiditate`	Umiditatea relativă (%)
`viteza_vant`	Viteza vântului
`ocazionali`	Număr de închirieri de la utilizatori neînregistrați
`inregistrati`	Număr de închirieri de la utilizatori înregistrați (abonați)
`total`	Numărul total de închirieri (`ocazionali` + `inregistrati`); ținta de prezis

Setul de antrenare (train_split.csv) conține 6.878 de înregistrări, iar setul de test (eval_split.csv) conține 4.008 înregistrări.

Motivul pentru care acest set de date se pretează bine la o analiză de tip serie de timp este că cererea de biciclete este condiționată puternic de context: ora din zi, ziua săptămânii, sezonul și vremea. Aceste variabile interacționează între ele (de exemplu, temperatura contează diferit în weekend față de zilele lucrătoare), ceea ce face din el un exemplu bun pentru a compara un model liniar simplu cu modele capabile să învețe interacțiuni nelineare.

Explorarea și vizualizarea datelor (EDA)

Fiecare tip de analiză a fost ales pentru a răspunde unei întrebări specifice despre setul de date, nu doar ca listă generică de grafice. Imaginile de mai jos sunt exportate direct din notebook și salvate în inchiriere-biciclete/results/.

Valori lipsă și date de calendar

Verificarea valorilor lipsă și a valorilor de 0 suspecte pe fiecare coloană a confirmat faptul că viteza_vant și umiditate conțin valori de 0 în proporție neobișnuit de mare (899, respectiv 22 de rânduri), fizic improbabile pentru un oraș pe parcursul unui an întreg. Practic, acestea sunt valori lipsă codificate ca zero, nu măsurători reale, tratate ulterior prin imputare (vezi secțiunea de preprocesare).

Descompunerea data_ora în an, luna, zi, ora și zi_a_saptamanii, urmată de maparea codurilor numerice (sezon, vreme, sarbatoare, zi_lucratoare, zi_a_saptamanii) în etichete text, a fost necesară pentru că, altfel, informația temporală ar fi rămas "blocată" într-un singur string, inutilizabilă direct de un model de regresie.

Distribuția și outlierii variabilei țintă

Boxplot-urile pe categorii (an, lună, sezon, zi a săptămânii, oră) pentru variabila total sunt utile pentru a compara rapid mediana și dispersia închirierilor între grupuri și pentru a observa vizual outlierii pe fiecare categorie. Mai jos este boxplot-ul pe oră, care arată deja vizual vârfurile de cerere din timpul zilei, și boxplot-ul general al lui total, care arată câteva valori extreme situate mult peste restul distribuției.

Pornind de la aceste valori extreme, a fost aplicată o detecție de outlieri cu regula 3-sigma: au fost eliminate din antrenare cele 95 de rânduri în care total se abate cu mai mult de 3 deviații standard față de medie. Regula 3-sigma a fost preferată unei metode mai complexe pentru că valorile extreme observate în boxplot sunt puține și izolate, nu o coadă grea a distribuției.

Histograma cu estimare de densitate (KDE) a lui total confirmă acest lucru: distribuția este puternic asimetrică la dreapta (multe ore cu puține închirieri, puține ore cu foarte multe), ceea ce explică de ce media și mediana din boxplot diferă vizibil.

Relații între atribute

Pairplot-ul pe variabilele continue a fost folosit pentru a depista rapid relații bivariate, de exemplu relația aproape liniară dintre temperatura și temperatura_resimtita, și eventuale coliniarități între atribute, importante mai târziu la selecția de atribute.

Heatmap-ul de corelație (Pearson) cuantifică atât corelația fiecărui atribut cu total, cât și corelațiile puternice dintre atribute (de exemplu între temperatura și temperatura_resimtita). Graficul de tip regresie de mai jos ilustrează exact una dintre aceste corelații: relația dintre temperatura și total, în care se observă o tendință crescătoare, dar cu o dispersie mare, semn că temperatura singură nu explică toată variația cererii.

Barplot-urile cu suma totală de închirieri pe categorie (sezon, vreme) completează boxplot-urile de mai sus: dacă boxplot-ul arată distribuția pe o singură oră, barplot-ul arată volumul agregat pe întreaga categorie, evidențiind cât de mult contribuie fiecare sezon sau tip de vreme la totalul închirierilor.

Analiză de tip serie de timp

Acest tip de analiză a fost ales pentru că închirierile de biciclete au un caracter puternic ciclic. Graficul pe oră, segmentat pe sezon, arată clar că pe zilele lucrătoare apar două vârfuri de cerere, la orele de navetă (7–9 și 17–19), consistente pe toate cele patru sezoane, dar cu amplitudine mai mică iarna. Fără acest tip de grafic, comportamentul bimodal ar fi complet invizibil într-o simplă corelație numerică (coeficientul de corelație dintre ora și total este aproape de zero, tocmai pentru că relația nu este monotonă).

La nivel săptămânal și lunar, graficele arată o cerere relativ constantă în zilele lucrătoare, ușor mai scăzută în weekend, și o sezonalitate anuală clară, cu vârf în lunile de vară și minim iarna, corelată direct cu graficul de temperatură discutat mai jos.

Relația dintre temperatură și cerere

Graficul mediei închirierilor pe intervale de temperatură, cu marcarea temperaturii la care închirierile sunt maxime, arată explicit că relația dintre temperatură și cerere nu este liniară: închirierile cresc odată cu temperatura până la un punct de confort (în jur de 30–34°C în acest set de date), apoi tind să se stabilizeze sau să scadă ușor la temperaturi foarte ridicate. Această observație este folosită direct în etapa de feature engineering, prin indicatorii de temperatură optimă/rece/caldă și prin termenii polinomiali descriși mai jos.

Preprocesare și feature engineering

Imputarea valorilor lipsă

Valorile de 0 de la viteza_vant și umiditate, identificate în etapa de EDA ca fiind fizic improbabile (vântul sau umiditatea nu pot fi aproape niciodată 0.00), sunt înlocuite cu media pe combinația lună/an a valorilor nenule. Alegerea unei medii lunare (nu a mediei globale) ține cont de faptul că vântul și umiditatea au un caracter sezonier: o medie globală ar introduce o eroare sistematică în lunile cu vreme atipică față de restul anului.

Eliminarea scurgerii de informație (target leakage)

Coloanele inregistrati și ocazionali sunt eliminate din matricea de atribute înainte de antrenare, pentru că suma lor este identică cu total. Dacă ar fi păstrate, orice model ar "învăța" trivial relația total = inregistrati + ocazionali, obținând un scor aproape perfect fără să învețe nimic util despre relația dintre vreme, calendar și cerere.

Encodare ciclică (sinus/cosinus) pentru `ora` și `luna`

Orele și lunile sunt variabile ciclice, dar reprezentate ca numere întregi simple ele ar părea la distanța maximă posibilă (23 față de 0). Un model liniar ar interpreta greșit această distanță. Transformarea sin(2π·x/perioadă) / cos(2π·x/perioadă) proiectează variabila pe un cerc, astfel încât valorile apropiate în timp rămân apropiate și numeric, indiferent de punctul de "tăiere" al ciclului.

One-hot encoding pentru atributele categorice

Atributele sezon, vreme, sarbatoare, zi_lucratoare și zi_a_saptamanii sunt codificate one-hot. Deși sunt reprezentate în datele brute prin coduri numerice (1, 2, 3, 4), aceste coduri nu au o relație de ordine reală (sezonul 4 nu este "de două ori mai mult" decât sezonul 2); one-hot encoding evită ca un model liniar să presupună o astfel de relație de ordine inexistentă.

Atribute de interacțiune și indicatori contextuali

Modelele liniare (Linear Regression, Quantile Regression) nu pot învăța singure interacțiuni între atribute: ele presupun că fiecare atribut contribuie independent și aditiv la predicție. De aceea, o parte din atributele derivate au fost create manual, pornind exact de la pattern-urile observate în etapa de EDA:

rush_hour, morning_commute, evening_commute, midday, late_night, business_hours: indicatori binari pentru intervalele orare identificate vizual ca având comportament distinct (vârfurile de navetă observate în graficele de tip serie de timp).
weekend_x_rush_hour, workday_commute, summer_evening, winter_morning: combinații care surprind faptul că același interval orar are un efect diferit asupra cererii în funcție de tipul zilei sau de sezon (de exemplu, orele de prânz sunt aglomerate în weekend, dar nu și în zilele lucrătoare).
temp_optimal, temp_cold, temp_hot, temp_squared, temp_cubed: pornind de la graficul mediei închirierilor pe intervale de temperatură, care arată o relație de tip "clopot" (creștere, apoi scădere), acești indicatori permit unui model liniar să aproximeze o curbă, nu doar o dreaptă.
peak_season_x_good_weather, bad_weather_x_temp, temp_x_humidity, temp_x_windspeed, temp_x_ora: produse între variabile a căror influență comună asupra cererii este mai mare decât suma influențelor separate (de exemplu, o temperatură plăcută contează mult mai mult atunci când vremea este și senină).

Standardizare și selecție de atribute

StandardScaler este aplicat înainte de Linear Regression și SVR, deoarece aceste modele sunt sensibile la scala atributelor: fără standardizare, un atribut cu valori mari (ex. umiditate, 0–100) ar domina nejustificat coeficienții față de un atribut cu valori mici (ex. viteza_vant).
SelectKBest (f_regression) combinat cu validare încrucișată a fost folosit pentru a alege automat numărul optim de atribute din cele peste 50 generate, testând mai multe valori de k și păstrându-l pe cel cu cel mai bun scor R² mediu pe cele 5 fold-uri. Cel mai bun rezultat a fost obținut cu 57 de atribute. Graficul de mai jos arată corelația fiecărui atribut (inclusiv cele derivate prin feature engineering) cu ținta total, folosit ca punct de plecare pentru a înțelege ce atribute merită păstrate.

Rezultate

Model	MAE	RMSE	R²
Linear Regression	61.66	85.57	0.78
Linear Regression + selecție de atribute prin CV (57 atribute)	61.66	85.57	0.78
SVR (kernel RBF, C=100)	41.15	68.60	0.86
Random Forest Regressor	30.74	52.85	0.92
Gradient Boosting Regressor	29.98	48.87	0.93
Gradient Boosting (loss quantile, mediana)	31.30	n/a	0.92
Quantile Regressor	60.50	88.41	0.77

Gradient Boosting Regressor obține cel mai bun rezultat dintre modelele testate, ceea ce confirmă observația din etapa de EDA: relația dintre variabilele meteo/de calendar și cererea de biciclete este puternic nelineară (vârfuri de navetă, curbă de confort termic), iar un model care poate învăța automat astfel de praguri și interacțiuni are un avantaj clar față de un model liniar. Linear Regression și Quantile Regressor rămân în urmă cu aproximativ 15 puncte procentuale de R² față de Gradient Boosting, chiar și după selecția de atribute și adăugarea manuală de termeni de interacțiune.

Regresie cu cuantile. Pentru varianta loss="quantile" (α = 0.05, 0.50, 0.95), acoperirea observată pe setul de test pentru intervalul 0.05–0.95 a fost de 80.14%, sub ținta teoretică de 90%. Diferența arată că intervalele generate sunt puțin prea înguste, adică modelul este ceva mai încrezător decât ar trebui în limitele superioară și inferioară estimate. Este un aspect discutat explicit în enunțul temei ca fiind o capcană frecventă a acestei metode.

Set de date 2: Autovit (preț autoturisme)

Anunțuri de vânzare mașini extrase de pe autovit.ro: 18.988 de rânduri în setul de antrenare, cu 37 de coloane. Obiectivul este predicția coloanei pret (în euro). Spre deosebire de setul de biciclete, acesta este un set de date eterogen: coloane numerice (Km, Putere), categorice (Marca, Combustibil, Tip_Caroserie), text liber sub formă de listă (Siguranta, listată ca ['ABS', 'ESP', ...]) și coloane cu procente mari de valori lipsă (Tara_de_origine lipsește la aproape 40% din rânduri).

Coloane principale: Descrierea completă a fiecărei coloane este în autovit/README.md.