Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
80 changes: 80 additions & 0 deletions docs/DERS_BASVURU_DOGRULAMA_15_11.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,80 @@
# İlanı görmek ile başvuruyu doğrulamak

Bu değişiklik yerel çalışma kopyasındadır; commit, push veya canlı veritabanı güncellemesi yapılmamıştır.

## Neden ayrı bir tablo?

`ilanlar.aktif`, ilanın kaynak listesinde takip edilip edilmediğini tutar. Kaynak listesi eski olabilir.
`ilan_dogrulamalari` ise başvuruya ilişkin kanıtı tutar. Aynı ilan listede görünüp başvurusu kapalı olabilir.

- `durum`: acik / kapali / belirsiz.
- `neden`: kararın gerekçesi; ilan metni veya anahtar saklanmaz.
- `ilk_kontrol`: doğrulama takibinin başlangıcı.
- `kontrol_zamani`: son detay sayfası kontrol denemesi (başarısız denemeler dahil).
- `acik_dogrulama_zamani`: son açık kanıtı; başarısız kontrol bunu ilerletmez.
- `gorulmeme_sayisi`: son görülmeden beri ilanı içermeyen başarılı kaynak listelerinin sayısı.

## Akış

1. `depo/ilanlar.py`: ilan listede yeniden görülürse kayıp sayacı sıfırlanır.
2. ATS'nin açık listesinde bulunmak açık kanıtıdır. Detay sayfasından alınmış kapanış kanıtını tek başına silemez.
3. Başarılı listede ilk yokluk belirsizdir; ikinci yokluk `aktif=False` yapar. Hatalı tarama sayacı artırmaz.
4. Günlük `calistir`, ayrıntı çıkarımından sonra ve yayın/bültenden önce `dogrulama.py` adımını çağırır.
5. En çok 120 öğrenci ilanı, dört iş parçacığıyla kontrol edilir; detay kontrolleri arasında en az 24 saat vardır.
6. `isleme/basvuru.py` HTML'den kanıt çıkarır: tek H1 ilan başlığıyla eşleşen detay sayfasında kısa ve açık kapanış
ifadesi veya etkin başvuru bağlantısı/form kontrolü bulunmalı. Yönlendirme sonrası genel kariyer sayfasında ise
yalnızca aynı başlıklı tek iş kartının kendi etkin başvuru bağlantısı açık kanıtıdır. Başka kartların düğmeleri
sayılmaz. Lever gibi H1 kullanmayan ATS'lerde ilan başlığı ile aynı ilan adresine özgü başvuru bağlantısı birlikte
aranır; başvuru formu adreslerinde URL'deki ilan başlığı, sayfa metni ve etkin form birlikte kontrol edilir.
200 yanıtı veya yalnızca başlık açık kanıtı değildir.
7. `depo.yayinlanacak_ilanlar`, kapalı ilanı site ve bültenden eler. Üç gündür açık kanıtı olmayan takipteki kayıtlar
da geçici olarak yayından düşer; silinmez. Başarılı kontrolle geri gelebilir.
8. JSON'daki `dogrulama` bilgisi siteye taşınır; belirsiz ilanlarda "Başvuru durumu doğrulanamadı" görünür.

Üç gün ve 120 ilan ilk uygulamanın politika değerleridir, evrensel doğrular değildir. Canlıya geçmeden önce
kaynak başına belirsiz sonuç oranı ve kuyruk kapasitesi gözden geçirilmelidir. Kapalı durum sonraki ağ hatasında
unutulmaz; kapanış nedeni korunur, son deneme zamanı ilerler.

## Sınırlar

- İlk sürüm HTML okur; JavaScript çalıştırmaz, başvuru göndermez, CSS dosyalarını hesaplamaz. İşaretlenmiş gizli
ve disabled içerikleri; nav/header/footer/aside ve related/recommended alanlarını atlar.
- Çok ilanlı #çapa sayfaları, belirsiz kart yapıları ve tekil başlığı doğrulanamayan sayfalar belirsiz kalır.
Liste kartı tanıma yalnızca belirgin `article`/`li` işaretli ilan kartları için geçerlidir; her şirket desteklenmez.
- robots.txt korunur. LinkedIn, Kariyer.net, Youthall ve Jooble detayları okunmaz; bu alanlara yönlendirme takip edilmez.
- 403/404/410/429/5xx/timeout tek başına kapanış değildir. İlanın kaynakta kaybolması ile erişim hatası ayrıdır.
- Aynı firma/başlık/kaynak/konumla yeni adrese taşınan ilanın kayıp doğrulaması bekleyen eski kartı gizlenir;
iki adres aynı taramada bulunuyorsa sırf başlıkları aynı diye birleştirilmez.
- Ara tarama ATS listelerini okur; detay doğrulaması günlük işte veya elle `dogrula` komutuyla yapılır.
- Göç `0009` boş yeni tablo ekler; mevcut ilanları silmez. Uygulama göçü normal başlangıçta uygular.
- LLM çağrısı eklenmez; HTTP ve deterministik kurallar kullanılır.

## Canlı sayfa örneklemi (15.11.2026)

- GitHub'daki o güncel 55 ilan arasından farklı kaynaklardan 11 ilan sayfası robots.txt kurallarına uyarak salt okunur
kontrol edildi. Sonuç: 8 `acik`, 3 `belirsiz`, 0 `kapali`. Bu küçük örneklem doğruluk oranı ölçümü değildir.
- Workday ve Workable örnekleri HTML'de görünür ilan içeriği vermediği için, Skymod örneği ise tekil başlık ve başvuru
kontrolü eşleşmediği için belirsiz kaldı. Tarayıcı/ATS API desteği ayrı çalışma gerektirir.
- Test başvuru göndermedi, gerçek veritabanına yazmadı ve canlı siteyi değiştirmedi.

## Öğrenme sırası

1. `isleme/basvuru.py`: saf fonksiyon; HTML girer, karar çıkar. Ağ/veritabanı yok.
2. `dogrulama.py`: sıradaki kayıtları alır, HTTP ile okur, kararları kaydeder.
3. `depo/dogrulama.py`: kayıt ve yayın politikası. Ağ yok.
4. `__main__.py`: günlük akışta kontrolün nerede çağrıldığı.

Yerel geçici veritabanları ve sahte HTTP ile test:

```powershell
.\.venv\Scripts\python.exe -m pytest -q tests/test_basvuru_dogrulama.py tests/test_sema.py
```

Elle kullanım (gerçek HTTP isteği ve yapılandırılan veritabanına yazma içerir; test değildir):

```powershell
.\.venv\Scripts\python.exe -m internreader dogrula --sinir 20
.\.venv\Scripts\python.exe -m internreader yayinla
```

Bu çalışma sırasında bu komutlar canlı verilerde çalıştırılmamıştır. `yayinla` yalnızca çıktı üretir; GitHub'a push etmez.
8 changes: 7 additions & 1 deletion internreader/__main__.py
Original file line number Diff line number Diff line change
Expand Up @@ -36,6 +36,7 @@
from internreader.bulten import bultenleri_gonder
from internreader.bulten.gonderim import deneme_gonder, hazirligi_yaz, onay_siniri, onizleme_gonder
from internreader.db import oturum_fabrikasi, simdi
from internreader.dogrulama import basvurulari_dogrula
from internreader.eposta import gonderici_olustur
from internreader.gunluk import kayit_kur
from internreader.ice_aktar import eski_onbellegi_ice_aktar, firma_listesini_esitle, firmalari_ice_aktar
Expand All @@ -52,6 +53,8 @@ def main(argv: list[str] | None = None) -> int:
ayristirici = argparse.ArgumentParser(prog="internreader", description="Türkiye staj ilanı toplayıcı")
ayristirici.add_argument("--ayrinti", action="store_true", help="ayrıntılı kayıt (DEBUG)")
alt = ayristirici.add_subparsers(dest="komut", required=True)
p = alt.add_parser("dogrula", help="başvuru sayfalarını kontrol et (LLM kullanmaz; 24 saatte en çok bir kez)")
p.add_argument("--sinir", type=int, default=120)

p = alt.add_parser("ice-aktar", help="firma CSV'sini veritabanına al")
p.add_argument("csv", type=Path)
Expand Down Expand Up @@ -127,7 +130,9 @@ def main(argv: list[str] | None = None) -> int:
return 0
oturum = oturum_fabrikasi(ayar.veritabani_url)

if arg.komut == "ice-aktar":
if arg.komut == "dogrula":
print(json.dumps(basvurulari_dogrula(ayar, oturum, sinir=arg.sinir), ensure_ascii=False))
elif arg.komut == "ice-aktar":
firmalari_ice_aktar(oturum, arg.csv, arg.kaynak)
if arg.eski_onbellek:
eski_onbellegi_ice_aktar(oturum, arg.eski_onbellek)
Expand Down Expand Up @@ -172,6 +177,7 @@ def main(argv: list[str] | None = None) -> int:
boru.ayrintilari_zenginlestir(ayar, oturum, yz=yz, yalnizca_ats=True)
if arg.komut == "calistir":
boru.ayrintilari_zenginlestir(ayar, oturum, yz=yz)
kayit.info("Başvuru doğrulama: %s", basvurulari_dogrula(ayar, oturum))
boru.yayinla(oturum)
if ayar.bulten_elle: # pilot: önizleme Bilal'e gider, bülten "Bülteni gönder" ile elle çıkar
hazirligi_yaz(oturum)
Expand Down
21 changes: 20 additions & 1 deletion internreader/ag.py
Original file line number Diff line number Diff line change
Expand Up @@ -13,6 +13,7 @@
import time
import urllib.parse
import urllib.robotparser
from collections.abc import Callable

import requests
from requests.adapters import HTTPAdapter
Expand Down Expand Up @@ -89,8 +90,12 @@ def izinli_mi(self, url: str) -> bool:
return True if rp is None else rp.can_fetch(self.kullanici_ajani, url)

# --- istekler ---
def sayfa(self, url: str, robots_kontrolu: bool = True) -> tuple[str, str]:
def sayfa(
self, url: str, robots_kontrolu: bool = True, adres_izinli: Callable[[str], bool] | None = None
) -> tuple[str, str]:
"""(son adres, HTML metni) döndürür. robots.txt izin vermezse RobotsEngeli fırlatır."""
if adres_izinli is not None:
return self._denetimli_sayfa(url, robots_kontrolu, adres_izinli)
if robots_kontrolu and not self.izinli_mi(url):
raise RobotsEngeli(url)
p = urllib.parse.urlparse(url)
Expand All @@ -101,6 +106,20 @@ def sayfa(self, url: str, robots_kontrolu: bool = True) -> tuple[str, str]:
icerik = govdeyi_oku(yanit, SAYFA_AZAMI_BAYT)
return yanit.url, metni_coz(icerik, yanit.headers.get("content-type", ""))

def _denetimli_sayfa(self, url: str, robots_kontrolu: bool, adres_izinli: Callable[[str], bool]):
"""Doğrulayıcı yönlendirmede yasak kaynağa istek göndermesin; her adreste robots da tekrar denetlenir."""
for _ in range(6):
if not adres_izinli(url) or (robots_kontrolu and not self.izinli_mi(url)):
raise RobotsEngeli("Adres politikası veya robots engeli")
with self.oturum.get(url, timeout=self.zaman_asimi, stream=True, allow_redirects=False) as yanit:
if yanit.is_redirect:
url = urllib.parse.urljoin(url, yanit.headers["location"])
continue
yanit.raise_for_status()
icerik = govdeyi_oku(yanit, SAYFA_AZAMI_BAYT)
return yanit.url, metni_coz(icerik, yanit.headers.get("content-type", ""))
raise requests.TooManyRedirects("Doğrulama yönlendirme sınırı aşıldı")

def json_al(self, url: str, basliklar: dict | None = None):
"""basliklar: isteğe özel başlıklar (ör. arama API'sinin anahtarı); oturumun ortak başlıklarına eklenir."""
with self.oturum.get(url, headers=basliklar, timeout=self.zaman_asimi, stream=True) as yanit:
Expand Down
14 changes: 14 additions & 0 deletions internreader/db.py
Original file line number Diff line number Diff line change
Expand Up @@ -83,6 +83,20 @@ class IlanKaydi(Taban):
__table_args__ = (Index("ix_ilanlar_aktif_ilk_gorulme", "aktif", "ilk_gorulme"),)


class IlanDogrulama(Taban):
"""Listede görülme ile başvuru durumunun kanıtı ayrıdır. Eski ilanlar kontrol edilene kadar kayıtsızdır."""

__tablename__ = "ilan_dogrulamalari"
kimlik: Mapped[str] = mapped_column(String(16), ForeignKey("ilanlar.kimlik", ondelete="CASCADE"), primary_key=True)
durum: Mapped[str] = mapped_column(String(12), default="belirsiz")
neden: Mapped[str] = mapped_column(String(100), default="henuz_kontrol_edilmedi")
ilk_kontrol: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=simdi)
kontrol_zamani: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
# Son kesin AÇIK kanıtı. Erişim hatası veya yalnızca listede görülme bu zamanı yenilemez.
acik_dogrulama_zamani: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
gorulmeme_sayisi: Mapped[int] = mapped_column(Integer, default=0)


class Siniflandirma(Taban):
__tablename__ = "siniflandirmalar"
kimlik: Mapped[str] = mapped_column(String(16), ForeignKey("ilanlar.kimlik", ondelete="CASCADE"), primary_key=True)
Expand Down
77 changes: 77 additions & 0 deletions internreader/depo/dogrulama.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,77 @@
"""Başvuru kanıtını sakla; liste tazeliği ile doğrulama tazeliğini karıştırma."""

from datetime import datetime, timedelta

from sqlalchemy import select
from sqlalchemy.orm import Session

from internreader.db import IlanDogrulama, IlanKaydi, Siniflandirma, simdi
from internreader.depo._ortak import utc
from internreader.isleme.basvuru import BasvuruSonucu

BELIRSIZLIK_SINIRI = timedelta(days=3)
KONTROL_ARALIGI = timedelta(hours=24)


def dogrulama_kaydi(oturum: Session, kimlik: str, an: datetime) -> IlanDogrulama:
kayit = oturum.get(IlanDogrulama, kimlik)
if kayit is None:
kayit = IlanDogrulama(
kimlik=kimlik,
durum="belirsiz",
neden="henuz_kontrol_edilmedi",
ilk_kontrol=an,
gorulmeme_sayisi=0,
)
oturum.add(kayit)
return kayit


def dogrulama_yaz(oturum: Session, kimlik: str, sonuc: BasvuruSonucu, an: datetime | None = None) -> None:
an = an or simdi()
kayit = dogrulama_kaydi(oturum, kimlik, an)
kayit.kontrol_zamani = an
# Kesin kapanış, sonraki bağlantı hatasıyla unutulmaz; ancak olumlu kanıtla tekrar açılabilir.
if sonuc.durum == "belirsiz" and kayit.durum == "kapali":
return
kayit.durum, kayit.neden = sonuc.durum, sonuc.neden
if sonuc.durum == "acik":
kayit.acik_dogrulama_zamani = an


def dogrulama_yayin_bilgisi(kayit: IlanDogrulama | None, an: datetime) -> dict:
if kayit is None:
return {"durum": "belirsiz", "neden": "henuz_kontrol_edilmedi", "kontrol_zamani": None, "bayat": False}
dayanak = kayit.acik_dogrulama_zamani or kayit.ilk_kontrol
bayat = an - utc(dayanak) >= BELIRSIZLIK_SINIRI
return {
"durum": "belirsiz" if bayat and kayit.durum != "kapali" else kayit.durum,
"neden": "dogrulama_suresi_doldu" if bayat and kayit.durum != "kapali" else kayit.neden,
"kontrol_zamani": utc(kayit.kontrol_zamani).isoformat() if kayit.kontrol_zamani else None,
"acik_dogrulama_zamani": utc(kayit.acik_dogrulama_zamani).isoformat() if kayit.acik_dogrulama_zamani else None,
"bayat": bayat,
}


def dogrulama_bekleyenler(oturum: Session, sinir: int, an: datetime) -> list[dict]:
# Yeni ilanlar ve en uzun süredir kontrol edilmeyenler önce. Kapalı olup listede hâlâ duranlar da
# tekrar açılmış olabilir; kontrol edilir. Jooble'ın robots ile yasakladığı detay sayfası okunmaz.
sorgu = (
select(IlanKaydi, IlanDogrulama)
.join(Siniflandirma, Siniflandirma.kimlik == IlanKaydi.kimlik)
.outerjoin(IlanDogrulama, IlanDogrulama.kimlik == IlanKaydi.kimlik)
.where(
IlanKaydi.aktif.is_(True),
IlanKaydi.gizli.is_(False),
Siniflandirma.ogrenciye_uygun.is_(True),
IlanKaydi.kaynak != "jooble",
)
.order_by(IlanDogrulama.kontrol_zamani.asc().nulls_first(), IlanKaydi.kimlik)
)
adaylar = []
for ilan, kontrol in oturum.execute(sorgu):
if kontrol is None or kontrol.kontrol_zamani is None or utc(kontrol.kontrol_zamani) <= an - KONTROL_ARALIGI:
adaylar.append({"kimlik": ilan.kimlik, "baslik": ilan.baslik, "url": ilan.url})
if len(adaylar) >= sinir:
break
return adaylar if sinir > 0 else []
Loading
Loading