Goidex

Metodologi

Sumber data

  • Certificate Transparency melalui crt.sh — daftar host yang pernah menerbitkan sertifikat SSL/TLS.
  • Tranco — daftar domain populer untuk melengkapi domain yang belum muncul di CT log.
  • Penyerahan manual dan koreksi dari pemilik domain.

Cara pemeriksaan

  • Resolusi DNS (A/AAAA/CNAME) untuk setiap host.
  • Satu permintaan HTTP GET ke halaman utama, dengan User-Agent yang jelas dan batas waktu.
  • robots.txt dihormati; host yang melarang diakses ditandai.
  • Hanya metadata publik yang disimpan: status HTTP, judul, deskripsi, alamat ikon, dan masa berlaku sertifikat. Isi halaman tidak disimpan.

Arti status

  • Aktif — halaman utama merespons 2xx, berjenis HTML, dan memiliki judul yang bermakna.
  • Merespons — server menjawab, tetapi halaman bukan halaman layanan yang dapat dibaca (mis. halaman default, 404, atau aplikasi JavaScript tanpa metadata).
  • Dibatasi — server menolak permintaan (401/403/429/503), umumnya karena proteksi WAF.
  • DNS saja — nama domain terdaftar, tetapi tidak ada respons HTTP.
  • Tidak aktif — domain tidak lagi mengarah ke alamat IP.

Kebijakan indeks

Hanya halaman instansi (domain utama) dengan status Aktif atau Merespons dan metadata memadai yang diindeks mesin pencari. Subdomain ditampilkan sebagai informasi, tetapi tidak diindeks.

Keterbatasan

  • Sebagian situs memakai sertifikat TLS yang tidak valid atau kedaluwarsa. Pembacaan tetap dilakukan tanpa verifikasi sertifikat; kondisi ini dicatat.
  • Situs berbasis JavaScript dapat memiliki judul kosong saat dibaca tanpa peramban.
  • Data CT log memuat banyak host lama yang sudah tidak aktif.
  • Pemeriksaan bersifat berkala, bukan waktu nyata.