Klasifikasi Kualitas Baris
Setiap baris masuk tepat satu kategori.
Data observability · NYC TLC Yellow Taxi
Seberapa layak data perjalanan taksi NYC dipakai untuk analisis, dan seberapa besar metrik bisnis berubah setelah baris yang gagal pemeriksaan kritis dikeluarkan. Dua belas aturan validasi diterapkan pada setiap baris dengan DuckDB.
Memuat data dashboard…
Indikator utama untuk . Pilih bulan lain di bagian atas halaman.
Setiap baris masuk tepat satu kategori.
Dihitung langsung dari hasil pemeriksaan bulan terpilih.
Perbandingan antarbulan. Data April sampai Desember 2024 tidak termasuk dalam analisis.
Proporsi baris per kategori kualitas. Klik kolom untuk memilih bulan.
Persentase baris yang melanggar setiap aturan. Warna lebih pekat berarti persentase lebih tinggi dalam baris aturan tersebut.
Geser tabel ke samping untuk melihat bulan lain.
Hasil 12 aturan validasi untuk . Satu baris dapat melanggar lebih dari satu aturan.
Persentase baris yang melanggar, diurutkan dari yang terbesar.
Buka baris untuk melihat definisi dan rincian per vendor atau jenis pembayaran.
Metrik perjalanan . Cakupan: perjalanan dengan waktu jemput di dalam bulan tersebut.
"Mentah" memakai semua baris. "Lolos kritis" hanya memakai baris tanpa pelanggaran aturan kritis.
Arahkan kursor, ketuk, atau gunakan tombol panah setelah memilih grafik.
Perjalanan lolos kritis menurut hari dan jam penjemputan, waktu lokal sesuai data TLC.
Porsi perjalanan lolos kritis per kategori pembayaran.
Tip dihitung sebagai tip dibagi tarif, hanya untuk pembayaran kartu kredit karena tip tunai tidak tercatat.
Cara data diambil, diperiksa, dan diringkas sebelum ditampilkan.
Seluruh pemrosesan berjalan offline. Situs ini hanya menyajikan file JSON statis hasil pipeline.
Unduh file Parquet resmi TLC, catat ukuran, jumlah baris, dan SHA-256 di manifest.
DuckDB menandai setiap baris dengan 12 aturan dalam satu view, sehingga laporan dan agregat memakai definisi yang sama.
Metrik mentah dan metrik lolos kritis dihitung per bulan, hari, jam, zona, dan jenis pembayaran.
Hasil diekspor ke JSON berukuran kecil, diuji konsistensinya, lalu disajikan Cloudflare Pages.
Baris tidak memicu satu pun dari 12 aturan, termasuk aturan peringatan. Ini kategori paling ketat.
Baris hanya melanggar aturan peringatan (R10 atau R12). Baris tetap dipakai dalam metrik lolos kritis.
Baris melanggar minimal satu aturan kritis, misalnya jarak 0 atau tarif negatif, dan dikeluarkan dari metrik lolos kritis.
Kritis (R01 sampai R09, R11) menandai nilai yang mustahil atau tidak dapat dipakai, seperti waktu turun sebelum waktu jemput atau zona placeholder.
Peringatan (R10, R12) tetap dilaporkan, tetapi tidak mengeluarkan baris. Pada data asli, kedua aturan ini terpicu pada hampir seluruh baris vendor atau jenis pembayaran tertentu. Mengeluarkannya akan membuang sebagian besar perjalanan Vendor 1 dan flex fare, sehingga metrik menjadi bias.
Data perjalanan NYC Taxi & Limousine Commission (TLC), Yellow Taxi, diunduh dari host resmi TLC. Periode: enam bulan.
Checksum memastikan angka di dashboard dapat ditelusuri ke file yang sama.
Hal yang perlu diketahui sebelum memakai angka di halaman ini.
Tidak ada label baris yang dipastikan benar atau salah, sehingga tidak ada precision atau recall. Yang dilaporkan adalah jumlah pelanggaran aturan.
Ambang batas 100 mil, 80 mph, 24 jam, dan 6 penumpang adalah pilihan desain. Mengubah ambang akan mengubah hasil.
Baris yang lolos semua aturan tetap bisa salah. Indikator di sini menunjukkan tidak ditemukannya masalah oleh aturan, bukan kebenaran data.
Hanya Yellow Taxi, enam bulan. Tidak ada klaim untuk green taxi, for-hire vehicle, atau periode lain.
Pendapatan adalah jumlah total_amount, termasuk tip, pajak, dan surcharge. Ini bukan pendapatan pengemudi.
Baris duplikat dihitung tetapi belum dikeluarkan. Waktu dipakai apa adanya tanpa konversi zona waktu.
Angka dihitung ulang dari file Parquet dengan kueri SQL terpisah dan cocok untuk enam bulan. Pemeriksa ditulis oleh penulis yang sama, jadi ini pemeriksaan silang, bukan audit independen.