Kaggle

Najlepsze do:

• szukania gotowych datasetów do nauki data science i machine learningu,
• testowania modeli, algorytmów i pipeline’ów analitycznych,
• ćwiczenia czyszczenia danych, eksploracyjnej analizy danych i wizualizacji,
• pobierania danych do Pythona, R, notebooków, narzędzi BI i arkuszy kalkulacyjnych,
• pracy z danymi tabelarycznymi, obrazami, tekstami, plikami audio, danymi geograficznymi i danymi czasowymi,
• sprawdzania przykładowych analiz w Kaggle Notebooks,
• łączenia datasetów z kodem, komentarzami społeczności i publicznymi notebookami,
• szukania danych do projektów portfolio, kursów, hackathonów i eksperymentów,
• korzystania z datasetów konkursowych Kaggle,
• pobierania danych przez Kaggle API,
• sprawdzania metadanych, licencji, popularności, liczby pobrań i powiązanych notebooków,
• uzupełniania kwerendy prowadzonej w Figshare, Zenodo, Dryad, Dataverse, Google Dataset Search, data.gov, data.gov.pl, UCI Machine Learning Repository, Hugging Face Datasets, OpenML i repozytoriach dziedzinowych.

Na co uważać?

• Dataset na Kaggle może być trafny, ale może też być słabo opisany, stary, błędny albo nie mieć jasnego źródła.
• Liczba pobrań, głosów i notebooków nie jest miarą jakości danych.
• Trzeba sprawdzić licencję każdego datasetu osobno.
• Nie każdy dataset nadaje się do użytku komercyjnego, publikacji naukowej albo trenowania modeli.
• Dane mogą być przetworzone, zagregowane, zeskrobane z internetu albo skopiowane z innego źródła.
• Przy datasetach medycznych, biometrycznych, wizerunkowych i dotyczących ludzi trzeba bardzo ostrożnie sprawdzać zgodę, anonimizację, pochodzenie i etykę wykorzystania.
• Część danych może zawierać błędy, duplikaty, brakujące wartości, bias, nieaktualne rekordy albo problemy z reprezentatywnością.
• Opis datasetu może nie wystarczać do odtworzenia metodologii zbierania danych.
• Dataset może mieć wiele wersji, więc trzeba zapisać wersję, datę pobrania i identyfikator zbioru.
• Publiczny notebook nie oznacza, że analiza jest poprawna metodologicznie.
• Do badań naukowych najlepiej korzystać z Kaggle pomocniczo i weryfikować dane w źródle pierwotnym.
• Przy cytowaniu warto podać autora datasetu, tytuł, wersję, link, datę dostępu, licencję i pierwotne źródło danych, jeśli jest znane.

Kaggle Datasets to część platformy Kaggle przeznaczona do publikowania, wyszukiwania, pobierania i wykorzystywania zbiorów danych. Serwis jest szczególnie popularny wśród osób zajmujących się data science, uczeniem maszynowym, analizą danych, eksploracją danych, wizualizacją i budowaniem modeli predykcyjnych.

Na Kaggle można znaleźć datasety z bardzo różnych obszarów: gospodarki, zdrowia, obrazów, tekstu, języka naturalnego, finansów, sportu, edukacji, geografii, klimatu, marketingu, e-commerce, mediów społecznościowych, biologii, medycyny, transportu i wielu innych tematów. Część datasetów pochodzi od instytucji, firm, organizacji i autorów indywidualnych. Część jest tworzona specjalnie pod konkursy Kaggle, projekty edukacyjne albo przykładowe analizy.

Jakość danych jest bardzo nierówna. Przy każdym zbiorze trzeba sprawdzić źródło, autora, licencję, opis, datę aktualizacji, dokumentację, pochodzenie danych, strukturę plików i ewentualne ograniczenia etyczne lub prawne.