OpenReview to platforma do obsługi zgłoszeń naukowych, peer review, publikowania prac i dyskusji wokół nich. Jest szczególnie szeroko wykorzystywana przez konferencje i warsztaty z machine learning oraz sztucznej inteligencji. Organizatorzy mogą za jej pomocą przyjmować artykuły, przypisywać recenzentów, prowadzić recenzje, rebuttal, metareview i podejmować decyzje o przyjęciu pracy. Stopień otwartości jest konfigurowalny: zależnie od zasad wydarzenia publiczne mogą być same artykuły, recenzje, komentarze, odpowiedzi autorów i decyzje. OpenReview zapewnia również REST API i rozwija mechanizmy dopasowywania recenzentów do publikacji.
Najlepsze do:
- szukania najnowszych prac z machine learning i sztucznej inteligencji,
- przeglądania artykułów zgłoszonych na konferencje takie jak ICLR oraz liczne konferencje i warsztaty wykorzystujące OpenReview,
- sprawdzania nie tylko finalnej pracy, ale również przebiegu procesu recenzyjnego, jeśli organizator udostępnia go publicznie,
- czytania komentarzy recenzentów i odpowiedzi autorów,
- sprawdzania, jakie zastrzeżenia metodologiczne, eksperymentalne lub teoretyczne zgłoszili recenzenci,
- obserwowania, jak autorzy odpowiadali na krytykę i czy modyfikowali argumentację lub eksperymenty,
- rozróżniania prac przyjętych, odrzuconych i nadal znajdujących się w procesie oceny, jeśli dany venue udostępnia takie informacje,
- szukania materiałów z warsztatów poświęconych bardzo nowym i wąskim problemom badawczym; OpenReview jest wykorzystywany także do obsługi specjalistycznych workshopów ICLR i innych wydarzeń,
- analizowania procesu peer review i prowadzenia badań nad komunikacją naukową,
- pobierania publicznie dostępnych danych i metadanych przez REST API,
- prowadzenia szerszej kwerendy razem z arXiv, DBLP, Semantic Scholar, Google Scholar, PMLR, NeurIPS Proceedings, ACL Anthology i CVF Open Access. OpenReview jest szczególnie cenny przy śledzeniu procesu recenzowania i bardzo nowych prac, arXiv pomaga znaleźć inne wersje preprintów, DBLP porządkuje późniejszy dorobek bibliograficzny, a PMLR, ACL Anthology i CVF Open Access prowadzą do oficjalnych publikacji z odpowiednich konferencji i dziedzin.
Na co uważać?
- obecność artykułu w OpenReview nie oznacza, że został on zaakceptowany lub przeszedł pozytywnie peer review; platforma przechowuje również prace będące dopiero zgłoszeniami,
- zasady dostępu zależą od konkretnej konferencji, czasopisma lub warsztatu. Organizator może udostępnić zgłoszenia wszystkim albo ograniczyć je do autorów, recenzentów i komitetu programowego,
- również recenzje nie muszą być publiczne; organizator sam określa ich widoczność i może ujawnić je dopiero na określonym etapie procesu,
- OpenReview pozwala obsługiwać double-blind review, więc nazwiska autorów mogą być początkowo ukryte,
- rejected paper może nadal być interesującym materiałem badawczym, ale nie należy traktować go jak oficjalnie zaakceptowanej publikacji konferencyjnej,
- recenzja jest opinią konkretnego recenzenta, a nie samodzielnym potwierdzeniem prawdziwości lub fałszywości wyników pracy,
- wcześniejsza wersja artykułu w OpenReview może różnić się od późniejszej wersji camera-ready lub publikacji u oficjalnego wydawcy,
- przy cytowaniu warto sprawdzić, czy istnieje już finalna wersja konferencyjna lub czasopismowa i czy otrzymała DOI,
- OpenReview nie jest kompletną bazą literatury z AI ani informatyki; obejmuje tylko wydarzenia i czasopisma korzystające z tej infrastruktury.
Typ:
Platforma obsługi peer review, otwartego publikowania i komunikacji naukowej.
Dla kogo:
Studenci, doktoranci i badacze, szczególnie zajmujący się sztuczną inteligencją i machine learning, osoby śledzące najnowsze wyniki badań, autorzy chcący przeanalizować proces recenzowania konkretnych prac oraz badacze komunikacji naukowej i peer review.
Zawartość:
Zgłoszenia artykułów, pełne teksty prac, abstrakty, recenzje, metareview, odpowiedzi autorów, komentarze, decyzje konferencyjne oraz profile autorów i recenzentów. Platforma obsługuje cały workflow wydarzenia: od zgłoszenia publikacji przez przydzielanie recenzentów, recenzje i rebuttal po decyzję oraz przesłanie wersji camera-ready.
Pełny tekst:
Pełny tekst czasami. Publiczne zgłoszenia mogą zawierać kompletny artykuł w PDF, ale organizator wydarzenia może ograniczyć widoczność zgłoszeń. Dlatego dla całej platformy nie można przyjąć, że każdy rekord ma publicznie dostępny pełny tekst.
Dostęp:
Darmowe. OpenReview deklaruje bezpłatny dostęp do publicznych artykułów i brak opłat za składanie prac. Widoczność konkretnego zgłoszenia, recenzji lub komentarza zależy jednak od polityki danego wydarzenia.