TŁO: Wobec braku skonsolidowanych systemów archiwizacji danych biologicznych biologicznych, informacje rozproszone w literaturze muszą być przechwytywane przez ręczną adnotację. Niestety, ręczna adnotacja jest czasochłonna, a pokrycie pokrycie opublikowanych danych dotyczących interakcji jest zatem dalekie od kompletności. Wykorzystanie narzędzi do eksploracji tekstu w celu zidentyfikowania odpowiednich publikacji i pomocy w wstępnej ekstrakcji informacji mogłoby pomóc w poprawie wydajności procesu a w konsekwencji pokrycie bazy danych danymi dostępnymi w literaturze. w literaturze. Konkurs BioCreative 2006 miał na celu ocenę w porównaniu z ręczną adnotacją interakcji białko-białko. interakcji białko-białko. WYNIKI: Aby wspomóc zadanie BioCreative dotyczące interakcji białko-białko, IntAct i MINT (Molecular INTeraction) dostarczyły zarówno treningowe, jak i testowe zbiory danych. Dane z obu baz danych są porównywalne, ponieważ zostały opracowane zgodnie z tymi samymi standardami. zgodnie z tymi samymi standardami. Podczas ręcznego procesu kuratorskiego główną przyczyną utraty danych podczas wyszukiwania informacji w artykułach była niejednoznaczność w mapowaniu nazw genów na nazw genów do stabilnych identyfikatorów bazy danych UniProtKB. Zaobserwowano również, że że większość informacji o interakcjach była zawarta tylko w pełnym tekście publikacji. pełnym tekście publikacji; w związku z tym eksploracja tekstu interakcji białko-białko interakcji białko-białko będzie wymagało analizy pełnego tekstu artykułów i nie może być i nie może ograniczać się do abstraktu. WNIOSEK: Opracowanie narzędzi do eksploracji tekstu w celu wyodrębnienia informacji o interakcjach białko-białko informacji o interakcjach białko-białko może zwiększyć zasięg literatury osiągnięty dzięki ręcznemu ręczną. Aby wesprzeć społeczność zajmującą się eksploracją tekstu, bazy danych będą wyróżniać te zdania w artykułach, które opisują interakcje. Dostarczą one w wysokiej jakości zbiór danych do rozwoju algorytmów. Ponadto, słownik terminów stworzony przez konkurentów BioCreative może wzbogacić listę synonimów PSI-M. listę synonimów kontrolowanego słownika PSI-MI (Proteomics Standards Initiative-Molecular Interactions), która jest używana przez obie bazy danych do adnotowania zawartości danych. ich danych. --- TŁO: Ewaluacja wyzwania BioCreative jest ogólnospołecznym wysiłkiem na rzecz oceny systemów eksploracji tekstu i ekstrakcji informacji stosowanych w domenie domenie biologicznej. Społeczność biokuratorów, jako aktywny użytkownik literatury biomedycznej, stanowi zróżnicowaną i zaangażowaną grupę użytkowników końcowych. literatury biomedycznej, stanowi zróżnicowaną i zaangażowaną grupę użytkowników końcowych narzędzi do eksploracji tekstu. Wcześniejsze wyzwania BioCreative angażowały wiele zespołów zajmujących się eksploracją tekstu w rozwój podstawowych możliwości związanych z kuratelą biologiczną, ale nie dotyczyły one nie odnosiły się do kwestii użytkowania systemu, wprowadzania go do przepływu pracy i przyjmowania przez kuratorów. W związku z tym w BioCreative III (BC-III) wprowadzono zadanie InterActive Task (IAT) w celu użyteczności narzędzi do eksploracji tekstu dla rzeczywistych zadań biokuratorskich. zadań. Aby wesprzeć cele IAT w BC-III, poproszono o zaangażowanie zarówno deweloperów, jak i użytkowników końcowych. i użytkowników końcowych, a także opracowanie interfejsu użytkownika do interaktywnego rozwiązywania zadań. zadań w sposób interaktywny. WYNIKI: Grupa doradcza użytkowników (UAG) aktywnie uczestniczyła w projektowaniu i ocenie IAT. ocenie. Zadanie koncentrowało się na normalizacji genów (identyfikacja wzmianek o genach w w artykule i powiązaniu tych genów ze standardowymi identyfikatorami bazy danych), rankingu genów na podstawie ranking oparty na ogólnym znaczeniu każdego genu wymienionego w artykule, i wyszukiwanie dokumentów zorientowanych na geny (identyfikacja pełnotekstowych artykułów istotnych dla wybranego genu). wybranych genów). W badaniu wzięło udział sześć systemów, z których wszystkie przetwarzały i wyświetlały ten sam zestaw artykułów. Artykuły zostały wybrane na podstawie treści, o których wiadomo, że są problematyczne, takie jak niejednoznaczność nazw genów, uwzględnienie wielu genów i gatunków lub wprowadzenie genów i gatunków lub wprowadzenie nowej nazwy genu. Członkowie UAG kuratorowali trzy artykuły do celów szkoleniowych i oceny, a każdy członek został przydzielono system do przeglądu. Kwestionariusz dotyczący użyteczności interfejsu i wydajności zadania (mierzonej precyzją i przywołaniem) udzielono odpowiedzi po systemy zostały wykorzystane do selekcji artykułów. Chociaż ograniczona liczba analizowanych artykułów analizowanych artykułów i użytkowników zaangażowanych w eksperyment IAT uniemożliwiła rygorystyczną analizę rygorystyczną analizę ilościową wyników, analiza jakościowa dostarczyła cennego wgląd w niektóre problemy napotykane przez użytkowników podczas korzystania z systemów. Ogólna ocena wskazuje, że funkcje użyteczności systemu spodobały się większości użytkowników, ale większości użytkowników, ale wydajność systemu była nieoptymalna (głównie z powodu niskiej dokładności normalizacji genów). dokładność normalizacji genów). Niektóre z problemów obejmowały niepowodzenie identyfikacji gatunków i niejednoznaczności nazw genów w zadaniu normalizacji genów, co prowadziło do do przeglądu obszernej listy identyfikatorów genów, która w niektórych przypadkach nie zawierała odpowiednich genów. nie zawierała odpowiednich genów. Wyszukiwanie dokumentów cierpiało na te same niedociągnięcia. UAG opowiedział się za osiągnięciem wysokiej wydajności (mierzonej precyzją i recall), ale zdecydowanie zalecił dodanie funkcji, które ułatwiają identyfikację prawidłowego genu i jego identyfikatora, takich jak kontekstowe kontekstowe, aby pomóc w ujednoznacznieniu. DYSKUSJA: Test IAT był pouczającym ćwiczeniem, które przyspieszyło dialog między kuratorami i deweloperami między kuratorami i programistami oraz zwiększyło świadomość wyzwań stojących przed każdą z grup. każdej z grup. Głównym wnioskiem było to, że docelowi użytkownicy powinni być aktywnie powinni być aktywnie zaangażowani w każdą fazę rozwoju oprogramowania i będzie to silnie w przyszłych zadaniach. Zadanie IAT zapewnia pierwsze kroki w kierunku definicji metryk i wymagań funkcjonalnych, które są niezbędne do zaprojektowania formalnej oceny interaktywnych systemów kuratorskich w wyzwaniu BioCreative IV. --- Istnieje coraz większe zainteresowanie opracowywaniem ontologii i słowników kontrolowanych słowników w celu poprawy wydajności i spójności ręcznej literatury, aby umożliwić bardziej formalne wyniki przepływu pracy biokuratorskiej i ostatecznie poprawić analizę danych biologicznych. Dwie ontologie, które zostały z powodzeniem są Ontologia Genów (GO) do adnotacji aspektów produktów genowych i Ontologia Interakcji Molekularnych. produktów genowych oraz ontologia interakcji molekularnych (PSI-MI) wykorzystywana przez bazy danych, które które archiwizują interakcje białko-białko. Badanie interakcji białkowych okazało się niezwykle obiecujące dla zrozumienia procesów komórkowych. procesów komórkowych. Ręczne mapowanie informacji z literatury biomedycznej na terminy terminom z zakresu bioontologii jest jednym z najtrudniejszych elementów procesu archiwizacji. kuratorskiego. Wymaga to od kuratorów-ekspertów interpretacji opisów w języku naturalnym opisy zawarte w artykułach i wnioskowanie o ich semantycznych odpowiednikach w ontologii (słownictwie kontrolowanym). ontologii (słownictwie kontrolowanym). Ponieważ ręczna kuratela jest procesem czasochłonnym procesem czasochłonnym, istnieje silna motywacja do wdrożenia technik eksploracji tekstu w celu automatycznego wyodrębniania adnotacji z wolnego tekstu. Opracowano szereg strategii eksploracji tekstu został opracowany, aby pomóc w automatycznej ekstrakcji danych biologicznych. danych biologicznych. Strategie te albo rozpoznają terminy techniczne używane wielokrotnie w literaturze w literaturze i proponują je jako kandydatów do włączenia do ontologii lub pobierają fragmenty, które służą jako wsparcie dowodowe dla adnotacji terminu ontologii, np. z kontrolowanych słowników PSI-MI lub GO. Tutaj przedstawiamy ogólny przegląd aktualnych metod eksploracji tekstu w celu automatycznego wyodrębniania adnotacji terminów ontologii GO i PSI-MI w kontekście projektu BioCreative (Krytyczna ocena systemów ekstrakcji informacji w biologii). Szczególny nacisk położono na dane dotyczące interakcji białko-białko i terminy PSI-MI odnoszących się do metod wykrywania interakcji. --- Informacje o autorze: (1)National Center for Biotechnology Information, National Library of Medicine, National Institutes of Health, Bethesda, MD 20894, USA. (2)Institute for Research in Immunology and Cancer, Université de Montréal, Montréal, QC H3C 3J7, Kanada. (3) Lewis-Sigler Institute for Integrative Genomics, Princeton University, Princeton, NJ 08544, USA. (4)National Centre for Text Mining, School of Computer Science, University of Manchester, Manchester, Wielka Brytania. (5)DETI/IEETA, University of Aveiro, Campus Universitário de Santiago, 3810-193 Aveiro, Portugalia. (6) BMD Software, Lda, Rua Calouste Gulbenkian 1, 3810-074 Aveiro, Portugalia. (7) Graduate Institute of Biomedical Informatics, College of Medical Science and Technology, Taipei Medical University, Tajpej. Technology, Taipei Medical University, Taipei, Tajwan. (8) School of Public Health and Community Medicine, University of New South Wales, Kensington NSW Walii, Kensington NSW 2033, Australia Prince of Wales Clinical School, Uniwersytet Nowej Południowej Walii, Kensington NSW 2033, Australia. (9)Department of Computer Science and Information Engineering, National Taitung University, Taitung, Tajwan. (10)Institute of Information Science, Academia Sinica, Taipei, Taiwan Department of Information Management, National Taiwan University, Taitung, Tajwan. Zarządzania Informacją, National Taiwan University, Tajpej, Tajwan. (11)Department of Computer Science, National Tsing Hua University, Hsinchu, Tajwan. (12) Instytut Nauk Informacyjnych, Academia Sinica, Tajpej, Tajwan. (13)Department of Information Management, National Taiwan University, Taipei, Tajwan. (14)Computer & Information Sciences, University of Delaware, Newark, DE 19716, USA. (15)Computer & Information Sciences, University of Delaware, Newark, DE 19716, USA Centrum Bioinformatyki i Biologii Obliczeniowej, University of Delaware, Newark, DE 19716, USA. (16)Department of Computer Engineering, Boğaziçi University, Bebek, 34342 Istambuł, Turcja. (17)Department of Biomedical Informatics, Asan Medical Center, 138-736 Seoul, Korea Południowa. (18)Department of Computer Engineering, Myongji University, 449-728 Yongin, Korea Południowa. (19)Institute for Research in Immunology and Cancer, Université de Montréal, Montréal, QC H3C 3J7, Kanada The Lunenfeld-Tanenbaum Research Institute, Mount Sinai Hospital, Toronto, Ontario, Kanada. (20)National Center for Biotechnology Information, National Library of Medicine, National Institutes of Health, Bethesda, MD 20894, USA comeau@ncbi.nlm.nih.gov. --- TŁO: Ogromna ilość danych opublikowanych w podstawowej literaturze biomedycznej stanowi wyzwanie dla zautomatyzowanej ekstrakcji i kodyfikacji poszczególnych elementów danych. Biologiczne bazy danych, które opierają się wyłącznie na ręcznej ręcznej ekstrakcji przez kuratorów-ekspertów nie są w stanie kompleksowo opisać informacji rozproszonych w całej literaturze biomedycznej. Rozwój wydajnych narzędzi opartych na systemach przetwarzania języka naturalnego (NLP) jest niezbędne do wyboru odpowiednich publikacji, identyfikacji atrybutów danych i częściowo zautomatyzowanej anotacji. atrybutów danych i częściowo zautomatyzowanej adnotacji. Jednym z zadań konkursu Biocreative 2010 Challenge III było poświęcone ocenie systemów NLP opracowanych w celu identyfikacji artykułów do kuratorowania i ekstrakcji danych o interakcjach białko-białko (PPI). interakcji białko-białko (PPI). WYNIKI: Konkurs Biocreative 2010 obejmował trzy zadania: normalizację genów normalizacja genów, klasyfikacja artykułów i identyfikacja metod interakcji. The Bazy danych interakcji białkowych BioGRID i MINT uczestniczyły w generowaniu w generowaniu testowego zestawu publikacji do normalizacji genów, anotowały i testowych dla klasyfikacji artykułów oraz kuratorowały zestaw testowy dla klasyfikacji metod interakcji. Te testowe zestawy danych służyły jako złoty standard do oceny algorytmów ekstrakcji danych. WNIOSEK: Opracowanie skutecznych narzędzi do ekstrakcji danych PPI jest niezbędnym krokiem do osiągnięcia pełnej niezbędnym krokiem do osiągnięcia pełnej kurateli nad literaturą biomedyczną. SYSTEMY NLP mogą w pierwszej kolejności ułatwić opiekę ekspercką poprzez udoskonalenie listy listę kandydujących publikacji, które zawierają dane PPI; bardziej ambitne podejścia NLP mogą być w stanie bezpośrednio wyodrębnić istotne informacje z pełnotekstowych z pełnotekstowych artykułów w celu szybkiej inspekcji przez kuratorów-ekspertów. Ścisła współpraca między biologicznymi bazami danych i twórcami systemów NLP będzie nadal ułatwiać realizację długoterminowych celów obu dyscyplin. długoterminowe cele obu dyscyplin. --- Przedstawiamy system oparty na maksymalnej entropii do identyfikacji nazwanych jednostek (NE) w abstraktach biomedycznych i przedstawiamy jego wydajność w jedynych dwóch biomedycznych ocenach porównawczych biomedycznych ocenach porównawczych rozpoznawania encji nazwanych (NER), które odbyły się do a mianowicie BioCreative i Coling BioNLP. Nasz system uzyskał wynik dokładnego dopasowania F na poziomie 83,2% w ocenie BioCreative i 70,1% w ocenie BioNLP i 70,1% w ocenie BioNLP. Szczegółowo omawiamy nasz system, w tym jego bogate wykorzystanie lokalnych cech, dbałość o poprawną identyfikację granic, innowacyjne wykorzystanie zewnętrznych zasobów wiedzy, w tym parsowania i wyszukiwania w sieci, oraz szybką adaptację do nowych zestawów NE. Omawiamy również dogłębnie problemy z anotacją danych, które spowodowały, że końcowa wydajność była niższa niż optymalna. niższa niż optymalna. --- Białka i ich interakcje regulują praktycznie wszystkie procesy komórkowe, takie jak regulacja, sygnalizacja, metabolizm i struktura. Większość wyników badań eksperymentalnych odnoszących się do takich interakcji jest omawiana w artykułach naukowych, które z kolei są z kolei są kuratorowane przez bazy danych interakcji białkowych. Autorzy, redaktorzy i i wydawcy odnoszą korzyści z wysiłków mających na celu złagodzenie zadań związanych z wyszukiwaniem odpowiednich artykułów, dowodów na fizyczne interakcje i właściwych identyfikatorów dla każdego zaangażowanego białka. białka. Wyzwanie społeczności BioCreative II.5 dotyczyło tych zadań w ramach oceny konkursowej, aby ocenić i porównać różne metodologii, aby uświadomić sobie rosnącą dokładność zautomatyzowanych metod, i ukierunkować przyszłe wdrożenia. W tym artykule przedstawiamy nasze podejścia do rozpoznawania jednostek nazwanych białek, w tym normalizacji, oraz do ekstrakcji interakcji białko-białko z pełnego tekstu. Naszym ogólnym celem jest jest zidentyfikowanie wydajnych poszczególnych komponentów i porównanie różnych kompozycji aby obsłużyć pojedynczy artykuł pełnotekstowy w czasie od 10 sekund do 2 minut. My proponujemy strategie przenoszenia adnotacji na poziomie dokumentu na poziom zdania, co pozwala na stworzenie bardziej szczegółowego korpusu szkoleniowego; używamy tego korpusu do automatycznego tego korpusu do automatycznego wyprowadzenia około 5000 wzorców. Uszeregowaliśmy zdania według istotności dla zadania znalezienia nowych interakcji z dowodami fizycznymi, przy użyciu klasyfikatora zdań zbudowanego na podstawie tego korpusu szkoleniowego. Heurystyka dla parafrazowania zdań pomaga w dalszym usuwaniu niepotrzebnych informacji, które mogą zakłócać wzorce, takie jak dodatkowe przymiotniki, klauzule lub nawiasy wyrażenia. W BioCreative II.5 osiągnęliśmy wynik f na poziomie 22 procent dla interakcji białkowych i 43 procent dla mapowania białek do identyfikatorów UniProt pomijając gatunki, wyniki f-score wynoszą odpowiednio 30% i 55%. Nasza najlepsza konfiguracja wymagała średnio około 2 minut na pełny tekst. Wszystkie zestawy danych i wzorców, a także klasy Java, które rozszerzają oprogramowanie innych firm są dostępne jako informacje uzupełniające (patrz Dodatek). --- TŁO: Nauki o genomie doświadczyły rosnącego zapotrzebowania na wydajne narzędzia do przetwarzania tekstu, które mogą wyodrębnić istotne biologicznie informacje z z rosnącej ilości publikowanej literatury. W odpowiedzi opracowano szereg narzędzi do eksploracji tekstu i narzędzia do ekstrakcji informacji zostały niedawno opracowane specjalnie dla domeny biologicznej. Takie narzędzia są przydatne tylko wtedy, gdy są zaprojektowane tak, aby sprostać rzeczywistych zadań i jeśli ich wydajność można oszacować i porównać. Wyzwanie Wyzwanie BioCreative (Krytyczna ocena ekstrakcji informacji w biologii) składa się ze wspólnej inicjatywy mającej na celu zapewnienie wspólnych ram oceny do monitorowania i oceny najnowocześniejszych systemów eksploracji tekstu stosowanych do rozwiązywania problemów o znaczeniu biologicznym. WYNIKI: Druga edycja BioCreative (2006-2007) przyciągnęła 44 zespoły z 13 krajów świata. z 13 krajów na całym świecie, których celem była ocena aktualnych systemów technologii wydobywania informacji / eksploracji tekstu opracowanych dla jednego lub więcej z trzech zadań trzech zadań zdefiniowanych dla oceny tego wyzwania. Zadania te obejmowały rozpoznawanie wzmianek o genach w abstraktach (zadanie dotyczące wzmianek o genach); wyodrębnianie unikalnych identyfikatorów dla ludzkich genów wspomnianych w abstraktach (zadanie normalizacji genów); i wreszcie (zadanie normalizacji genów); i wreszcie ekstrakcję fizycznych interakcji białko-białko interakcji białko-białko (zadanie interakcji białko-białko). Dane "złotego standardu" wykorzystane do oceny zgłoszeń do trzeciego zadania zostały przez bazy danych interakcji MINT (Molecular Interaction Database) i IntAct. IntAct. WNIOSKI: Druga ocena BioCreative prawie podwoiła liczbę uczestników dla każdego uczestników dla każdego indywidualnego zadania w porównaniu z pierwszą oceną BioCreative BioCreative. Zaobserwowano ogólną poprawę pod względem zrównoważonej precyzji i przywoływania. zaobserwowano w przypadku najlepszych zgłoszeń dotyczących wymieniania genów (wynik F 0,87); w przypadku zadania normalizacji genów normalizacji genów, najlepsze wyniki były porównywalne (wynik F 0,81) w porównaniu z wynikami uzyskanymi dla podobnych zadań w pierwszym wyzwaniu BioCreative BioCreative. W przypadku zadania dotyczącego interakcji białko-białko, znaczenie i trudności i trudności eksperymentalnie potwierdzonej ekstrakcji adnotacji z pełnotekstowych artykułów z pełnotekstowych artykułów, uzyskując różne wyniki w zależności od etapu etapu ekstrakcji adnotacji. Wspólną cechą zaobserwowaną we wszystkich trzech zadaniach było to, że kombinacja wyników systemu mogła dać lepsze wyniki niż pojedynczy system. niż jakikolwiek pojedynczy system. Wreszcie, rozwój pierwszego metaserwera do eksploracji tekstu był promowany w kontekście tego wyzwania społeczności. --- TŁO: Naukowcy i firmy zajmujące się biomedycyną i genomiką coraz częściej stają przed problemem wydajnej biomedycyny i genomiki coraz częściej stają przed problemem skutecznego zlokalizowania, w ogromnym zbiorze opublikowanych wyników badań naukowych, krytycznych informacji, które są potrzebne do kierowania obecnymi i przyszłymi inwestycjami badawczymi. inwestycji. WYNIKI: W niniejszym raporcie opisujemy podejścia podjęte w ramach drugiego konkursu drugiego konkursu BioCreative w celu rozwiązania dwóch aspektów tego problemu: wykrywanie nowych interakcji białkowych opisanych w artykułach naukowych oraz wykrywanie metody eksperymentalnej, która została użyta do potwierdzenia interakcji. Nasze podejście do tego pierwszego problemu opiera się na etapie anotacji białek o wysokiej po której następują dwa etapy ujednoznaczniania. Pozostałe białka są następnie łączone zgodnie z szeregiem filtrów leksykalno-syntaktycznych, które dostarczają filtry leksykalno-syntaktyczne, które zapewniają wysoką precyzję wyników przy jednoczesnym utrzymaniu rozsądnej skuteczności. Wykrywaniem białek eksperymentalnych jest rozwiązywane przez podejście dopasowywania wzorców, które dało najlepsze wyniki w oficjalnej ocenie BioCreative. WNIOSEK: Chociaż wyniki BioCreative wyraźnie pokazują, że żadne narzędzie nie jest wystarczająco wystarczająco niezawodne do w pełni zautomatyzowanych adnotacji, kilka z proponowanych podejść (w tym nasze własne) podejść (w tym nasze własne) działa już na konkurencyjnym poziomie. To jako samodzielne narzędzia do wstępnej inspekcji dokumentów lub jako moduły w środowisku wstępnej inspekcji dokumentów lub jako moduły w środowisku mającym na celu wsparcie procesu kuratorskiego literatury biomedycznej. --- TŁO: Ogólnym celem warsztatów BioCreative jest promowanie narzędzi do eksploracji i przetwarzania tekstu, które są przydatne dla społeczności badaczy i kuratorów baz danych w naukach biologicznych. społeczności badaczy i kuratorów baz danych w naukach biologicznych. W tym celu BioCreative I odbył się w 2004 r., BioCreative II w 2007 r., a BioCreative II.5 w 2009 roku. Każdy z tych warsztatów obejmował dane testowe z ludzkimi adnotacjami dla kilku podstawowych zadań eksploracji tekstu w literaturze biomedycznej. Uczestnicy warsztatów zostali zaproszeni do rywalizacji w zadaniach poprzez konstruowanie systemów oprogramowania do automatycznego wykonywania zadań i otrzymywali w oparciu o ich wydajność. Wyniki tych warsztatów przyniosły korzyści społeczności na kilka sposobów. 1) dostarczyły dowodów na najbardziej najskuteczniejszych obecnie dostępnych metod rozwiązywania konkretnych problemów; 2) ujawniły 2) ujawniły aktualny stan wiedzy na temat wydajności tych problemów; 3) i dostarczyły danych i wyników, na podstawie których można ocenić przyszłe postępy. przyszłe postępy. Niniejsze wydanie specjalne zawiera artykuły przeglądowe dotyczące trzech zadań BioCreative III. WYNIKI: Warsztaty BioCreative III odbyły się we wrześniu 2010 roku i kontynuowały tradycję oceny wyzwań w kilku zadaniach uznanych za podstawowe do skutecznej eksploracji tekstu w biologii, w tym zadania normalizacji genów (GN) i dwa zadania dotyczące interakcji białko-białko (PPI). Łącznie w warsztatach wzięły udział pracę dwudziestu trzech zespołów. Trzynaście zespołów wzięło udział w zadaniu GN, które wymagało przypisania identyfikatorów EntrezGene do wszystkich nazwanych genów w artykułach pełnotekstowych bez dostarczania do systemu jakichkolwiek informacji o gatunku. Dziesięć zespołów uczestniczyło w zadaniu klasyfikacji artykułów PPI (ACT), które wymagało od systemu sklasyfikowania i uszeregowania rekordu PubMed® jako należącego do artykułu posiadającego lub nieposiadającego informacji "istotnych dla PPI". Osiem zespołów wzięło udział w zadaniu (IMT), w którym systemy otrzymywały pełnotekstowe dokumenty i były zobowiązane do i były zobowiązane do wyodrębnienia metod eksperymentalnych użytych do ustalenia IPP i segmentu tekstu segment tekstu wspierający każdą taką metodę. Złoty standard danych został opracowany dla dla każdego z tych zadań, a uczestnicy rywalizowali w opracowywaniu systemów do automatycznego wykonywania zadań. BioCreative III wprowadził również nowe zadanie interaktywne (IAT), uruchamiane jako (IAT), uruchomione jako zadanie demonstracyjne. Celem było opracowanie interaktywnego systemu interaktywnego systemu, aby ułatwić użytkownikowi adnotację unikalnych identyfikatorów bazy danych dla wszystkich genów pojawiających się w artykule. Zadanie to obejmowało uszeregowanie genów według ważności (najlepiej w oparciu o ilość opisanych informacji eksperymentalnych dotyczących genów). dotyczących genów). Istniało również opcjonalne zadanie, które miało pomóc użytkownikowi w znalezieniu w znalezieniu najistotniejszych artykułów na temat danego genu. W przypadku BioCreative III, użytkownik grupa doradcza użytkowników (UAG), która odegrała ważną rolę 1) w tworzeniu niektórych złotych standardów adnotacji dla zadania GN, 2) w krytyce systemów IAT oraz 3) w dostarczaniu wskazówek dla przyszłej, bardziej rygorystycznej oceny systemów IAT. systemów IAT. Sześć zespołów wzięło udział w zadaniu demonstracyjnym IAT i otrzymało informacje zwrotne na temat swoich systemów od grupy UAG. Oprócz innowacji w zadaniach GN i PPI, czyniąc je bardziej realistycznymi i praktycznymi oraz wprowadzeniem zadania IAT, rozpoczęto dyskusje na temat standardów danych społeczności w celu promowania interoperacyjności oraz na temat wymagań użytkowników i wskaźników oceny w celu użyteczności i przydatności systemów. WNIOSKI: W niniejszym artykule przedstawiliśmy krótką historię warsztatów BioCreative oraz ich związek z innymi konkursami dotyczącymi eksploracji tekstu w biologii. Następnie następnie streszczenie trzech zadań GN, PPI i IAT w BioCreative III wraz z danymi liczbowymi dotyczącymi najlepszych wyników uczestników w zadaniach GN i PPI. Wyniki te wyniki są omawiane i porównywane z wynikami z poprzednich warsztatów BioCreative III. i doszliśmy do wniosku, że najlepiej działające systemy dla GN, PPI-ACT i PPI-IMT w realistycznych warunkach nie są wystarczające do w pełni automatycznego użytku. To dostarcza dowodów na znaczenie systemów interaktywnych i przedstawiamy naszą wizję tego, jak najlepiej skonstruować interaktywny system dla zadania podobnego do GN lub PPI w dalszej części artykułu.
Czym jest BioCreative?
Ogólnospołeczny wysiłek na rzecz oceny ekstrakcji informacji biomedycznych i eksploracji tekstu.