Page History

...

Usługa syndykacji danych jest przeznaczona dla wszystkich badaczy i naukowców którzy są zainteresowani pozyskiwaniem dużych zbiorów danych z mediów społecznościowych. Usługa oferuje zbieranie danych z serwisu społecznościowego Twitter oraz portalu publicystycznego Salno24Salon24. Oprócz tego usługa oferuje funkcję Anotator, która pozwala na opisanie zbiorów danych dodatkowymi atrybutami - poprzez ręcznie anotowane klasy. Całość usługi pozwala na uzyskanie wartościowych zbiorów danych użytecznych do badań nad sieciami społecznościowymi. Zbiory danych są przechowywane w jednolitej strukturze danych, która zapewnia kompatybilność z innymi usługami platformy Complex Networks.

...

Usługa syndykacji działa w dwóch trybach: 1) Crawling oraz 2)  Crawling oraz Parsing. 

Crawling

Ten tryb służy do pobierania surowych danych z wybranego źródła. Każde źródło zostanie zapisane w postaci plików HTML w repozytorium danych (więcej strona więcej na stronie o repozytorium).

Podstawowymi parametrami usługi jest data początkowa oraz data końcowa okresu, z jakiego mają pochodzić dane. Usługa sprawdza datę publikacji i decyduje czy należy ją pobrać do zbioru użytkownika. Użytkownik ma także możliwość sparametryzować nazwę sparametryzowania nazwy pliku wyjściowego.

Pozostałe parametry są zmienne ze względu na heterogeniczność źródeł danych. Poniżej przedstawione są parametry poszczególnych źródeł [parametr_zalecany/parametr]:

...

Zbieraj statusy - [TAK/NIE] parametr określa czy parsowane posty mają mieć zbierane również dane o statusie społecznym (statusy w mediach społecznościowych Facebook, Twitter, Google+). Wymaga to jednak dodatkowego łączenia się z tymi serwisami, co znacznie spowalnia pracę usługi.

Podgląd uruchomionych zadań

Po uruchomieniu zadania, możemy sprawdzić jego status przechodząc do listy zadań w zakładce menu górnego [Zadania] -> [Moje zadania]

...

Bezpośrednio po uruchomieniu zadanie będzie posiadało status QUEUED. 

Statusy zadań:

• QUEUED - zadanie czeka w kolejce na uruchomienie,
• RUNNING - zadanie jest w trakcie wykonywania,
• FAILED - zadanie zakończyło się błędem w trakcie wykonywania,
• FINISHED - zadanie zakończyło się poprawnie.

Jeżeli zadanie ma status FINISHED FINISHED,możliwe jest pobranie wyników zadania. Aby pobrać wyniki należy wybrać w górnym menu pozycję Repozytorium i przejść do Community Complex Networks i kolekcji Syndykacja. Więcej informacji w rozdziale podręcznika opisującym Repozytorium.

...

Aby skorzystać z opcji Anotatora patrz podręcznik Anotatora.