Jak wizualizować złożone dane w systemie Linux

Spisie treści:

Anonim

Prawdopodobnie słyszałeś o Elasticsearch - wyszukiwarce, która umożliwia indeksowanie, a następnie szybkie przeszukiwanie danych. Być może stworzyłeś kilka wizualizacji w Kibanie, GUI dla Elasticsearch, wskazując i klikając na elegancki interfejs.

Być może nie użyłeś mniej znanej wtyczki wizualizacyjnej o nazwie Timelion.

Timelion to fantastyczne narzędzie do tworzenia wizualizacji, które umożliwia pisanie zapytań w prostym i wydajnym języku wyrażeń do wyświetlania wykresów. Służy do wyświetlania danych szeregów czasowych, takich jak wzrost liczby ludności lub odwiedziny w Twojej witrynie.

  • Oto lista najlepszych laptopów dla programistów
  • Sprawdź te najlepsze dystrybucje dla programistów
  • Z łatwością przejmuj liczby na tych najlepszych stacjach roboczych
O tym artykule

Ten artykuł pojawił się po raz pierwszy w Linux Format Magazine, numer 269, opublikowany w listopadzie 2022-2023 r.

Dzięki Timelionowi możemy obliczyć średnie kroczące, wyświetlić różnicę między danymi z ostatniego tygodnia i dzisiejszego oraz wykonać podstawowe wykrywanie anomalii. To przydatne narzędzie do pracy. Zacznijmy.

Instalacja

Jeśli jesteś zwykłym czytnikiem formatu Linux, istnieją przykłady tworzenia klastra w Docker w LXF261.

W przeciwnym razie instalacja Elasticsearch i Kibana jest stosunkowo prosta. Jedynym wymaganiem jest Java, którą być może już zainstalowałeś.

Jeśli nie, proste sudo apt install default-jre zainstaluje je na dystrybucjach opartych na Debianie lub sudo dnf install java powinno zrobić to samo dla rodziny dystrybucji Red Hat.

Następnie wystarczy pobrać najnowszą wersję Elasticsearch i Kibana dla żądanego smaku systemu operacyjnego.

W chwili pisania tego tekstu najnowsza wersja to kibana-7.8.1-linux-x86_64.tar.gz.

Możesz go rozpakować za pomocą tar -xvzf kibana-7.8.1-linux-x86_64.tar.gz, przejść do wyodrębnionego katalogu i uruchomić ./bin/kibana &, aby uruchomić instancję Kibana.

Kiedy wykonałeś dokładnie te same kroki, aby skonfigurować Elasticsearch, zastępując „kibana” dla „flexiblesearch”, powinieneś być w stanie przejść do http: // localhost: 5601 w swojej ulubionej przeglądarce i zobaczyć nowy, lśniący interfejs Kibana do gry wokół z.

Jeśli wolisz instalować pakiety za pomocą menedżera pakietów, to samo łącze co poprzednio zawiera informacje o dodawaniu repozytorium Elastic do systemu i instalowaniu w ten sposób pakietów Kibana i Elasticsearch.

Możesz nakładać wykresy jeden na drugi i używać formatowania, aby uzyskać jak najlepszy wygląd wykresów.

Zdobądź trochę danych

Najnowsze wersje Kibana umożliwiają automatyczne pozyskiwanie zestawów danych do naszego klastra za pomocą wizualizatora danych zamiast konieczności tworzenia skryptu lub konfiguracji Logstash. Może obsługiwać zbiory danych w formacie JSON lub CSV, a także niektóre standardowe pliki dziennika, takie jak dzienniki Apache. Jedynym ograniczeniem jest to, że mają mniej niż 100 MB. To więcej niż wystarczające do naszych celów.

Będziemy korzystać ze zbioru danych dotyczących przypadków Covid-19 z całego świata z Portalu Otwartych Danych UE. Pobraliśmy plik CSV z sekcji Zasoby strony.

Jeśli masz problemy, możesz zamiast tego pobrać wersję Excel .xlsx, otworzyć ją w programie LibreOffice Calc i zapisać w formacie Text CSV (.csv). Dostępna jest również wersja JSON do pobrania, której możesz użyć jako alternatywy.

Aby przejść do wizualizatora danych w Kibanie, kliknij ikonę hamburgera w lewym górnym rogu, a następnie uczenie maszynowe i wreszcie wizualizator danych. Następnie kliknij Prześlij plik w polu Importuj dane, a następnie wybierz lub przeciągnij i upuść plik i wybierz plik CSV do przetworzenia.

Po krótkiej analizie pokaże statystyki, które wykryto z pierwszych 1000 wierszy pliku CSV. Będzie to format, w jakim według niego znajduje się każde z pól, na przykład tekst, data lub liczba, i zaznacz najważniejsze wartości znalezione w polach.

Zwykle dobrze sobie z tym radzi. Jeśli potrzebujesz wprowadzić jakiekolwiek zmiany, możesz kliknąć Zastąp ustawienia, aby zmienić - na przykład nazwę pola, która zostanie ustawiona w Elasticsearch.

Jedna nazwa pola, którą powinniśmy zastąpić, to dateRep, która reprezentuje datę obliczonej liczby w naszym zbiorze danych. Timelion nie będzie wiedział, jak domyślnie używać tego pola jako pola czasu, więc możemy później uprościć swoje życie, zmieniając teraz nazwę tego pola na coś, co będzie rozpoznawać.

Dobry kandydat jest znak czasu. Kliknij Zastosuj, aby to ustawić. Jeśli jesteś zadowolony z tego, jak wygląda reszta, kliknij Importuj u dołu, nadaj indeksowi nazwę - wybraliśmy covid - a następnie ponownie kliknij Importuj, aby pobrać dane do klastra.