Latający premierzy

library(tidyverse)
library(pdftools)

# lista plików PDF
file_names <- c("dane/pbs.pdf", "dane/pdt.pdf", "dane/pek.pdf", "dane/pmm.pdf")

# tutaj będziemy trzymać pełne dane
complete = c()

# dla każdego kolejnego pliku:
for(file_name in file_names) {
  # wczytujemy PDFa
  pdf <- pdf_text(file_name)

  # miejsce na linie z aktualnie przerabianego pliku
  full <- c()

  # dla każdej ze stron w pliku
  for(i in 1:length(pdf)) {
    # dzielimy stronę na linie
    temp <- str_split(pdf[i], "\n")[[1]]
    # dodajemy linie z bierzącej strony do linii z całego pliku
    full <- c(full, temp)
  }

  # usuwamy puste linie
  full <- full[nchar(full) != 0]

  # więcej niż jedna spacja zostaje zamieniona na ;
  full <- gsub(pattern = " +", ";", full)

  # dodajemy kolumnę z nazwą pliku
  full <- paste0(full, ";", file_name)

  # dodajemy linie pliku do pełnych danych
  complete <- c(complete, full)
}

# zapisujemy pełne dane do pliku CSV
write_lines(complete, "dane/zapis.csv")

library(tidyverse)

# poprawnione ręcznie dane
df <- read_csv2("dane/zapis.csv")

# położenie lotnisk z http://ourairports.com/
lotniska <- read_csv("dane/airports.csv")

# przygotowanie danych
loty <- df %>%
  # rozdzielenie tracy na kolejne lotniska
  mutate(trasa = str_split(trasa, "-")) %>%
  unnest(trasa)

count(loty, trasa, sort = TRUE)

loty %>%
  distinct(trasa) %>%
  left_join(lotniska %>% select(ident, name),
            by = c("trasa" = "ident"))

library(tidyverse)
library(lubridate)

# poprawnione ręcznie dane
df <- read_csv2("dane/zapis.csv")

# położenie lotnisk z http://ourairports.com/
lotniska <- read_csv("dane/airports.csv")

# przygotowanie danych
loty <- df %>%
  # rozdzielenie tracy na kolejne lotniska
  mutate(trasa = str_split(trasa, "-")) %>%
  unnest(trasa) %>%
  select(data, kto, lotnisko_z=trasa) %>%
  # przesuwamy o jeden lotniska
  group_by(kto, data) %>%
  mutate(lotnisko_do = lead(lotnisko_z)) %>%
  filter(!is.na(lotnisko_do)) %>%
  filter(lotnisko_do != lotnisko_z) %>%
  ungroup() %>%
  # dodajemy położenie dla lotniska źródłowego i docelowego
  left_join(lotniska %>%
              select(ident, lat_z=latitude_deg, long_z=longitude_deg, miasto_z=municipality),
            by = c("lotnisko_z" = "ident")) %>%
  left_join(lotniska %>%
              select(ident, lat_do=latitude_deg, long_do=longitude_deg, miasto_do=municipality),
            by = c("lotnisko_do" = "ident")) %>%
  # wybieramy potrzebne kolumny
  select(kto, data, lotnisko_z, lotnisko_do, lat_z, long_z, miasto_z, lat_do, long_do, miasto_do) %>%
  # usuwamy niedopasowane lotniska - uwaga: tracimy część danych!
  na.omit() %>%
  # budujemy trasę przelotu
  mutate(lot = paste0(miasto_z, " - ", miasto_do)) %>%
  # poprawiamy format daty
  rowwise() %>%
  mutate(data2 = str_match(data, "(\\d{2}\\.\\d{2}\\.\\d{4})")[[1,1]] %>% dmy()) %>%
  ungroup() %>%
  mutate(kto = toupper(kto))

loty %>%
  count(kto, lot) %>%
  group_by(kto) %>%
  mutate(total = sum(n)) %>%
  ungroup() %>%
  mutate(procent_lotow = 100*n/total) %>%
  arrange(kto, desc(procent_lotow)) %>%
  group_by(kto) %>%
  mutate(total = cumsum(procent_lotow)) %>%
  filter(total <= 75) %>%
  ungroup()

# lista polskich lotnisk
lotniska_pl <- lotniska %>% filter(iso_country == "PL") %>% pull(ident)

loty %>%
  # tylko polskie lotniska
  filter(lotnisko_z %in% lotniska_pl & lotnisko_do %in% lotniska_pl) %>%
  # ile razy premier pokonywał daną trasę?
  count(kto, lat_z, long_z, miasto_z, lat_do, long_do, miasto_do) %>%
  # jaka to część jej/jego lotów
  group_by(kto) %>%
  mutate(n = n/sum(n)) %>%
  ungroup() %>%
  # rysujemy:
  ggplot() +
  # kontury Polski
  geom_polygon(data = map_data("world") %>%
                 filter(region == "Poland"),
               aes(long, lat, group=group),
               color = "gray30", fill = "gray90") +
  # połączenia lotnicze
  geom_segment(aes(x = long_z, xend = long_do,
                   y = lat_z, yend = lat_do,
                   size = n),
               alpha = 0.25, color = "red",
               show.legend = FALSE) +
  # punkty pokazujące położenie lotnisk
  geom_point(data = lotniska %>% filter(iso_country == "PL") %>%
               filter(ident %in% loty$lotnisko_z | ident %in% loty$lotnisko_do),
             aes(longitude_deg, latitude_deg),
             size = 1) +
  # nazwy miast, w których są lotniska
  geom_text(data = lotniska %>% filter(iso_country == "PL") %>%
              filter(ident %in% loty$lotnisko_z | ident %in% loty$lotnisko_do),
            aes(longitude_deg, latitude_deg, label = municipality),
            size = 2, hjust = -0.1, vjust = 0) +
  # ograniczamy zakres wykresu
  xlim(13, 25) +
  ylim(49, 55) +
  coord_map() +
  scale_size_continuous(range=c(0.5, 3)) +
  # każdy premier na swojej mapce
  facet_wrap(~kto) +
  # kosmetyka
  theme_minimal() +
  theme(axis.text = element_blank(), panel.grid = element_blank()) +
  labs(x = "", y = "")

# gdzie latają po Europie?
loty %>%
  count(kto, lat_z, long_z, miasto_z, lat_do, long_do, miasto_do) %>%
  mutate(kto = toupper(kto)) %>%
  group_by(kto) %>%
  mutate(n = n/sum(n)) %>%
  ungroup() %>%
  ggplot() +
  borders("world", xlim = c(-10, 25), ylim = c(39, 70), fill = "gray90") +
  geom_segment(aes(x = long_z, xend = long_do,
                   y = lat_z, yend = lat_do,
                   size = n),
               alpha = 0.25, color = "red",
               show.legend = FALSE) +
  coord_map() +
  scale_size_continuous(range=c(0.5, 3)) +
  facet_wrap(~kto) +
  theme_minimal() +
  theme(axis.text = element_blank(),
        panel.grid = element_blank()) +
  labs(x = "", y = "")

loty %>%
  mutate(data2 = floor_date(data2, "month")) %>%
  count(kto, data2) %>%
  ggplot() +
  geom_col(aes(data2, n, fill = kto), show.legend = FALSE) +
  geom_smooth(aes(data2, n, color = kto), show.legend = FALSE) +
  facet_wrap(~kto, scales = "free_x") +
  scale_x_date(date_labels = "%m/%Y") +
  theme_minimal() +
  labs(x = "", y = "Liczba lotów w miesiącu")

loty %>%
  group_by(kto) %>%
  summarise(mind = min(data2, na.rm = T),
            maxd = max(data2, na.rm = T),
            n = n()) %>%
  ungroup() %>%
  mutate(diff_date = as.numeric(maxd - mind)) %>%
  mutate(day_per_flight = round(diff_date/n, 2)) %>%
  select(-mind, -maxd) %>%
  set_names(c("Premier", "Liczba lotów", "Liczba dni urzędowania", "Częstotliwość lotów")) %>%
  kable() %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed", "responsive"))