Cześć,
w ostatnim wpisie naprawdę sporo zrobiliśmy! Używając Dockera uruchomiliśmy własnego Redisa, połączyliśmy się z nim z poziomu Pythona, przy okazji poznając najbardziej podstawowy typ danych – string. Droga do tego celu prowadziła przez interaktywną konsolę redis-cli.
I nie zwalniamy tempa, niniejszy artykuł to bezpośrednia kontynuacja wspomnianego wcześniej posta.
Ruszajmy więc.
Kolejnym, mega ważnym, typem danych jest lista. Pozwala ona, podobnie jak w innych rozwiązaniach, przechowywać kolekcje danych.
Dodawanie do listy to operacje na dwóch komendach: LPUSH i RPUSH. Jak pewnie się domyślacie, pierwsza dodaje elementy do listy z lewej strony, a druga z prawej strony. Najlepiej pokaże to kod:
1 2 3 4 5 6 7 8 9 | from redis import Redis redis_connection = Redis(decode_responses=True) list_key = "example-list" redis_connection.rpush(list_key, 1, 2, 3, 4, 5) print(redis_connection.lrange(list_key, 0, -1)) |
którego efektem jest oczywiście
['1', '2', '3', '4', '5']
Użyliśmy w nim wcześniej wspomnianej metody RPUSH, dodając do listy cyfry od 1 do 5, by następne metodą LRANGE pobrać wartości z tej listy od indeksu 0 do indeksu -1, czyli do końca. Sama metoda LRANGE zachowuje się bardzo intuicyjnie, kod poniżej:
1 2 3 4 5 6 7 8 9 | from redis import Redis redis_connection = Redis(decode_responses=True) list_key = "example-list" redis_connection.rpush(list_key, 1, 2, 3, 4, 5) print(redis_connection.lrange(list_key, 1, 3)) |
Zwróci oczywiście cyfry 2, 3 i 4.
Mamy też metody, które atomowo pobiorą nam element z listy i go zwrócą, czyli LPOP oraz RPOP, w zależności od której strony listy chcemy pobierać. Metodą LINDEX pobierzemy wartość spod konkretnego indeksu, a LLEN zwróci długość listy.
Ciekawostką jest to, że Celery, używając Redisa jako brokera, korzysta właśnie z list, jako struktury danych przechowującej taski.
Pisząc o listach w Redisie, nie można nie wspomnieć o zestawie metod blokujących wykonywanie programu. Pewnie niektórym czytelnikom właśnie oczka się zaświeciły. I tak, to jest naprawdę przydatne. Zerknij na kod i użycie BRPOP:
1 2 3 4 5 6 7 8 | from redis import Redis redis_connection = Redis(decode_responses=True) list_key = "example-list" while True: print(redis_connection.brpop(list_key)) |
Ten program, jak go uruchomisz, działa cały czas. Wywołanie BRPOP skutkuje blokadą programu, jeśli w liście nie ma elementów. Jeśli są, to pobiera ostatni element, a w przypadku programu wyżej, zapętla się, pobierając wszystkie elementy i po ostatnim – blokuje program.
No ok, ale po co?
Użyj redis-cli i dodaj element do listy (np. RPUSH). Wróć do swojego uruchomionego programu i zobacz co się stało. Tak, Twój program został automatycznie powiadomiony o tym, że lista uległa zmianie, a Ty już dostałeś na ekran wartość, którą przed chwilą dodałeś do listy.
Pomyśl teraz, że RPUSH robi nie redis-cli, ale inny program, nie koniecznie napisany w Pythonie i już widzisz, że to rozwiązanie może służyć jako prosta kolejka.
Rodzi to oczywiście wiele ważnych pytań. Przykładowo: co, jeśli wielu klientów będzie „nasłuchiwać” na jedną listę? Tu odpowiedź jest prosta, wiadomość odbierze ten i tylko ten, który dłużej nic nie robi. Ma to swój sens.
Kolejnym problemem jest to, co się stanie, jeśli nasz program weźmie z listy jakiś element (a więc i go usunie) i przetwarzając go, niespodziewanie napotka na jakiś błąd i umrze w wyniku wyjątku? Nasza wiadomość przepadnie, bo nie ma jej już na liście. Zadając to pytanie trochę ocieramy się o zagadnienie DLQ (Dead Letter Queue). W przypadku Redisa możemy użyć komendy BRPOPLPUSH – czyli „weź z jednej listy (usuwając), dodaj do innej listy i zwróć klientowi”. Jeśli przetwarzanie się powiedzie, to usuwany z drugiej listy dodany element. Inny proces powinien obserwować tę drugą listę w celu wyszukania problematycznych tasków. Co dalej się z nimi stanie zależy już od tego, co chcemy uzyskać.
Niesamowicie istotnym faktem jest, że BRPOPLPUSH jest w pełni atomowe (niepodzielne). Tzn, że nie mamy możliwości na sytuacje typu „dwóch klientów pobrało tę samą wiadomość, bo jeden już był na końcówce pobierania, ale jeszcze nie pobrał, a drugi już zaczął pobierać i o, klops”. Pewnie miałeś takie sytuacje nie raz. To naturalny efekt uboczny programowania asynchronicznego i braku sekcji krytycznych, czyli braku zabezpieczeń przed współbieżnym dostępem do danych.
W Redisie istnieje polecenie SELECT, ale mocno różni się ono od tego znanego z SQLa.
Redis dostarcza przestrzenie nazw kluczy. To znaczy, że w jednej przestrzeni nazwa klucza musi być unikana, ale nic nie stoi na przeszkodzie, by w innej przestrzeni był ten sam klucz i miał już inną wartość.
Przestrzenie w Redisie, potocznie nazywane bazami, numerowane są od 0. Jest ich 16, a więc od 0 do 15. Domyślnie wybrana bazą jest baza zerowa.
Polecenie SELECT służy do przełączania się pomiędzy przestrzeniami. Zobacz na kod:
1 2 3 4 5 6 7 8 9 10 11 | from redis import Redis redis_connection = Redis(decode_responses=True) redis_connection.set("key", "value") redis_connection_1 = Redis(decode_responses=True, db=1) print(redis_connection_1.get("key")) print(redis_connection.get("key")) |
który zwróci nam:
None value
ponieważ zapisujemy daną na bazie zerowej, następnie czytamy z bazy pierwszej, stąd ten None, by potem odczytać z bazy zerowej i dostać poprawną wartość.
TTL (Time to live) to termin określający jak długo może żyć konkretny klucz. Po tym czasie jest on automatycznie usuwany. To otwiera ogromne możliwości, chociażby automatycznej rewalidacji cache’u. Możesz użyć polecenia SETEX:
1 2 3 4 5 6 7 8 9 10 11 12 13 | from redis import Redis from time import sleep from datetime import datetime redis_connection = Redis(decode_responses=True) redis_connection.setex("key", 30, "value") print(datetime.now().time(), redis_connection.get("key")) sleep(10) print(datetime.now().time(), redis_connection.get("key")) sleep(30) print(datetime.now().time(), redis_connection.get("key")) |
efektem programu jest:
18:29:30.946433 value
18:29:40.956865 value
18:30:10.987219 None
Pierw zapisujemy wartość „value”, pod kluczem „key” i ustawiamy 30s jako TTL. Następnie od razu czytamy wartość i bez problemu ją uzyskujemy. Potem, po 10s czytamy wartość i znów ona jest dostępna. Potem po 30s czytamy wartość i już mamy None, ponieważ czas od momentu zapisu wartości do Redisa jest większy niż ustawione wcześniej 30s.
SETEX jest skrótem od SET i EXPIRE, gdzie EXPIRE jest osobnym poleceniem ustawiającym TTL na klucz. Kod poniżej da ten sam efekt co wcześniejszy:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | from redis import Redis from time import sleep from datetime import datetime redis_connection = Redis(decode_responses=True) redis_connection.set("key", "value") redis_connection.expire("key", 30) print(datetime.now().time(), redis_connection.get("key")) sleep(10) print(datetime.now().time(), redis_connection.get("key")) sleep(30) print(datetime.now().time(), redis_connection.get("key")) |
Artykuł wprowadził Cię do jednego z podstawowych typów danych, jakim jest lista. Podywagowałem trochę nad użyciem jej jako kolejki, przy okazji przedstawiając blokujące komendy – co jest naprawdę potężnym narzędziem. Na koniec pokazałem czym jest TTL, czyli wprowadziłem kolejny ważny mechanizm, pozwalający zdefiniować czas, po którym klucze są automatycznie usuwane.
Ostatnio tygodnie były tak bardzo wypełnione, że nie udało mi się napisać nawet krótkiego podsumowanie. Więc dziś zbiorczo podsumuję luty… Read More
Zapraszam na krótkie podsumowanie miesiąca. Książki W styczniu przeczytałem "Homo Deus: Historia jutra". Książka łudząco podoba do wcześniejszej książki tego… Read More
Cześć! Zapraszam na podsumowanie roku 2023. Książki Zacznijmy od książek. W tym roku cel 35 książek nie został osiągnięty. Niemniej… Read More
Zapraszam na krótkie podsumowanie miesiąca. Książki W grudniu skończyłem czytać Mein Kampf. Nudna książka. Ciekawsze fragmenty można by było streścić… Read More
Cześć, ostatnio w Internecie pojawiło się dużo artykułów, które nie były przychylne pracy zdalnej. Z drugiej strony większość komentarzy pod… Read More
Zapraszam na krótkie podsumowanie miesiąca. Książki W listopadzie dokończyłem cykl "Z mgły zrodzony" Sandersona. Tylko "Stop prawa" mi nie do… Read More