Mateusz Mazurek – programista z pasją

Czyli o użyciu Pythona i kilku innych technologii do tworzenia świetnej jakości aplikacji w oparciu o stabilny proces dostarczania oprogramowania.

Algorytmika Programowanie Programowanie webowe

Redis i Python – dobrze dobrana para #3

Cześć,

w ostatnim wpisie naprawdę sporo zrobiliśmy! Używając Dockera uruchomiliśmy własnego Redisa, połączyliśmy się z nim z poziomu Pythona, przy okazji poznając najbardziej podstawowy typ danych – string. Droga do tego celu prowadziła przez interaktywną konsolę redis-cli.

I nie zwalniamy tempa, niniejszy artykuł to bezpośrednia kontynuacja wspomnianego wcześniej posta.

Ruszajmy więc.

Listy

Kolejnym, mega ważnym, typem danych jest lista. Pozwala ona, podobnie jak w innych rozwiązaniach, przechowywać kolekcje danych. 

Dodawanie do listy to operacje na dwóch komendach: LPUSH i RPUSH. Jak pewnie się domyślacie, pierwsza dodaje elementy do listy z lewej strony, a druga z prawej strony. Najlepiej pokaże to kod:

1
2
3
4
5
6
7
8
9
from redis import Redis

redis_connection = Redis(decode_responses=True)

list_key = "example-list"

redis_connection.rpush(list_key, 1, 2, 3, 4, 5)

print(redis_connection.lrange(list_key, 0, -1))

którego efektem jest oczywiście

['1', '2', '3', '4', '5']

Użyliśmy w nim wcześniej wspomnianej metody RPUSH, dodając do listy cyfry od 1 do 5, by następne metodą LRANGE pobrać wartości z tej listy od indeksu 0 do indeksu -1, czyli do końca. Sama metoda LRANGE zachowuje się bardzo intuicyjnie, kod poniżej:

1
2
3
4
5
6
7
8
9
from redis import Redis

redis_connection = Redis(decode_responses=True)

list_key = "example-list"

redis_connection.rpush(list_key, 1, 2, 3, 4, 5)

print(redis_connection.lrange(list_key, 1, 3))

Zwróci oczywiście cyfry 2, 3 i 4.

Mamy też metody, które atomowo pobiorą nam element z listy i go zwrócą, czyli LPOP oraz RPOP, w zależności od której strony listy chcemy pobierać. Metodą LINDEX pobierzemy wartość spod konkretnego indeksu, a LLEN zwróci długość listy.

Ciekawostką jest to, że Celery, używając Redisa jako brokera, korzysta właśnie z list, jako struktury danych przechowującej taski.

Pisząc o listach w Redisie, nie można nie wspomnieć o zestawie metod blokujących wykonywanie programu. Pewnie niektórym czytelnikom właśnie oczka się zaświeciły. I tak, to jest naprawdę przydatne. Zerknij na kod i użycie BRPOP:

1
2
3
4
5
6
7
8
from redis import Redis

redis_connection = Redis(decode_responses=True)

list_key = "example-list"

while True:
    print(redis_connection.brpop(list_key))

Ten program, jak go uruchomisz, działa cały czas. Wywołanie BRPOP skutkuje blokadą programu, jeśli w liście nie ma elementów. Jeśli są, to pobiera ostatni element, a w przypadku programu wyżej, zapętla się, pobierając wszystkie elementy i po ostatnim – blokuje program.

No ok, ale po co?

Użyj redis-cli i dodaj element do listy (np. RPUSH). Wróć do swojego uruchomionego programu i zobacz co się stało. Tak, Twój program został automatycznie powiadomiony o tym, że lista uległa zmianie, a Ty już dostałeś na ekran wartość, którą przed chwilą dodałeś do listy.

Pomyśl teraz, że RPUSH robi nie redis-cli, ale inny program, nie koniecznie napisany w Pythonie i już widzisz, że to rozwiązanie może służyć jako prosta kolejka.

Rodzi to oczywiście wiele ważnych pytań. Przykładowo: co, jeśli wielu klientów będzie „nasłuchiwać” na jedną listę? Tu odpowiedź jest prosta, wiadomość odbierze ten i tylko ten, który dłużej nic nie robi. Ma to swój sens.

Kolejnym problemem jest to, co się stanie, jeśli nasz program weźmie z listy jakiś element (a więc i go usunie) i przetwarzając go, niespodziewanie napotka na jakiś błąd i umrze w wyniku wyjątku? Nasza wiadomość przepadnie, bo nie ma jej już na liście. Zadając to pytanie trochę ocieramy się o zagadnienie DLQ (Dead Letter Queue). W przypadku Redisa możemy użyć komendy BRPOPLPUSH – czyli „weź z jednej listy (usuwając), dodaj do innej listy i zwróć klientowi”. Jeśli przetwarzanie się powiedzie, to usuwany z drugiej listy dodany element. Inny proces powinien obserwować tę drugą listę w celu wyszukania problematycznych tasków. Co dalej się z nimi stanie zależy już od tego, co chcemy uzyskać.

Niesamowicie istotnym faktem jest, że BRPOPLPUSH jest w pełni atomowe (niepodzielne). Tzn, że nie mamy możliwości na sytuacje typu „dwóch klientów pobrało tę samą wiadomość, bo jeden już był na końcówce pobierania, ale jeszcze nie pobrał, a drugi już zaczął pobierać i o, klops”. Pewnie miałeś takie sytuacje nie raz. To naturalny efekt uboczny programowania asynchronicznego i braku sekcji krytycznych, czyli braku zabezpieczeń przed współbieżnym dostępem do danych.


Czekaj, stop!

Podoba Ci się to co tworzę? Jeśli tak to zapraszam Cię do zapisania się na newsletter:
a w ramach prezentu otrzymasz całkowicie za darmo, dwa dokumenty PDF „6 (nie zawsze oczywistych) błędów popełnianych podczas nauki programowania” który jest jednym z efektów ponad siedmioletniej pracy i obserwacji rozwoju niejednego programisty oraz „Wstęp do testowania w Pythonie”, będący wprowadzeniem do biblioteki PyTest.
Jeśli to Cię interesuje to zapraszam również na swoje social media.

SELECT?

W Redisie istnieje polecenie SELECT, ale mocno różni się ono od tego znanego z SQLa.

Redis dostarcza przestrzenie nazw kluczy. To znaczy, że w jednej przestrzeni nazwa klucza musi być unikana, ale nic nie stoi na przeszkodzie, by w innej przestrzeni był ten sam klucz i miał już inną wartość.

Przestrzenie w Redisie, potocznie nazywane bazami, numerowane są od 0. Jest ich 16, a więc od 0 do 15. Domyślnie wybrana bazą jest baza zerowa.

Polecenie SELECT służy do przełączania się pomiędzy przestrzeniami. Zobacz na kod:

1
2
3
4
5
6
7
8
9
10
11
from redis import Redis

redis_connection = Redis(decode_responses=True)

redis_connection.set("key", "value")

redis_connection_1 = Redis(decode_responses=True, db=1)

print(redis_connection_1.get("key"))

print(redis_connection.get("key"))

który zwróci nam:

None
value

ponieważ zapisujemy daną na bazie zerowej, następnie czytamy z bazy pierwszej, stąd ten None, by potem odczytać z bazy zerowej i dostać poprawną wartość.

TTL

TTL (Time to live) to termin określający jak długo może żyć konkretny klucz. Po tym czasie jest on automatycznie usuwany. To otwiera ogromne możliwości, chociażby automatycznej rewalidacji cache’u. Możesz użyć polecenia SETEX:

1
2
3
4
5
6
7
8
9
10
11
12
13
from redis import Redis
from time import sleep
from datetime import datetime

redis_connection = Redis(decode_responses=True)

redis_connection.setex("key", 30, "value")

print(datetime.now().time(), redis_connection.get("key"))
sleep(10)
print(datetime.now().time(), redis_connection.get("key"))
sleep(30)
print(datetime.now().time(), redis_connection.get("key"))

efektem programu jest:

18:29:30.946433 value
18:29:40.956865 value
18:30:10.987219 None

Pierw zapisujemy wartość „value”, pod kluczem „key” i ustawiamy 30s jako TTL. Następnie od razu czytamy wartość i bez problemu ją uzyskujemy. Potem, po 10s czytamy wartość i znów ona jest dostępna. Potem po 30s czytamy wartość i już mamy None, ponieważ czas od momentu zapisu wartości do Redisa jest większy niż ustawione wcześniej 30s.

SETEX jest skrótem od SET i EXPIRE, gdzie EXPIRE jest osobnym poleceniem ustawiającym TTL na klucz. Kod poniżej da ten sam efekt co wcześniejszy:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
from redis import Redis
from time import sleep
from datetime import datetime

redis_connection = Redis(decode_responses=True)

redis_connection.set("key", "value")
redis_connection.expire("key", 30)

print(datetime.now().time(), redis_connection.get("key"))
sleep(10)
print(datetime.now().time(), redis_connection.get("key"))
sleep(30)
print(datetime.now().time(), redis_connection.get("key"))

Zmierzając do brzegu

Artykuł wprowadził Cię do jednego z podstawowych typów danych, jakim jest lista. Podywagowałem trochę nad użyciem jej jako kolejki, przy okazji przedstawiając blokujące komendy – co jest naprawdę potężnym narzędziem. Na koniec pokazałem czym jest TTL, czyli wprowadziłem kolejny ważny mechanizm, pozwalający zdefiniować czas, po którym klucze są automatycznie usuwane.

Dzięki za wizytę,
Mateusz Mazurek

A może wolisz nowości na mail?

Subskrybuj
Powiadom o
guest

Witryna wykorzystuje Akismet, aby ograniczyć spam. Dowiedz się więcej jak przetwarzane są dane komentarzy.

1 Komentarz
Inline Feedbacks
View all comments

[…] Jeśli wyślemy wiadomość, gdy subskrybent nie będzie podłączony, to nie otrzyma on jej po podłączeniu (brak kolejkowania jak w przypadku list). […]