Skalowalna dostępność produktów: Optymalizacja filtrowania w DoorDash z Elasticsearch

Zapewnienie błyskawicznego dostępu do milionów produktów na stronach głównych platform e-commerce to kluczowe wyzwanie dla skalowalnych systemów. DoorDash skutecznie rozwiązał problem filtrowania dostępności w czasie rzeczywistym, znacząco poprawiając doświadczenie użytkownika.

Kluczowe możliwości i wyzwania techniczne

W obliczu konieczności filtrowania milionów pozycji pod kątem dostępności w czasie poniżej 300 milisekund, DoorDash stanął przed wyzwaniem architektonicznym. Tradycyjne wywoływanie usługi menu w momencie żądania okazało się nieefektywne ze względu na zbyt duże rozproszenie zapytań (fan-out) i wynikające z tego opóźnienia.

Ewolucja schematu indeksowania w Elasticsearch

Aby sprostać tym wymaganiom, firma zaimplementowała bezpośrednie indeksowanie danych o dostępności w Elasticsearch, przechodząc przez trzy kluczowe iteracje schematu:

• Dokumenty zagnieżdżone: Początkowe podejście, które generowało opóźnienia rzędu 600 ms.
• Zakodowane sloty czasowe (styl Gojek): Poprawiło wydajność do 350 ms, jednak kosztem sześciokrotnego zwiększenia wymagań na przestrzeń dyskową.
• Pola zakresowe (range fields) wspierane przez drzewa BKD: Ostateczne rozwiązanie, które osiągnęło czas odpowiedzi 250 ms przy zachowaniu bazowego zużycia pamięci masowej.

Podejście oparte na polach zakresowych okazało się optymalne, oferując najlepszą równowagę między niskimi opóźnieniami a efektywnym wykorzystaniem zasobów.

Kontekst technologiczny i rynkowy

Współczesne platformy dostawcze i e-commerce, takie jak DoorDash, operują na ogromnych zbiorach danych, gdzie szybkość i precyzja informacji o dostępności produktów są krytyczne dla utrzymania konkurencyjności i satysfakcji klienta. Optymalizacja procesów indeksowania i wyszukiwania, z naciskiem na „Automation First”, pozwala na dynamiczne zarządzanie asortymentem bez obciążania kluczowych usług backendowych. Podejście „Secure by Design” w tym kontekście oznacza minimalizację ekspozycji wrażliwych usług poprzez efektywne buforowanie i indeksowanie danych, co zwiększa odporność systemu na obciążenia i potencjalne ataki.

Materiał opracowany przez redakcję BitBiz na podstawie doniesień rynkowych.