Modele AI jeszcze dokładniej rozpoznają towary i ich rozmieszczenie w rzeczywistych warunkach magazynowych

Dzięki realistycznemu odwzorowaniu uszkodzeń, nieuporządkowania i zmiennych warunków występujących w rzeczywistym środowisku pracy, zbiór danych Zebra STRIPES (Sim-to-Real Industrial Perception for Warehouse Scenes) pozwala modelom analizującym obraz osiągać wyższą dokładność niż w przypadku trenowania wyłącznie na zdjęciach lub tradycyjnych zbiorach danych syntetycznych.

Udostępniając zbiór danych STRIPES, oddajemy w ręce środowiska akademickiego i biznesowego, a także naszych partnerów i klientów, nowe, zaawansowane narzędzie, które pomoże rozwój inteligentnych rozwiązań automatyzujących pracę – mówi Andrea Mirabile, Senior Director of AI Research w Zebra Technologies.

Rozwiązanie wykorzystane przy tworzeniu zbioru danych STRIPES pozwala generować sceny dokładnie odwzorowujące rzeczywiste warunki panujące w magazynie. Naukowcy opracowali zaawansowany proces, oparty na trzech kluczowych rozwiązaniach:

• Generowanie obrazów z wykorzystaniem AI: zamiast korzystać ze statycznych modeli 3D, naukowcy wykorzystali generatywną AI do stworzenia zróżnicowanej bazy 30 000 obrazów, obejmującej 3 000 unikalnych tekstur i geometrii pudeł oraz milion oznaczonych obiektów.
• Symulacja zużycia i uszkodzeń: naukowcy odwzorowali realistyczne uszkodzenia, takie jak zgniecenia, wgniecenia, kurz na powierzchni czy folia stretch, aby odtworzyć stan pudeł podczas ich przenoszenia i transportu.
• Symulacja rzeczywistych warunków składowania: Zespół wykorzystał symulację grawitacji, aby odwzorować naturalny sposób układania się pudeł, w tym przypadkowe i chaotyczne konfiguracje. Dzięki temu symulacje lepiej oddają rzeczywiste warunki pracy, w których pudełka są ciasno rozmieszczone, przechylają się i mogą się wzajemnie blokować. Dotyczy to składowania na regałach, przygotowania ładunków na podłodze oraz załadunku samochodów ciężarowych.

Zbiór danych został przetestowany z wykorzystaniem najnowocześniejszych, kompaktowych modeli AI do analizy obrazu, zoptymalizowanych pod kątem działania w czasie rzeczywistym bezpośrednio na urządzeniach wykorzystywanych w magazynach.

Wykorzystanie zbioru STRIPES, a następnie dostosowanie modeli do danych z rzeczywistego środowiska pozwoliło zwiększyć dokładność wykrywania obiektów nawet o 4,9% w porównaniu z modelami opartymi wyłącznie na danych rzeczywistych lub syntetycznych. W przyszłości zastosowanie STRIPES może zostać rozszerzone m.in. na sterowanie robotami podczas wykonywania zadań, chwytanie i przenoszenie obiektów oraz tworzenie trójwymiarowych modeli przestrzeni.

Nasze badania i rozwiązania pomagają łączyć świat fizyczny, dane, AI i procesy operacyjne. Pokazujemy, jak AI wykorzystywana bezpośrednio w codziennej pracy może ułatwiać monitorowanie zasobów i wspierać pracowników w realizacji zadań – podkreśla Andrea Mirabile.

Wyniki badań zaprezentowano podczas 19. Europejskiej Konferencji ECCV (European Conference on Computer Vision) w Malmö w Szwecji. To jedno z najważniejszych na świecie wydarzeń poświęconych analizie obrazu. Wcześniej zespołem badaczy zajął drugie miejsce w prestiżowym konkursie RetailVision Workshop organizowanym w ramach konferencji Computer Vision and Pattern Recognition (CVPR), rywalizując z 650 zespołami.

Źródło: Zebra Technologies