W jaki sposób realizujemy  projekty oparte na  visual search?

1. Zdefiniowanie potrzeb i celów:
   
   Najpierw stworzymy specyfikację w której dokładnie ustalimy potrzeby, cele i pożądane funkcjonalności systemu wyszukiwania wizualnego.
   Zdefiniujemy zakres projektu i wszelkie specyficzne wymagania techniczne.
   Materiał, który wspólnie przygotujemy będzie załącznikiem do umowy, która będzie naszym wspólnym przewodnikiem do ukończenia projektu.
   
   
2. Zebranie i przygotowanie danych:
   Obejmuje zebranie zróżnicowanego i oznakowanego zbioru danych obrazów związanych z asortymentem firmy, w tym różnych kategorii i atrybutów, takich jak typ, kolor, rozmiar itp.
   
   Co jest potrzebne?
   W zależności od  asortymentu produktów - zdjęcia produktów i zdjęcia etykiet lub opakowań (jeśli chcemy wykorzystać dane OCR)
   
   lub
   
   zdjęcia produktów wykonane aparatem z urządzeń mobilnych – te zdjęcia będą niezbędne do przygotowania zestawu danych porównawczych. Im więcej zdjęć związanych z danym produktem -  tym więcej danych - tym lepiej.
   
   Najlepiej jeśli są to zdjęcia wykonane w różnych warunkach, pod różnym kątem, w różnym świetle, z wykorzystaniem różnych ogniskowych obiektywu.
   
   Ile powinno być zdjęć na jeden produkt?
   Ogólnie rzecz biorąc, 8-10 zdjęć na jeden produkt to dobry minimalny wymóg. Ale im więcej danych tym lepiej.
   Jeśli istnieje wiele produktów, które są do siebie podobne, będziemy potrzebować dużej ilości danych, aby wykryć różnice i unikalne cechy produktów. Jeśli produkty bardzo różnią się od siebie, w/w ilość może wystarczyć do działania modelu.
   
   
3. Faza Proof of Concept:
   Na jednym produkcie i na bardzo prostym szablonie strony internetowej możemy przedstawić skuteczność działania naszego rozwiązania.
   
   
4. Wstępne przetwarzanie danych:
   Oczyszczenie i wstępne przetworzenie danych w celu zapewnienia spójności i jakości danych.
   
   
5. Wybór modelu AI:
   Obecnie używamy konwolucyjnej sieci neuronowej.
   
   
6. Trening modelu.
   
   
7. Ocena modelu:
   Ocena wydajności wytrenowanego modelu sztucznej inteligencji przy użyciu wskaźników oceny istotnych dla domeny problemu.
   
   
8. Integracja modelu AI ze sklepem internetowym:
   Integracja modelu AI ze stroną internetową lub aplikacją obejmuje opracowanie niezbędnej infrastruktury zaplecza do obsługi przetwarzania obrazów, żądań wyszukiwania i zarządzania bazą danych.
   Wdrożenie interfejsów API lub punktów końcowych do komunikacji z komponentami frontendu.
   
   Wdrażamy tylko usługę API wyszukiwania wizualnego i automatyzację szkolenia modelu w celu dodawania nowych produktów.
   Jednak integracja tej usługi API ze stroną internetową będzie musiała zostać przeprowadzona przez dewelopera odpowiedzialnego za stronę internetową.
   
   
9. Testowanie i zapewnienie jakości:
   Przeprowadzenie dokładnych testów systemu wyszukiwania wizualnego w celu zidentyfikowania i naprawienia wszelkich błędów lub problemów. Przeprowadzenie szeroko zakrojonych testów poprawności i dokładności wyników wyszukiwania. Upewnienie się, że system jest solidny, wydajny i zapewnia dokładne rekomendacje.
   
   
10. Przygotowanie systemu do wdrożenia w środowisku produkcyjnym.
    Konfiguracja serwerów, baz danych i wszelkich wymaganych elementów infrastruktury.
    Wdrożenie rozwiązania i przeprowadzenie ostatecznych testów w środowisku produkcyjnym.

Pytanie:
Co się stanie, gdy w internetowym sklepie pojawią się nowe produkty?

Odpowiedź:
W przypadku, gdy nowy produkt należy do istniejącej kategorii, udostępnimy API, które umożliwi klientom przesyłanie zdjęć i zainicjowanie ponownego szkolenia modelu AI.

Jeśli nowy produkt jest inny, na przykład buty w sklepie z sukniami, których wcześniej nie było w ofercie, konieczne będzie nasze ponowne zaangażowanie w ten projekt.

Jak działa wyszukiwanie wizualne (visual search)?

Wyszukiwanie wizualne (visual search) opiera się na wizji komputerowej i głębokim uczeniu maszynowym, wyszkolonym systemie algorytmów, które mogą rozpoznawać produkty na podstawie obrazów. Przeszkolenie systemu wymaga czasu, licznych testów i dużej ilości informacji wejściowych (wymagane jest wiele różnych zdjęć tego samego produktu pod różnymi kątami, w różnych warunkach oświetleniowych i na różnym tle). System oparty o sieć neuronową przekształca i zapisuje każdy obraz w zestaw liczb tworzonych w oparciu o charakterystyczne cechy obrazu, a następnie, gdy użytkownik przesyła swoje zdjęcie, jest ono również przepuszczane przez sieć neuronową i przekształcane przez ten system w podobny sposób. 

Użytkownik może zrobić dowolne zdjęcie poszukiwanego produktu i za pomocą wyszukiwarki obrazu znaleźć na stronie internetowej dokładnie takie same (mówimy wtedy o dokładnym dopasowaniu) lub najbardziej podobne produkty (dopasowanie przybliżone).

Co więcej, algorytm może rozpoznać i udostępnić użytkownikowi wszystkie produkty, które znajdują się na wprowadzonym przez niego zdjęciu. Jeśli na tym samym zdjęciu znajdą się inne elementy, to także te elementy mogą się pojawić się w wynikach wyszukiwania.

Dlaczego wyszukiwanie wizualne jest przydatne?

• wyszukiwanie obrazem stanowi dodatkowe źródło wysokiej jakości ruchu na stronie internetowej;
• wyszukiwanie za pomocą zdjęć stwarza możliwość przyciągnięcia nowych klientów;
• visual search poprawia czynniki behawioralne na stronie internetowej;
• visual search pozwala zdobyć przewagę nad konkurencją.

Wyszukiwanie obrazem sprawia że proces wyszukiwania jest łatwiejszy
Użytkownik zamiast używania skomplikowanych opisów może zrobić zdjęcie przedmiotu i dużo łatwiej uzyskać odpowiedni wynik wyszukiwania.

Wyszukiwanie wizualne przyspiesza proces wyszukiwania
Idziesz ulicą i widzisz bardzo ładne ubranie na przechodniu, który jest przed Tobą. Wcześniej były tylko dwie możliwości: trzeba było podejść do przechodnia i zapytać, gdzie kupił tak  piękną rzecz  albo wygooglować interesujący „temat”. Teraz może być łatwiej.  Można zrobić zdjęcie i wyszukać przedmiot w przeglądarce na platformach handlowych (jeśli oczywiście jest wdrożona funkcjonalność wyszukiwania wizualnego).

System najpierw rozpoznaje obraz (odczytuje jego charakterystyczne cechy i metadane), a następnie wyszukuje podobne obrazy w swoim katalogu lub bezpośrednio w Internecie. I wreszcie, na podstawie podobieństw, takich jak kolor czy styl, dostarcza odpowiednie produkty.
W idealnym świecie wyszukiwanie wizualne powinno znaleźć nie tylko poszukiwany produkt, ale także produkty powiązane (podobne lub pokrewne) i tworzyć kompletny zestaw.

Najbardziej niezwykłe jest to, że można zrobić zdjęcie i wykorzystać je później  do wyszukiwania – film wykonany przy pomocy smartfonu raczej nie pozwoli zapomnieć o chęci zrealizowania zakupu, ale  nie zrealizowana od razu myśl, że „trzeba poszukać tego samego",  opuści Cię prawdopodobnie na zawsze w ciągu kilkunastu minut.

Wyszukiwanie obrazem jest wygodne
Bez wyszukiwania wizualnego trzeba  przejrzeć całą listę produktów z poziomu wyników przeglądarki.

Ciekawym projektem było to co zrobił projektant Tommy Hilfiger w 2017 roku, kiedy zorganizował pokaz nowej kolekcji: można było po prostu zrobić zdjęcie modelkom na wybiegu i od razu znaleźć w aplikacji mobilnej to, co nosiły modelki.

Przy wszystkich oczywistych zaletach wyszukiwania wizualnego istnieją pewne niuanse, przez które użytkownicy mogą być rozczarowani tą funkcjonalnością. Problemem są trudności związane z przetwarzaniem i analizą zdjęcia produktu, jeśli jakość obrazu pozostawia wiele do życzenia. Wszystko to może wpłynąć nie najlepiej na wyniki wyszukiwania. Jednak przy ciągłym postępie w dziedzinie rozwoju algorytmów sztucznej inteligencji, technologii i urządzeń mobilnych wydaje się, że już niedługo problem ten zostanie przezwyciężony.

Jak dostosować treści na stronie do wizualnego wyszukiwania przez przeglądarki internetowe?

Przygotuj dobre zdjęcia produktów i towarów handlowych
Wyraźne i wysokiej jakości zdjęcia produktów na białym tle w katalogu to gwarancja, że automat wyszukiwania z łatwością je rozpozna.

Zrób jak najwięcej zdjęć produktu pod różnymi kątami. W świecie, który nie jest idealny, użytkownik raczej nie będzie w stanie sfilmować interesującego go produktu w świetle studyjnym i pod odpowiednim kątem w ruchu, więc im więcej wariantów tego produktu w różnych modyfikacjach, tym większe szanse na udane rozpoznanie (i późniejszą sprzedaż).

Zoptymalizuj pliki graficzne
Zgodność z podstawowymi zasadami optymalizacji obrazu: odpowiedni rozmiar, waga i szybkość ładowania strony internetowej.

Prawidłowo nazywaj pliki graficzne
Wyraźne definiuj nazwy poszczególnych plików graficznych, najlepiej zawierające frazy kluczowe. Zamiast nazwy „IMG 121 .jpg" użyj przygotowanego wcześniej schematu nazw produktów, takiego jak np. marka_kategoria_nazwa_produktu_atrybut.jpg. A potem w nazwie zdjęcia białych skórzanych tenisówek Adidas napiszesz „adidas_men_shooes_sneakers_white_leather.jpg".

Używaj atrybutów SEO
Używaj odpowiednich atrybutów alt do plików graficznych. Zadaniem atrybutu alt jest dostarczenie wyszukiwarce precyzyjnych informacji o tematyce obrazu. Możesz również dodawać opisy tekstowe do zdjęć w ten sam sposób.

Utwórz mapę witryny dla plików graficznych
Mapa witryny XML pomaga robotom indeksującym indeksować obrazy w Twojej stronie internetowej. Możesz dodać obrazy do istniejącej mapy witryny lub utworzyć dla nich oddzielną mapę witryny. Dodając obrazy do mapy witryny, ułatwisz nam odczytanie obrazów, których Googlebot mógłby nie odczytać samodzielnie

Gdzie można wykorzystać wyszukiwanie wizualne?

Wyszukiwanie wizualne przydaje się nie tylko w e-commerce. Rozwiązanie można zastosować w branży gastronomicznej: na przykład na podstawie obrazu potrawy znajdź miejsce, w którym jest ona podawana lub w turystyce: korzystając ze zdjęcia atrakcji, znajdź informacje o niej lub hotelu z widokiem na to miejsce, dowiedz się więcej o obiektach sztuki w muzeach i na wystawach (lub nawet kup je kilkoma kliknięciami).

Cała koncepcja ma spory potencjał  do rozwoju i całkiem możliwe, że ta metoda wyszukiwania wkrótce stanie się standardem w e-commerce. Kolejnym obiecującym obszarem rozwoju są chatboty, które mogą zostać zintegrowane z wyszukiwaniem wizualnym: aby rozpocząć interakcję, wystarczy wysłać zdjęcie.

Jednym z najbardziej prawdopodobnych scenariuszy rozwoju tego rozwiązania jest połączenie obrazu i tekstu w wyszukiwanym zapytaniu, co da większą konkretność i jednocześnie zawęzi zakres opcji.

Jedną z możliwości wyszukiwania jest dopasowanie obrazu za pomocą zdjęć z jednoczesnym wykorzystaniem danych OCR. Jeśli znaczna część produktów ma etykiety z nazwami wówczas dokładność rozwiązania będzie zbliżona do 100%.

Może chcesz wykorzystać rozwiązania oparte na algorytmach sztucznej inteligencji, machine learning lub deep learning?

Porozmawiaj z nami o swoim projekcie, a my weźmiemy pod uwagę specyfikę Twojej działalności, przewidziany czas i budżet i wybierzemy najlepszą z dostępnych opcji jego realizacji.