Nowy model językowy, który pozwala uzyskać dokładniejsze informacje z dokumentów

Snowflake, firma oferująca Chmurę Danych, ogłosiła na dorocznej konferencji użytkowników Snowflake Summit 2023 nowe ulepszenia swojej ujednoliconej platformy.

Ułatwią one organizacjom uzyskanie wartości ze wszystkich danych, jednocześnie zapewniając lepszą wydajność dla najbardziej krytycznych obciążeń klientów. Dzięki innowacjom, takim jak Document AI (wersja private preview), Snowflake wprowadza nowy duży model językowy (LLM) zbudowany dzięki pionierskiej technologii generatywnej sztucznej inteligencji Applica. Wszystko po to, by pomóc klientom zrozumieć dokumenty i wykorzystać ich nieustrukturyzowane dane do pracy. Snowflake przedstawia również aktualizacje Iceberg Tables (wersja private preview wkrótce), aby jeszcze eliminować silosy danych i umożliwić organizacjom korzystanie z otwartych formatów tabel z szybką wydajnością i zarządzaniem klasy korporacyjnej zarówno dla danych w katalogu Snowflake, jak i danych zarządzanych przez inny katalog. Ponadto nowy Snowflake Performance Index (SPI) zapewnia większą przejrzystość dzięki wskaźnikom prezentującym proces ciągłej poprawywydajności Snowflake, ukazując, że czas trwania zapytania poprawił się o 15 proc. dla stabilnych obciążeń klientów, odkąd Snowflake zaczął śledzić tę metrykę w ciągu ostatnich ośmiu miesięcy.

Jednym z klientów korzystających z platformy Snowflake i jej innowacji jest Fidelity Investments. To jedna z największych instytucji finansowych obsługujących codziennie ponad 40 milionów klientów. Ponad 68 tys. globalnych współpracowników Fidelity polega na ujednoliconej platformie danych Snowflake, aby zwiększyć wpływ danych na działalność przedsiębiorstwa.

Dalsza część artykułu pod materiałem wideo

– Marzeniem każdego CIO jest posiadanie wszystkich danych organizacji w jednym miejscu, a Chmura Danych faktycznie to umożliwia. Konieczne jest, aby kluczowi interesariusze w całej organizacji mieli wgląd w to samo pojedyncze źródło danych, aby płynnie odpowiadać na zapytania i szybciej rozwiązywać problemy – mówi Mihir Shah, CIO i Enterprise Head of Data Architecture and Engineering w Fidelity Investments. – Chmura Danych pomaga nam eliminować silosy, zapewniając kontrolowany dostęp do danych kluczowym interesariuszom oraz umożliwiając nam ciągłe wprowadzanie innowacji na dużą skalę, zwiększanie wydajności i ostatecznie tworzenie większej wartości dla naszych klientów.

Według IDC, w ciągu najbliższych pięciu lat ponad 90 proc. światowych danych będzie nieustrukturyzowanych w postaci dokumentów, obrazów, wideo, audio i innych2. Ta ogromna ilość danych jest rutynowo przechowywana przez organizacje, jednak uzyskanie do nich cennego wglądu wymagało w przeszłości ręcznych, podatnych na błędy procesów i złożonych umiejętności ekspertów. Opierając się na wsparciu Snowflake dla nieustrukturyzowanych danych, wbudowana w Snowflake sztuczna inteligencja dokumentów sprawi, że organizacje będą mogły bez wysiłku zrozumieć i wydobyć wartość z dokumentów za pomocą przetwarzania języka naturalnego.

Document AI to efekt przejęcia przez Snowflake firmy Applica (wrzesień 2022 r.) i wykorzystania opracowanego przez nią dużego modelu językowego (LLM). Dzięki integracji tego modelu z platformą Snowflake organizacje będą mogły łatwo wyodrębniać treści, takie jak kwoty faktur lub warunki umowne z dokumentów i dostosowywać wyniki za pomocą interfejsu wizualnego oraz języka naturalnego. Klienci będą mogli skorzystać z Document AI, aby pomóc swoim zespołom być bardziej efektywnymi w prowadzeniu działalności i zwiększyć produktywność użytkowników w bezpieczny i skalowalny sposób. Snowflake, zaczynając od Document AI, planuje rozszerzyć te możliwości na więcej typów nieustrukturyzowanych danych.

Apache Iceberg stale zyskuje na popularności jako standard branżowy dla otwartych formatów tabel. Snowflake od teraz ułatwia przedsiębiorstwom rozszerzenie wartości Chmury Danych na dane Iceberg. Dzięki Iceberg Tables organizacje mogą pracować z danymi we własnej pamięci masowej w formacie Apache Iceberg, niezależnie od tego, czy dane te są zarządzane przez Snowflake, czy zewnętrznie, jednocześnie korzystając z łatwości użytkowania, wydajności i ujednoliconego ekosystemu Snowflake.

Upraszcza to zarządzanie danymi, eliminując potrzebę przenoszenia lub kopiowania danych między systemami, jednocześnie zwiększając elastyczność i obniżając koszty. Ponadto rosnący ekosystem Apache Iceberg, obejmujący różnorodnych użytkowników, współpracowników i usługi komercyjne, zabezpiecza pamięć masową na przyszłość, zapobiegając uzależnieniu od dostawcy i częstym migracjom. Klienci tacy jak Booking.com już dziś wykorzystują Iceberg Tables, aby wykorzystać moc Chmury Danych dla wszystkich swoich danych.

Snowflake koncentruje się na regularnym dostarczaniu innowacji w celu poprawy wydajności i efektywności, często nie wymagając żadnych działań ze strony klientów. Mając to na uwadze, firma wprowadza nowy wskaźnik SPI w celu ilościowego określenia ulepszeń w czasie poprzez analizę rzeczywistych obciążeń klientów. Na podstawie wskaźnika SPI można stwierdzić, że czas trwania zapytania poprawił się o 15 proc., odkąd Snowflake zaczął śledzić ten wskaźnik osiem miesięcy temu. SPI odzwierciedla zaangażowanie Snowflake w ciągłą optymalizację kosztów i wydajności dla klientów oraz zapewnienie im większej przejrzystości w zakresie ilościowego wpływu możliwości platformy i ulepszeń sprzętowych na ich obciążenia.

Snowflake rozwija swoją platformę również po to, aby obsługiwać szerszy zestaw zaawansowanych funkcji analitycznych, w tym wstępnie wbudowane funkcje uczenia maszynowego dla użytkowników SQL (wersja public preview), a także rozszerza ujednolicone zarządzanie i prywatność o nowe wskaźniki jakości danych i funkcje klasyfikacji (oba w wersji private preview).

– Pojedyncza platforma Snowflake niezmiennie stanowi podstawę naszej strategii innowacji. Stale ją ulepszamy, aby klienci mogli płynnie uzyskiwać dostęp do swoich danych, rozumieć je i chronić, jednocześnie korzystając z najlepszej wydajności, skali i zarządzania Snowflake – mówi Christian Kleinerman, SVP of Product w Snowflake. – Zapoczątkowujemy nową erę w świecie danych, wykorzystując sztuczną inteligencję i eliminując silosy wcześniej związane z formatem, lokalizacją i innymi ograniczeniami, aby zrewolucjonizować sposób, w jaki organizacje wykorzystują swoje dane do pracy i dostarczają spostrzeżeń dzięki Chmurze Danych.

Snowflake ogłosił również podczas Snowflake Summit 2023 innowacje, które rozszerzają programowalność danych dla nauki o danych, inżynierii danych i tworzenia aplikacji oraz ulepszenia, które umożliwią organizacjom dystrybucję i monetyzację aplikacji na wielką skalę w Chmurze Danych.