Krzysztof:
[0:00] To jest 316 odcinek Porozmawiajmy IT. Dziś rozmawiamy o Gen AI w banku, czyli o spotkaniu technologii i realnych problemów biznesowych. Sponsorem tego odcinka jest mBank SA. Notatkę, linki i transkrypcję, czyli wszystko to, co porządny słuchacz powinien mieć pod ręką, znajdziesz na porozmawiajmyit.pl, łamane na 316. Nazywam się Krzysztof Kempiński, tworzę ten podcast, napisałem też książkę Marka Osobista W Branży IT. Jeśli lubisz ten podcast, udostępnij ten odcinek dalej albo zostaw ocenę w swojej arce. To jest dla mnie nieoceniona pomoc. A teraz odpalamy. Cześć, moim Waszym gościem jest Grzegorz Ostrowski, dyrektor Departamentu Danych i Sztucznej Inteligencji w mBank S.A. Cześć Grzegorzu, bardzo miło mi gościć Cię w podcaście.

Grzegorz:
[0:45] Cześć Krzysztofie i witam wszystkich słuchaczy.

Krzysztof:
[0:47] Dzisiaj będziemy rozmawiać o temacie bardzo na czasie, jakim jest generatywna sztuczna inteligencja i wykorzystanie tej technologii w rozwiązywaniu realnych problemów biznesowych, a przyjrzymy się w szczególności branży bankowości, więc bardzo ciekawe połączenie. Dobrze, no to zacznijmy naszą właściwą rozmowę, wykorzystanie Gen.ai w banku, w mBanku, który ty reprezentujesz. Wiesz, na początku, kiedy myślę sobie właśnie o takim połączeniu, tak, GenAI i bankowość, no to pojawia mi się swego rodzaju zgrzyt. Gen.ai jako oczywiście technologia, która się rozwija, ale mimo wszystko ciągnąca taki trochę bagaż tych różnych halucynacji. fakt jest taki, że wielokrotnie kiedy pytasz o to samo możesz dostawać różne odpowiedzi. Jednym słowem mówiąc, taki trochę brak determinizmu, a z drugiej strony, bankowość, branża regulowana gdzie właśnie ten determinizm, mam wrażenie że jest niejako wpisany w DNA właśnie tego przemysłu, tej branży jak te dwie tutaj rzeczy ze sobą pogodzić, czy one w ogóle mogą iść ze sobą w parze?

Grzegorz:
[1:52] Rzeczywiście tak na pierwszy rzut oka być może Może coś tu nie gra i zgodzę się z częścią twojej tezy, natomiast nie z całą. To znaczy tak, z jednej strony oczekujemy od banku, że tam nie będzie żadnych wątpliwości ile mamy w nim pieniędzy, ile odsetek mi bank naliczył, ile winien jestem bankowi jeszcze za kredyt. Natomiast z drugiej strony, jak popatrzymy na te procesy od strony banku, no to w sumie cała ta działalność opiera się właśnie na czymś niedeterministycznym. Bank daje kredyty i w sumie to nie wie, który klient spłaci, a przynajmniej nie wie na pewno, a który klient nie spłaci. Ważne, żeby na dużym obrazku to wszystko się zgadzało, żeby modele dobrze przewidywały ten procent spłacalności i niespłacalności i bank po prostu musi umieć tym zarządzać. Jest też wiele wewnętrznych procesów bankowych, w których już od lat procesy niedeterministyczne działały znacznie lepiej niż procesy deterministyczne, chociażby marketing bezpośredni czy systemy antyfraudowe, które zawsze generowały i będą generowały pewnie całkiem dużo false positive’ów, natomiast potrafią bić na głowę te systemy deterministyczne.

Krzysztof:
[3:08] To ciekawe, to ciekawe. Tego się nie spodziewałem, że faktycznie można wręcz wykorzystywać właśnie ten brak determinizmu w pewnych aspektach działalności banku i może się to sprawdzać tam lepiej. No tak, żyjemy w takim czasie, kiedy wiele organizacji próbuje w jakiś sposób zastosować GNI w różnych swoich procesach. Jest swego rodzaju presja rynku, mam wrażenie, wręcz na tego typu właśnie wdrożenia czy zastosowania. Zastanawiam się, jak to było w przypadku mBanku. Co powodowało, co było tym impulsem do rozważenia w ogóle właśnie zastosowania Gen AI? Czy to była ta presja rynku? Czy to były może jakieś konkretne problemy biznesowe, które staraliście się rozwiązać? A może chęć przeprowadzania swego rodzaju eksperymentu i zweryfikowania, czy coś może nam się z tego przydać w przyszłości?

Grzegorz:
[3:56] Wszystko po trochu. Z jednej strony mieliśmy już przed hype’em generatywnej sztucznej inteligencji prędzej działający zespół, który dostarczał rozwiązania AI-owe, ale z drugiej strony po udostępnianiu szerokiej publiczności w roku 2022 czata GPT szybką, zawładną, masową wyobraźnią. Z jednej strony mieliśmy bardzo dużo wewnętrznej chęci na poeksperymentowanie z tą nową technologią w naszych zastosowaniach biznesowych, ale z drugiej strony nasz cel to jednak było zawsze usprawnianie procesów biznesowych, zwłaszcza tam, gdzie dotychczasowe próby przed upowszechnieniem tej technologii napotykały bariery technologiczne. Podam jeden przykład. Przed generatywno-soczną inteligencją mierzyliśmy się z problemem czasu poświęconego przez pracowników na odsłuchiwanie rozmów z naszymi klientami w celach reklamacyjnych czy innych potrzebach. Tworzyliśmy proste narzędzia, które wspomagały pracownika poprzez wycinanie czasu oczekiwania, typu cisza, muzyka, by po prostu odsłuchiwanie zajmowało mniej czasu, ale to były bardzo proste rozwiązania, które pomagały jedynie w niewielkim stopniu. Natomiast możliwość zastosowania generatywnej sztucznej inteligencji spowodowała, że speech-to-text i szybka analiza tekstów pozwalała na bardzo szybkie przeanalizowanie kompletu rozmów bez długiego angażowania czasu pracowników na mozolne odsłuchiwanie.

Krzysztof:
[5:27] Czy tutaj, jeśli dobrze rozumiem, głównie chodziło o to, żeby szybko uzyskać jakiś efekt, szybko tak zwane low hanging fruits gdzieś tam złapać, szybko mieć jakiś mierzalny, zauważalny efekt, czy też może chodziło raczej o pewne strategiczne podejście typu budowanie jakiejś długofalowej platformy, na podstawie której później można budować dalsze rozwiązania? Co było tym głównym motorem, albo wręcz celem tych pierwszych prób z GNI?

Grzegorz:
[6:00] Bardziej długofalowe budowanie platformy, natomiast nie wierzę, że dało się to zrobić w takich nowych rozwiązaniach, dopiero wchodzących, nie konfrontując efektów naszych prac z brutalną rzeczywistością. To znaczy, chcieliśmy szybko wdrażać te rozwiązania, ale nie dlatego, żeby szybko popisać się efektem, tylko żeby szybko dostać feedback. Chociażby nasze najbardziej zaawansowane myślenie na temat długoterminowych celów i długoterminowej platformy Bardzo łatwo poszłyby na straty, gdybyśmy nie zrobili szybkich prób, co rzeczywistość do nas mówi, jak konfrontujemy te rozwiązania z realnymi problemami. Pewna doza pokory powodowała jednak, że było dużo chęci na konfrontowanie tych rozwiązań z rzeczywistością i słuchanie feedbacku, co ta rzeczywistość do nas mówi.

Krzysztof:
[7:01] No właśnie ten feedback jest ważny, żeby uzyskiwać go maksymalnie szybko, ale myślę sobie, że gdy eksperymentuję się z czymś zupełnie nowym, to tak zwyczajnie po ludzku my też chcemy uzyskać ten efekt w miarę szybko, żeby mieć niejako taką motywację, niejako taki dalszy motor do działań. I właśnie w tym duchu zastanawiam się, co powodowało wam albo na czym opieraliście swoje decyzje odnośnie wyboru tych obszarów zastosowania Gen AI, tych miejsc, gdzie wykorzystanie Gen AI ma szansę faktycznie odcisnąć jakiś swój pozytywny efekt. Myślę sobie, że bankowość widziana z zewnątrz to jest jak gdyby jedna branża, czy jedna gałąź działalności, tymczasem gdy się tak wewnątrz przyjrzeć nieco głębiej, no to tych różnych odnóg jest tam mnóstwo, od core bankingu, poprzez marketing, sprzedaż, obsługę klienta itd. Co tutaj decydowało o tym, że dana gałąź działalności, czy dany obszar działalności mBanku trafił właśnie jako pierwszy do wykorzystania tam GNI?

Grzegorz:
[8:12] W sumie wiele czynników, które na to wpłynęły i nie jestem w stanie wymienić jednego najważniejszego, chociaż najważniejszy może bym był w stanie wymienić, natomiast tak jak powiedziałem było ich wiele, poczynając od etyki zastosowania i potencjalnych problemów regulacyjnych, jakby odrzucaliśmy Te przypadki, które wprowadzałyby nas tutaj na grząskie tereny. Drugi element to bezpieczeństwo naszych klientów, nie mniej ważny oczywiście. Czyli nie chcieliśmy zaczynać od przypadków, które mogłyby potencjalnie spowodować bezpośrednie szkody dla naszego klienta zewnętrznego. Woleliśmy eksperymentować najpierw na sobie. Kolejne rzeczy to rzeczy związane z reużywalnością, czy potencjałem na reużywanie tych rozwiązań, które dostarczamy. Wartość dla odbiorcy, czyli wiadomo, że chcieliśmy się zajmować rzeczami, które dają większą wartość niż mniejszą, oraz możliwość skalowania danego rozwiązania na pobliskie tematy, ale jednak trochę inne, czyli żeby objąć większym zakresem niż inicjalny pomysł.

Krzysztof:
[9:38] Czy któreś z tych pierwotnych pomysłów porzuciliście, albo może ubierając to pytanie w nieco inne słowa, gdzie teraz GNI wykorzystywane jest w mBanku? Czy te pierwotne zastosowania, pierwotne idee jakoś się zmieniły, czy też nadal są kontynuowane?

Grzegorz:
[9:55] Większość jest skontynuowana, natomiast oczywiście jest tak, że część po prostu odpadła i nie jest skontynuowana. Może nie chcę tutaj mówić o bardzo dużych szczegółach. Natomiast jak każdy taki program musi uważamy mieć gotowość na odrzucanie rzeczy, które z różnych powodów się nie sprawdziły. Natomiast bardzo wiele rzeczy się nam oczywiście sprawdziło. Mamy już dość szerokie wykorzystanie rozwiązań z zakresu GNI. Mamy rocznie w Run Rate ponad 4 miliony zapytań do tych wszystkich rozwiązań. Mamy zarówno rozwiązania dedykowane przeciętnemu pracownikowi banku bez względu na specjalizację, w której pracuje, jak i mamy szereg rozwiązań, które są wyspecjalizowane do wspierania konkretnych procesów, Jak na przykład pierwsze rozwiązanie, które wdrożyliśmy, czyli narzędzie do wsparcia pracownika w procesie rozwiązywania reklamacji, mamy dziesiątki tysięcy reklamacji rocznie. Problem z procesowaniem przez pracownika, czytaniem tekstów pisanych w różnych formatach, różnym stylem, był oczywiście duży i rozwiązania Gen.AI przyniosły bardzo dużą poprawę z punktu widzenia pracownika. Ale mógłbym wymieniać szereg obszarów, gdzie te rozwiązania się sprawdziły i dalej je rozbudowujemy. Natomiast w skrócie rocznie ponad 4 miliony odpytań do wszystkich tych narzędzi, które wdrożyliśmy.

Krzysztof:
[11:33] No to już jest duża skala i wszystkie organizacje, które w jakiś sposób bardziej wykorzystują Gen AI, nie mówiąc już o tak dużej skali, muszą się mierzyć ze swego rodzaju błędami, halucynacjami, omyłkami modeli językowych czy też asystentów, na których właśnie Gen AI działa. To jest niebanalny problem, z którym organizacje muszą sobie radzić, a myślę sobie, że takie organizacje regulowane typu banki, no tym bardziej muszą na to zważać, tym bardziej muszą jakoś ten obszar zaopiekować. Jak wy podchodzicie właśnie do tych potencjalnych błędów modeli w właśnie realizacji procesów biznesowych?

Grzegorz:
[12:15] Po pierwsze, świadomość pracownika, który używa tych rozwiązań, że te modele mogą helocynować i nie możemy im w 100% ufać. Problem właśnie też tego determinizmu, który na początku naszej rozmowy otarliśmy się. Natomiast oprócz tego no to tak jak mówiłem zaczynaliśmy od takich bezpieczniejszych procesów zaczynaliśmy też od modelu tak zwanych human in the loop czyli AI jako wsparcie a nie jako ostateczny decydent w procesie tylko tam. W procesie człowiek nie jest już potrzebny, gdzie naprawdę dobrze przetestowaliśmy ten proces, ale przetestowaliśmy nie w takim tradycyjnym rozumieniu testów, tylko upewniliśmy się na produkcji, że to działa i że możemy bezpiecznie człowieka schować trochę głębiej w tym procesie. Oprócz tego oczywiście testy, testy i jeszcze raz testy. Mieliśmy np. dla jednego z naszych rozwiązań hackathon na ponad 200 osób z Politechniką Warszawską, gdzie zaproszeni też byli studenci z innych uczelni. I celem studentów było złamanie naszego asystenta AI, docelowo kierowanego do klienta zewnętrznego, więc duży wysiłek i trochę niestandardowy skierowany na to, żeby szerokie grono znalazło problemy, które jeszcze pozostawiliśmy w tym systemie. No i oprócz tego oczywiście monitoring produkcyjny tego, co się dzieje, system GuardRise i monitorowanie na bieżąco, jakie problemy wyskakują i podejmowanie akcji na bieżąco. Także szereg różnych komponentów, których wszystkie co do zasady mają się składać na zabezpieczenie przed halucynacjami i innymi rzeczami, które mogą się zdarzyć przy takich zastosowaniach.

Krzysztof:
[14:13] No właśnie, dobrze, że podkreślasz, że to nie jest też coś, co jednorazowo jesteśmy w stanie uzyskać i to już z nami jest, prawda? To jest pewien obszar, który musimy cały czas dbać, zajmować się, ciągle monitorować. To jest po prostu, mam wrażenie, taka immanentna cecha tych systemów opartych o Gen AI, że musimy jako ludzie cały czas gdzieś tam mimo wszystko jednak jakąś pieczę, jakąś formę dozoru nad tymi rozwiązaniami trzymać, prawda?

Grzegorz:
[14:38] Zdecydowanie tak.

Krzysztof:
[14:39] Okej, z tego co się dowiedziałem, bardzo duża część tych zastosowań Gen.ai w mBanku to są zastosowania dla pracowników, takie wewnętrzne nazwałbym może w ten sposób, a nie Customer Facing. Czy tak faktycznie jest? Czy to się zmienia? I skąd wynika właśnie takie podejście?

Grzegorz:
[14:59] Potwierdzam. Wynika głównie z tego, że nie chcemy eksperymentować na kliencie, wolimy eksperymentować na sobie i dopiero jak będziemy mieli pełne przekonanie, że panujemy nad tym ekosystemem, że wiemy w jakich sytuacjach, jak może nas zaskoczyć i jakie zabezpieczenia powinniśmy wdrożyć, dopiero wtedy chcemy przechodzić z rozwiązaniami dla klienta zewnętrznego. Nie zależy nam na tym, żeby świat o nas mówił, że mamy wdrożone takie wspaniałe rozwiązania, natomiast na pewno bardzo nam zależy na tym, żeby to było bezpieczne z punktu widzenia klienta. Na pewno w rozwiązaniach dla pracownika wewnętrznego mamy trochę większą kontrolę nad tym, jak te rozwiązania działają i co się z tym później dzieje. Na pewno trochę łatwiej nam też jest dostać feedback od pracowników wewnętrznych niż od klienta zewnętrznego i to wszystko się składa na takie nasze podejście, gdzie chcemy właśnie wdrażać stosunkowo dużo, ale jednocześnie, żeby to było bezpieczne. Nadal w tych rozwiązaniach możemy odnieść całkiem dużo korzyści, usprawniając procesy wewnętrzne, czy po prostu robiąc rzeczy, których do tej pory nie byliśmy w stanie zrobić, bo to było po prostu ekonomicznie nieopłacalne. Także nadal w tych rozwiązaniach dla klienta wewnętrznego, dla pracownika jest bardzo dużo do uzyskania. Część już uzyskaliśmy, ale uważam, że nadal całkiem sporo przed nami. Natomiast o kliencie zewnętrznym też oczywiście myślimy i będziemy wdrażać też rozwiązania dla klienta zewnętrznego, ale tak jak powiedziałem, ostrożność nam przyświeca.

Krzysztof:
[16:47] Myślę, że porne pytanie, które zwłaszcza może zainteresować nieco bardziej technicznie zorientowane osoby słuchające tego podcastu, na tyle na ile oczywiście jesteś w stanie powiedzieć, jak wygląda obecnie architektura tych rozwiązań opartych o GNI w mBanku.

Grzegorz:
[17:02] Jak zaczęliśmy myśleć o architekturze, jak podejść do tego i w jakiej architekturze to wdrażać, to jakby jedną z pierwszych rzeczy, która nam przyszła na myśl, że w sumie nie mamy szansy albo bardzo małą szansę przewidzieć, który z dostawców będzie najlepszy w tym wyścigu. No wiadomo, że na początku to były dostępne tylko przyzwoicie działające modele GPT, ale szybko się to pozmieniało. Weszły też modele open source’owe, weszli inni dostawcy. Natomiast nigdy nie chcieliśmy stawiać na jednego dostawcę. Zdawaliśmy sobie sprawę, że jest to obarczone bardzo dużym ryzykiem, więc chcieliśmy mieć architekturę modułową, niezależną od pojedynczego dostawcy, gdzie każdy z tych modułów może być stosunkowo łatwo wymieniony na inny moduł. W związku z tym ta architektura modułowa, która też w wielu elementach stawia na rozwiązania open source’owe, pomimo że nadal jej serce, czyli LLM, najczęściej wykorzystywanym modelem są modele z rodziny GPT, ale już nie tylko. Dzięki temu, że postawiliśmy na taką architekturę, to wraz z rozwojem tych modeli mogliśmy na przykład sobie wymienić modele GPT na modele open source’owe, chociażby dla zastosowania analizy rozmów wewnętrznych. To był akurat przypadek, gdzie, przepraszam, nie wewnętrznych, tylko rozmów z klientami. To był przypadek, gdzie mamy bardzo przewidywalny ruch, mamy około 10 milionów rocznie rozmów, łącznie rozmów i czatów z klientami. Więc w pewnym momencie stwierdziliśmy, dobra, to tego nie chcemy robić na modelach GPT, chcemy postawić własną infrastrukturę i na modelach open source’owych to zrobić. Więc na pewno modularność, na pewno niezależność od dostawcy, na tyle na ile się da oczywiście. Sporo open source’a, rodzina LANG, LANG Chain, LANG Graph, LANG FUSE, tam gdzie ma to sens z naszego punktu widzenia.

Krzysztof:
[19:10] Co z tego zbudowaliście wewnętrznie, no bo mBank to jest też duży software house, jakby nie było, a jakie elementy pochodzą od dostawców zewnętrznych?

Grzegorz:
[19:20] Tam, gdzie się dało i gdzie uważaliśmy, że ma to sens, korzystaliśmy z dostawców zewnętrznych, czyli na przykład nie… Nie chcieliśmy się pokusić o budowę własnych modeli LLM, tylko chcieliśmy używać najlepszych modeli na rynku, które są dostępne, albo przynajmniej najlepszych w rozumieniu w stosunku cena-jakość. Na pewno nie chcieliśmy budować rozwiązań do orkiestracji tym ekosystemem, jeżeli są na rynku dobre open source’owe rozwiązania, natomiast musieliśmy zbudować całą architekturę, która łączy te wszystkie komponenty, no bo tak jak powiedziałem wcześniej, jeżeli nie chcieliśmy się uzależniać od jednego dostawcy, to musieliśmy zbudować własną architekturę, która łączy te wszystkie komponenty i integruje z systemami banku. I te wszystkie łączniki oczywiście my musieliśmy zbudować, musieliśmy oczywiście zbudować komunikację z systemami banku i zadbać o wplecenie dostawców zewnętrznych, czy komponentów od dostawców zewnętrznych w ekosystem banku.

Krzysztof:
[20:34] Na ile tutaj wystąpił albo był rozważany problem vendor loginu? Na ile uzależnienie się od określonych dostawców mogło być problemem? Czy w jaki sposób adresowaliście ten problem? Czy te LLM-y, które są tutaj tymi komponentami zewnętrznymi są powiedzmy na tyle łatwo wymieniane, że ten problem jest nieistotny?

Grzegorz:
[20:55] Chcieliśmy być niezależni od pojedynczego dostawcy, chcieliśmy mieć architekturę, która będzie modularna i każdy moduł chcieliśmy być w stanie wymienić na moduł od innego dostawcy lub własny. Tak jak powiedziałem, startowaliśmy z modelami GPT, ale obecnie jesteśmy w stanie w zasadzie w każdym rozwiązaniu, albo prawie każdym, wymienić model na inny, Oczywiście do tego potrzebujemy szeregu testów, automatyzacji tego procesu, ale jesteśmy w stanie podmieniać modele na modele od innych dostawców. My oczywiście dalej nie wiemy, jak się będzie w zasadzie ta wojna o najlepsze modele AI-owe dalej rozwijać i kto będzie w niej zwycięzcą. My chcemy móc korzystać z najlepszych rozwiązań albo najlepszych dla nas rozwiązań i łatwo przechodzić od jednych modeli do innych.

Krzysztof:
[21:56] Tak, zwłaszcza, że ten ekosystem, ta paleta tych różnych modeli tak szybko się zmienia, ewaluuje, że nigdy nie wiadomo, jak bardzo po prostu ten rynek nam się zmieni, czy faktycznie przejście na innego dostawcy nie będzie gdzieś takim czynnikiem bardzo usprawniającym i zmieniającym to, co już macie zbudowane. Czy jesteś w stanie powiedzieć, które z tych narzędzi przez Was wdrożonych albo  zastosowań GNI przyniosło największy zwrot albo największy efekt?

Grzegorz:
[22:27] Wydaje mi się, że na dzisiaj jest to rozwiązanie MLSEN. Wspominałem już o nim w poprzednich wypowiedziach. Chodzi o to, żeby wszystkie rozmowy naszych konsultantów z naszymi klientami, mamy ich około 10 milionów rocznie, przekuć na formę tekstową, czyli speech-to-text i później analizować je wszystkie, a nie tylko wybrane. Dzięki temu możemy usprawniać nasze contact center, ale dzięki temu zyskujemy też dostęp do potężnej wiedzy, która do tej pory była trochę zaniedbana, to znaczy były oczywiście notatki w systemie CRM w rozmów z klientami, ale przynajmniej ja, jako klient innych instytucji nawet, Nie chcę tutaj mówić o swojej, żeby nie być stronniczym, ale miałem takie poczucie, czy często wciąż mam takie poczucie, że już piąty raz tłumaczę swój problem jakiemuś kolejnemu konsultantowi, do którego jestem przekierowany i może dałoby się to zrobić łatwiej z punktu widzenia klienta. My może jeszcze nie jesteśmy w tym miejscu, gdzie bym chciał, żebyśmy byli, jeśli chodzi o wykorzystanie tej wiedzy. Natomiast wydaje mi się, że jesteśmy już dosyć blisko i będziemy w stanie, trochę już odciążamy, ale będziemy w stanie bardziej odciążać klienta z tłumaczenia kolejnemu konsultantowi swojego problemu. A oprócz tego jest to po prostu potężna wiedza, której banki słabo korzystały do tej pory i te technologie otwierają ten potencjał. My nadal jesteśmy u progu jego wykorzystania i pewnie dopiero liznęliśmy te możliwości, ale wydaje mi się, że tam te możliwości są bardzo duże. Nie musimy już tylko i wyłącznie odsłuchiwać co setnej rozmowy, tylko naprawdę możemy analizować duży zbiór, w zasadzie całościowy zbiór naszej komunikacji z klientami i mam nadzieję, że z punktu widzenia klienta będzie to coś bardzo dobrego, coś co usprawni komunikację z nim, coś co pomoże klientowi być lepiej zrozumianym w instytucji, z którą pracuję, w której jest klientem.

Krzysztof:
[24:42] Mówiłeś, że wiele z tych zastosowań GNI w mBanku jest nadal rozwijane, przetrwało jakąś pierwotną fazę testów, eksperymentów, ale są też te zastosowania, które zostały z jakichś tam względów odrzucone. Zastanawiam się, czy w jakiś sposób mierzycie, w jakiś sposób weryfikujecie sukces danego zastosowania, czy też wdrożenia GNI, co decyduje o tym, że dalej taka linia będzie kontynuowana, a co, że gdzieś jest to jednak zarzucane.

Grzegorz:
[25:16] Mierzymy w zależności od rozwiązania, to znaczy tak, mamy na pewno jedną wspólną miarę dla wszystkich i jest nią używalność. Znaczy jedna rzecz jest pewna, jak nikt danego rozwiązania nie używa, to chyba jest niepotrzebne. Jak jest używane dużo, to zapewne wielu ludziom to pomaga. Więc to jest taka jedna wspólna miara dla wszystkich tych rozwiązań. Pewnie taka dosyć naturalna w ogóle dla dowolnego rozwiązania. Jak coś jest używane, to jest pewnie komuś potrzebne. Jak jest używane więcej, to jest bardziej potrzebne. Oczywiście to jest pewne uproszczenie, bo dla rozwiązań wyspecjalizowanych, dla jakiegoś obszaru, do jakiegoś nietypowego procesu albo procesu, który nie jest jakoś bardzo szeroko rozpowszechniony, to trudno porównywać używalność z rozwiązaniem, asystentem dla wszystkich pracowników. Wiadomo, że ten drugi musi mieć większą używalność. W związku z tym mierzymy też inne aspekty, zwłaszcza dla tych wyspecjalizowanych rozwiązań. Do nich należy na przykład. Oszczędność czasu pracy ludzi. Przykład. Rozwiązanie wspierające pracowników w rozwiązywaniu reklamacji klientów. Tam po prostu bardzo precyzyjnie mierzymy, ile czasu ludzkiego zostało oszczędzone w tych procesach, ile czasu ludzkiego mogło być przekierowane na inne elementy, chociażby tam, gdzie AI sobie słabiej radzi. Mamy też mamy też miary dla niektórych rozwiązań związane z jakością wspominane wcześniej rozwiązanie analizy rozmów call center z klientami no tam dzięki temu rozwiązaniu nie tyle może podnieść podnosimy efektywność pojedynczego pracownika co po prostu stwarzamy nowe możliwości, które dzisiaj były niedostępne, analizy wszystkich rozmów klientów inny przykład to wracając znowu do rozwiązania wspierającego rozwiązywanie reklamacji, Podnosimy jakość, taką językową jakość, z jaką komunikujemy się z klientem. Od lat już mieliśmy w banku tak zwany MCANON, czyli system pomiaru jakości, W uproszczeniu powiem prostoty języka i zrozumiałości języka, z którym komunikujemy się z klientem. I widzimy na przykład, że to rozwiązanie AI-owe osiąga lepsze rezultaty niż człowiek formułując odpowiedź. Oczywiście człowiek na koniec i tak to na dzisiaj akceptuje lub nie akceptuje, lub zmienia, ale widzimy, że po prostu to rozwiązanie potrafi bardzo dobrze dopasować się do sposobu komunikacji, jakiego oczekiwaliśmy już od lat od naszych pracowników.

Krzysztof:
[28:12] mBank mam wrażenie, że od początku swojego istnienia pozycjonuje się i zresztą jest z tego znany, że korzysta z tych nowinek technicznych, że jest takim bankiem postępowym i nowoczesnym. No ale wiemy, że takim dążeniem czy podążaniem za tymi zmianami technicznymi, technologicznymi idzie też zmiana procesów, no i też zmiana tego, jak chociażby pracownicy wewnętrznie korzystają z tych narzędzi. Zastanawiam się, co było największym wyzwaniem, jeśli chodzi właśnie o wdrożenie GNI w mBanku, później w jego, powiedzmy, skalowanie. Czy to była technologia, czy też może właśnie ludzie, ich przyzwyczajenia, zmiana procesów, do których już przywykli?

Grzegorz:
[28:55] To znów jest odpowiedź wszystko po trochu, to znaczy tak, technologia była wyzwaniem i miejscami dalej bywa. A pierwsze modele, z którymi próbowaliśmy, często stosunek wartości, którą wnosiły, wersus poziom halocynowania, był niekorzystny i czasami trzeba było trochę poczekać. Na szczęście bardzo szybko się to wszystko rozwija, co mnie niezmiernie cieszy. Ta technologia powoli schodzi z tego pierwszego planu, jeżeli chodzi o problemy, o które pytasz. Druga rzecz, ludzie, nie chciałbym słowa problem kojarzyć ze słowem ludzie, bo to nie tak. Natomiast stopień gotowości poszczególnych zespołów był bardzo różny. Czasem z entuzjazmem, czasem wprost przeciwnie i trzeba oczywiście z tym sobie jakoś radzić. I tutaj edukacja, rozmowa, aspekty takie bardzo kojarzące się z ludzkim podejściem, bym powiedział, wprost przeciwne do czegoś, co kojarzymy z AI-em i gwałtownym rozwojem technologii, tutaj uważam, mają bardzo duże znaczenie. Dodam na przykład, że nasz dział HR też jest bardzo mocno zaangażowany we wdrożenia, co mnie bardzo cieszy. Warto też wspomnieć o problemach natury regulacyjnej i problemach natury bezpieczeństwa. To są problemy, o których oczywiście nie można zapomnieć i one oczywiście w pewnym sensie spowalniają wdrożenia, ale z drugiej strony ja to też uważam, że jest złe słowo, bo ono jest takie negatywne. Natomiast nie da się uciec przed tymi problemami, bo wdrożenie jednego rozwiązania, które nam jakoś pomoże, ale narazi na przykład dane naszych klientów, to jest na pewno ostatnia rzecz, którą byśmy chcieli mieć. I wiemy też, że te rozwiązania nie tylko… Trzeba się zastanowić, jak je bezpiecznie wdrożyć, ale z drugiej strony trzeba sobie zdawać sprawę, że mogą być też narzędziami w rękach przestępców. No i to też jest oczywiście jakiś aspekt, w którym trzeba się zastanowić, bo można oczywiście udawać, można sobie powiedzieć, my nie wdrażamy GNI, a w związku z tym problem nas nie dotyczy. Wtedy dotyczy może nawet bardziej, bo przestępcy tego nie postrzegają.

Krzysztof:
[31:29] Dokładnie. To, co powiedziałeś, bardzo dobrze naocznie pokazuje, jak szerokim i skomplikowanym, złożonym problemem jest wdrożenie Gen.AI właśnie w dużych organizacjach, że to nie jest tylko kwestia techniczna, to nie jest tylko kwestia wyboru narzędzi, zabezpieczenia, danych i tak dalej, ale również ten komponent ludzki jest tutaj niezwykle istotny. Po to też mam wrażenie, żeby ta wdrożona technologia nie była tylko narzędziem, które po prostu nie jest przez nikogo używane i tutaj właśnie ten proces, mam wrażenie, przyzwyczajania, przechodzenia i to wewnętrznych pracowników, jak i klientów na tego typu rozwiązania to jest coś, na co też trzeba z pewnością zwrócić uwagę. Wspominałeś na początku o tym, że taka, nazwałbym to, reużywalność tych rozwiązań to było zawsze coś, co stało na pierwszym prawie że miejscu, jeśli chodzi o tworzenie i projektowanie rozwiązań opartych o GNAI. Zastanawiam się, jak to wygląda w praktyce, jak właśnie to podejście do reużywalności  tych narzędzi jest wykorzystywane.

Grzegorz:
[32:42] W skrócie, jeżeli mamy zdecydować, czy zająć się rozwiązaniem A czy rozwiązaniem B i rozwiązanie A daje umowne 100 i rozwiązanie B daje umowne 100, ale rozwiązanie A da to 100 i tyle, a rozwiązanie B widzimy potencjał na to, żeby jeszcze w trzech innych miejscach go reużyć albo reużyć po niewielkich zmianach i da nam jeszcze kolejne 50, a może 200, no to siłą rzeczy kierujemy się tam, gdzie to reużywanie jest widoczne i tak podejmujemy te decyzje. Tak samo dałem przykład oczywiście, gdzie pierwsze korzyści są takie same, ale oczywiście mieliśmy też sytuację, gdzie decydowaliśmy się robić rozwiązanie, które na pierwszy ogień dawało mniejsze korzyści niż jakieś inne rozwiązanie, ale jak się zsumuje to wszystko, co tam potencjalnie przed nim, to okazywało się, że może przynieść dużo więcej i wtedy oczywiście też decydowaliśmy się, by robić to, co da większej liczbie ludzi korzyść, a nie tylko to, co tu i teraz. Natomiast oczywiście biorąc pod uwagę, jak szybko to się wszystko zmienia, jak dynamiczny jest to rynek jak te nowe możliwości się pojawiają w zasadzie z dnia na dzień, No to też musieliśmy mieć świadomość, że te korzyści muszą być w miarę szybko, no bo jeżeli myślimy o korzyściach za 3 czy 5 lat, to za 3 czy 5 lat to wszystko będzie wyglądało na pewno zupełnie inaczej i pewnie nawet sobie nie potrafimy dzisiaj wyobrazić jak.

Krzysztof:
[34:28] Zastanawiam się, jak wygląda wdrażanie tego typu rozwiązań w takim środowisku, jakby nie było regulowanym, gdzie potrzeba zaopiekowania tego aspektu bezpieczeństwa jest bardzo ważna i bardzo istotna. Czy to w jakiś sposób hamuje, czy też wręcz odcina pewne możliwości zastosowania, czy też po prostu nadal robicie to, co macie zaplanowane, ale trzeba dodatkowo, czy też bardziej zaopiekować właśnie ten aspekt regulacyjny związany z security.

Grzegorz:
[34:59] Departament Bezpieczeństwa bardzo ściśle w samym programie generatywnej sztucznej inteligencji współpracuje z nami. Natomiast odpowiadając wprost na Twoje pytanie, to tak, są sytuacje, kiedy odcinamy niektóre zastosowania z tego powodu. Bezpieczeństwo i dbanie o dane naszych klientów, o to, żeby nic złego się nie wydarzyło, zawsze idzie przed tym, żeby wdrożyć kolejne rozwiązanie i żeby trochę podnieść efektywność, z jaką pracujemy. Tutaj nie idziemy na kompromisy, nie chcemy, żeby Cel, jakim jest podnoszenie efektywności, skończył się tym, że nasi klienci ucierpią albo bank na jakiś inny sposób związany z bezpieczeństwem ucierpi. Także oczywiście zdarzają się sytuacje, w których po prostu rezygnujemy z robienia niektórych rzeczy. Jeżeli nie da się ich zrobić bezpiecznie, ale bardzo często w wyniku rozmów, w wyniku pewnych uzgodnień z Departamentem Bezpieczeństwa, To jest najczęstsza sytuacja. Dochodzimy do jakichś rozwiązań, które pozwalają nam zrobić to, co chcieliśmy, ale jednocześnie zrobić to w sposób bezpieczny.

Krzysztof:
[36:18] Rozumiem. Jestem przekonany, że w tym obszarze zebraliście już wiele doświadczeń, wypracowaliście pewne standardy, wiecie co działa, co nie działa. Co doradzałbyś organizacjom, przynajmniej jeśli chodzi o skalę gdzieś tam podobnym do mBanku, jeśli chodzi o wdrożenie GNI? Jakich błędów można byłoby uniknąć, które powiedzmy wam się przydarzyły, co byłoby taką twoją poradą właśnie dla tych organizacji, które myślą o GNI, ale gdzieś tam się wahają i rozważają?

Grzegorz:
[36:50] Na pewno doradzałbym jeszcze więcej rozmawiać z docelowymi odbiorcami tych rozwiązań, niż my początkowo rozmawialiśmy. Tutaj trudno jest przeinwestować, wydaje mi się. Jakby czas spędzony z ludźmi, człowieka z człowiekiem, wbrew pozorom, spłaca się wielokrotnie i na pewno wszystkich zachęcam, żeby rozmawiać, rozmawiać, rozmawiać, edukować, edukować, edukować. Ten czas naprawdę się zwraca i na pewno zamknięcie się w jakiejś wieży z kości słoniowej, w odosobnieniu to do niczego dobrego jednak nie prowadzi. Drugą rzeczą, którą mógłbym mógłbym doradzić, to pójście jednak tą ścieżką, by nie uzależniać się od jednego wendora. Dynamika rynku pokazuje, że naprawdę trudno jest przewidzieć, kto będzie miał najlepsze rozwiązania w przewidywalnej przyszłości. Trudno w zasadzie jest przewidzieć cokolwiek, więc to na co możemy postawić, to możemy postawić na elastyczność naszych rozwiązań, wymienialność komponentów i po prostu bycie gotowym na to, co świat tutaj technologii nam przynosi z każdym dniem.

Krzysztof:
[38:06] Dokładnie, dokładnie. Czy jesteś w stanie coś powiedzieć o planach, o przyszłości wykorzystania jeszcze dalszego, głębszego GNI w mBanku?  Co tam za rogiem się kryje?

Grzegorz:
[38:18] No na pewno dużo kolejnych rozwiązań dla pracowników, natomiast o tym już trochę mówiliśmy. Natomiast za rogiem na pewno kryje się też udostępnienie naszego asystenta dla klienta zewnętrznego, czyli żeby można było po prostu sobie bankować przy pomocy języka naturalnego, jeżeli ktoś tak lubi. Nie zamierzamy zmuszać, ale zamierzamy dać taką możliwość także klientom zewnętrznym.

Krzysztof:
[38:45] Świetnie. Moim Waszym gościem był Grzegorz Ostrowski. Rozmawialiśmy o tym, jak wygląda zastosowanie GNI w mBanku. Grzegorz, bardzo Ci dziękuję za tę rozmowę.

Grzegorz:
[38:55] Dziękuję, Krzysztof.

Krzysztof:
[38:56] Powiedz jeszcze proszę, zanim zakończymy, gdzie Cię możemy znaleźć w internecie, gdzie możemy słuchaczy odesłać.

Grzegorz:
[39:02] Zapraszam na mój profil LinkedIn. Tam kieruję wszystkich zainteresowanych. Tam można się teraz ze mną skontaktować.

Krzysztof:
[39:09] Super. Oczywiście link będzie w dotatce do odcinka. Jeszcze raz Ci bardzo dziękuję i do usłyszenia.

Grzegorz:
[39:14] Dziękuję i do usłyszenia.

Krzysztof:
[39:15] To już wszystko na dzisiaj. Jeśli chcesz więcej takich rozmów, Archiwum czeka. Tam też dzieją się ciekawe rzeczy. Masz pytania, przemyślenia? Możesz się ze mną skontaktować na social mediach albo mailowo na krzysztofmapa.prosmawiajmy.it.pl Nazywam się Krzysztof Kempiński, a to był odcinek Porozmawiajmy o IT o GenAI w banku. Dzięki za wspólnie spędzony czas. Do usłyszenia w kolejnym odcinku. Cześć!