POIT #328: Testowanie kodu z użyciem agentów AI

Witam w trzysta dwudziestym ósmym odcinku podcastu „Porozmawiajmy o IT”. Tematem dzisiejszej rozmowy jest testowanie kodu z wykorzystaniem agentów AI.

Dziś moim gościem jest Piotr Zając – Senior Sales Engineer w UiPath, gdzie pełni funkcję architekta rozwiązań specjalizujących się w AI i uczeniu maszynowym; związany z branżą IT od czasów bańki internetowej, posiada doświadczenie w technologiach Microsoft, SAP, Oracle i SAS.

W tym odcinku o testowaniu z wykorzystaniem AI rozmawiamy w następujących kontekstach:

  • rosnącej dysproporcji między tempem tworzenia kodu a możliwościami jego testowania,
  • ograniczeń skalowania zespołów testerskich,
  • wpływu fragmentacji narzędzi, danych i odpowiedzialności na testowanie,
  • koncepcji „dark testing factory” i jej praktycznego zastosowania,
  • różnic między automatyzacją, wsparciem AI a autonomicznym testowaniem,
  • pracy agenta od wykrycia zmiany po analizę wyników i eskalację,
  • oceny ryzyka i ustalania jego akceptowalnego poziomu,
  • kontrolowanej autonomii i granic samodzielności agentów,
  • zagrożeń związanych z agentami i sposobów ich ograniczania,
  • audytowalności działań i decyzji agentów,
  • budowania zaufania i stopniowego zwiększania autonomii,
  • nowych kompetencji, odpowiedzialności i ścieżek rozwoju testerów.

Subskrypcja podcastu:

Linki:

Pozostańmy w kontakcie:

 

Muzyka użyta w podcaście: „Endless Inspiration” Alex Stoner (posłuchaj)

Transkrypcja podcastu

Krzysztof:
To jest 328. odcinek Porozmawiajmy.IT. Dziś rozmawiamy o testowaniu kodu z wykorzystaniem agentów AI. Jeśli myślisz o zmianie pracy albo po prostu masz dość klikania dalej na ogłoszeniach bez widełek, to zajrzyj na Solid Jobs. Tam wszystko jest na tacy. Wynagrodzenie, projekty, technologie. Bez zgadywania. Notatkę, linki i transkrypcję znajdziesz na porozmawiajmyoit.pl łamane na 328. Nazywam się Krzysztof Kempiński. Tworzę ten podcast. Napisałem też książkę Marka Osobista w branży IT. Jeśli doceniasz to, co robię, udostępnij ten odcinek dalej albo zostaw ocenę w swojej apce. To jest dla mnie nieoceniona pomoc. A teraz odpalamy! Cześć, moim waszym gościem jest Senior Sales Engineer w UI Path, gdzie pełni funkcję architekta rozwiązań specjalizujących się w AI i uczeniu maszynowym. Związany z branżą IT od czasów bańki internetowej, posiada doświadczenie w technologiach Microsoft, SAP, Oracle i SaaS. Moim waszym gościem jest Piotr Zając. Cześć Piotr, bardzo miło mi gościć Cię w podcaście.

Piotr:
Cześć, bardzo miło mi tutaj być.

Krzysztof:
Dużo się ostatnio mówi o tworzeniu kodu z wykorzystaniem agentów AI. Będziemy chcieli z Piotrem dotknąć tego, co dalej, a może co wcześniej, czyli testowania kodu również z wykorzystaniem AI. Jest to równie interesujący i bardzo potrzebny, myślę, temat i brak jest jeszcze takich dosyć jasnych, klarownych, wytycznych, jak to robić dobrze, więc bardzo chętnie tutaj wykorzystam obecność Piotra, żeby też z jego doświadczeń skorzystać. Piotrze, zanim do tego tematu przejdziemy, to takim moim pytaniem wprowadzającym zawsze jest to, czy słuchasz podcastów, może jakieś ciekawe audycje tutaj możesz zarekomendować słuchaczom.

Piotr:
Słucham namiętnie i od bardzo dawna. Słucham podcastów przede wszystkich ekonomicznych, a moim ulubionym jest Freakonomics, czyli o ekonomii behawioralnej. Słucham Hidden Brain, to jest taki bardziej psychologiczny podcast i słucham, podcastów o statystyce. More or less z BBC, radio jest rewelacyjne i tam demontują wszystkie statystyki, rozkładają, na części pierwszej, jak Trump powie, że jest odpowiedzialny za 60% produkcji ropy naftowej, to nie zostawiam na tym suchej nitki, uwielbiam gości, i to tak from the top of my head, ale tak, podcast love it.

Krzysztof:
Super, super, dzięki za te rekomendacje. Kilku z pewnością jeszcze nie znam, ale z chęcią nadrobię.

Krzysztof:
Okej, wiesz, ty, ja i pewnie wielu słuchaczy, którzy gdzieś tam mają styczność z pisaniem kodu właśnie w sposób agentyczny, zauważa, że oczywiście rozwiązuje to pewne problemy, pomaga w takiej codziennej pracy, ale to wcale nie znaczy, że to jest taki silver bullet, który nam wszystkie niedogodności związane z takim klasycznym SDLC załatwia, bo to, że możemy szybciej pisać kod, to wcale nie znaczy, że problemy nie pojawią się w nieco innych właśnie fragmentach czy też krokach tego procesu wytwarzania oprogramowania i to już na wcześniejszych etapach związanych z przygotowaniem takiego wkładu, co my właściwie chcemy robić, jak i później z sensownym przetestowaniem tego, monitorowaniem i tak dalej. Po prostu te problemy, mam wrażenie, że troszkę przesuwają się z jednego miejsca w drugie. No właśnie, czy ty też zauważasz, czy też w rozmowach, gdzieś tam w obserwacjach firm, organizacji, zauważasz, że to, że możemy szybciej pisać kod, tworzyć kod, wytwarzać kod, to wcale nie znaczy, że będziemy w stanie go równie szybko testować, po czym można w ogóle zauważyć, że mamy właśnie tego typu problem.

Piotr:
Wiesz co, ja czuję to brzuchem, bo są statystyki, które pokazują, że jest tak, jak mówisz, Mam natomiast wrażenie, że te statystyki są trochę takie kukt, w sensie one potwierdzają pewną hipotezę, nie do końca według mojej oceny są na reprezentatywnych próbkach robione, raczej są takie anegdotyczne historie tutaj podawane, ale ja faktycznie brzuchem czuję.

Piotr:
Że tak jest. Z kim bym nie rozmawiał a moja ścieżka kariery przetoczyła się przez kilka organizacji, i cieszę się, że mam zróżnicowane, doświadczenia i wiesz to z kim bym nie rozmawiał, czy z moimi kolegami którzy pracują dalej w oraklu czy z tymi, którzy zostali w SAP-ie, czy z tymi, którzy są w Microsoft-cie, to każdy dzisiaj mówi o tym, że właściwie nie wyobraża sobie już dnia bez Kloda albo bez kodeksa, nie? I każdy kawałek kodu, jeżeli nawet docelowo jest gdzieś tam, doprecyzowywany, fine-tunowany przez człowieka, to on się zaczyna w klozie. Dzisiaj wracałem pociągiem z Wrocławia rano, i pewnie znowu, wiesz, to będzie anegdotyczne, ale, przechodząc i nie podglądając, ale rzucając okiem na komputery ludzi, którzy coś robili w tym pociągu, widziałem podział ekranu na dwie części i z lewej strony kod, a z prawej strony Excel, nie? Tak, zdecydowanie tak Wszyscy już wykorzystują te narzędzia do tego One się stały, Strasznie dokładne I strasznie precyzyjne I one mi podpowiadają takie rzeczy, na które ja bym nie wpadł Jest mi głupio trochę z tego powodu, ale tak Czy myślisz.

Krzysztof:
Że ta dodatkowa Objętość tego kodu, który powstaje Powoduje już taki efekt, że nie jesteśmy w stanie go przetestować tymi wiesz klasycznymi metodami, do których to przywykliśmy zanim jeszcze AI było modne i nam pomagało? Czy to już nie jest za dużo, żeby jeszcze aplikować te metody, które gdzieś tam wcześniej nam służyły?

Piotr:
Jestem o tym przekonany. Oczywiście jest to subiektywne przekonanie, ale nie wyobrażam sobie, żeby dało się zachować proporcje pomiędzy wytwarzaniem kodu, a jego testowaniem, dysponując dwoma skrajnie różnymi technologiami w tych obszarach. Jak wytwarzamy kod dużymi modelami językowymi I mamy nadzieję teraz Wiesz, tę emergentną funkcję, bo z tego kodu coś wynika To powstaje aplikacja, Nie całe testowanie to jest testowanie kodu My możemy kod testować, ale tak naprawdę potem testujemy też to, co ten kod robi I to są różne wymiary Możemy testować samą aplikację, czy jak kliknę albo przesunę To to się wydarzy, co miało się wydarzyć, A wyżej jest jeszcze warstwa, co to jest w ogóle za proces czy jak to miało być, nie wiem.

Piotr:
Purchase requisition, to czy odpowiednio zostały dobrane parametry złożenia tego w systemie ERP, żeby to miało ręce i nogi z punktu widzenia biznesowego, więc, z całym szacunkiem dla wszystkich deweloperów to tam świat się zaczyna, a ten kod zaczyna potem żyć właśnie w formie aplikacji, a wyżej jeszcze procesu biznesowego i to wszystko trzeba testować, więc jak mamy wsparcie dużymi modelami językowymi I w tym ważnym, ale jednak fragmencie tego procesu, wspomniałem się o całym SDLC i application lifecycle management, no to jak tutaj się nie będziemy wspierać sztuszną inteligencją, to co nas uratuje? No chyba, że będziemy więcej ludzi na to wrzucać, ale nie wydaje mi się, żeby dało radę w tej skali to ogarnąć.

Krzysztof:
To jest ciekawe, bo z moich obserwacji też wynika, że nierównomiernie następuje to wspomaganie właśnie LL-ami różnych fragmentów całego tego procesu wytwarzania, oprogramowania i o ile pewnie najbardziej widocznym obecnie jest wytwarzanie kodu jako taki faktycznie booster, przyspieszacz tego fragmentu, to moim odczuciu gdzieś chyba jeszcze testowanie nie jest tak mocno, tak widocznie wspomagane przez AI, albo przynajmniej nie na tyle, ale żeby nadążało za tym dużym przyspieszeniem w wytwarzaniu oprogramowania. Jestem ciekaw twoich doświadczeń, czy również gdzieś taką dysproporcję zauważysz, a jeśli tak, to z czego to wynika?

Piotr:
To jest przepaść z mojej perspektywy, wiesz? I myślę, że ta przepaść, ona jest bardzo taka ludzka, że to ludzie, którzy zajmują się testowaniem, Z jakichś szczytnych takich pobudek uważają, że to testowanie wykonane przez człowieka jest jedynie słusznym podejściem i jedynie takim miarodajnym, no bo skoro to jest, aplikacja dla ludzi, no to człowiek jak to przeklika, to wtedy to jest dobrze zmierzone.

Piotr:
Wiesz co, mam takie dwa punkty obserwacyjne i chciałem się tym z Tobą podzielić, bo byłem na konferencji TestWares w Wiśle w zeszłym roku w listopadzie, i byłem opowiadać o rozwiązaniach właśnie, które wspierają sztuczną inteligencją testy, i jakby nie widziałem tam ludzi, którzy mówili o sztucznej inteligencji. 90% 90%.

Piotr:
Wykładów prelekcji było na temat playwrighta, i ewentualnie właśnie automatyzacji testów automatyzacji testów i specjalnie, jako punkt takiego szczególnego zainteresowania udałem się na podsumowującą debatę, gdzie według prowadzących spotkało się sześciu najlepszych testerów, w Polsce i czekałem na to, jak będziemy rozmawiać o zastosowaniu AI-a, a posłuchałem sobie o tym, jak LLM-y halucynują i jak właściwie są nieprzydatne, a potem pojawiły się diagramy Vena, które pokazywały, jak przesuwać testy w obszar automatyzacji. I ten AI został tam zupełnie tak po macoszemu potraktowany i nie wybrzmiał. Więcej koncentracji to akurat było fajne, było na zwrocie z inwestycji, jak się liczy w testach ROI i o Quality Assurance, ale tego AI-a tam nie było i w zeszłym tygodniu byłem na kolejnej konferencji testowej w Warszawie.

Piotr:
I znowu przesuwałem trochę granicę tego, o czym się mówi, przynajmniej z perspektywy, UI Puffa, który go reprezentuje, Od strony zastosowania w ogóle sztucznej inteligencji w testach do strony budowania takiego procesu testowania. My to nazywamy koncepcją dark testing factory, gdzie właściwie to nie jest tylko automatyczne wykonywanie testów, ale też autonomiczne wykonywanie testów. I cały ten SDLC i ALM wpięte w takie coś, co po prostu możesz zgasić światło, wyjść i to się dzieje teoretycznie samo. I dużo większe zainteresowanie ta moja prezentacja miała po niecałych 12 miesiącach od ubiegłego roku, więc wydaje mi się, że zaczyna to docierać do społeczności testujących, Czy dociera wystarczająco szybko? Nie wiem, ale widzę fundamentalną zmianę i takie jakby zainteresowanie się tym tematem, chociaż jeszcze takie z drugiej strony odbijające się od tego klasycznego humanistycznego podejścia. Skoro mamy testować manualnie, no to manus to jest ręka, to to powinien być po prostu człowiek, a nie manipulator.

Krzysztof:
To jest bardzo ciekawe, co mówisz, bo mam wrażenie, że wybrzmiewa z tego, że to raczej jest w głowach osób zajmujących się jakością, a nie np. W braku narzędzi, które by nam pozwalały z wykorzystaniem AI przetestować aplikacje. No dobrze, mówiłeś tutaj o tym, że jest taki duży rozdźwięk, czy duża różnica pomiędzy tym, jak jest wykorzystanie powiedzmy narzędzi związanych z AI w wytwarzaniu software’u versus jego testowaniu. Mogłoby się tak zwany chłopski rozum wydawać, że skoro faktycznie coraz więcej tego kodu powstaje, no to powinniśmy dotrudniać więcej testerów, żeby jakoś tą dziurę tutaj zniwelować i faktycznie udrożnić nieraz ten proces, ten bottleneck zlikwidować. No oczywiście wiemy, że to ma też oczywiście swoje granice, ma swoje limity związane z

Krzysztof:
Możliwościami finansowania firm i tak dalej i tak dalej, ale czy myślisz, że są jeszcze takie sytuacje, gdzie faktycznie zwiększenie zespołu testerów poprzez dotrudnienie osób tym się zajmujących, aby zlikwidować problem właśnie niemożności albo nadrobienia tego testowania, tak żeby faktycznie udrożnić ten proces SDLC, ma sens? Czy to w ogóle już nie ma racji bytu w obecnej erze AI?

Piotr:
To jest ciekawe pytanie.

Piotr:
Ja widzę jeszcze takie projekty, gdzie po prostu wrzuca się mnóstwo ludzi, którzy mają wykonywać testy na zadanie, i widzę, że to jeszcze w kontekście wspomnianego ROI czasami potrafi wygrać. Przynajmniej w sposób.

Piotr:
Wspominałem o tym, że każde statystyki da się tak ugotować, żeby wspierały jakąś tezę i myślę, że są jeszcze takie organizacje, które bardziej z pobudek takich, strategicznych i światopoglądowych wolą zatrudniać ludzi, natomiast subiektywnie w mojej ocenie to jest tak, że nie da się już tego robić, i wiesz co, i mam konkretne obserwacje takie techniczne, które wskazują na to, bo myślę sobie tak, okej, czy chodzi nam o to, żeby robić więcej testów, czy żeby testy, które wykonujemy, dawały produkt o lepszej jakości, bo jeżeli chcemy wykonywać więcej testów, to spoko, to dawaj, wiesz, legion ludzi i niech oni klikają po tych ekranach, nie? Niech oni wysyłają te apikole, niech oni jakby rozmawiają z tymi agentami, natomiast jest tutaj taki element braku zróżnicowania napędzanego nudą. Opowiem Ci o jednym swoim doświadczeniu, w którym duża firma operująca na kilkunastu rynkach w Europie.

Piotr:
Testowała swoje rozwiązania w ten sposób, że po prostu raz na jakiś czas zatrudniała swoich ludzi po godzinach w weekend i prosili ich, żeby po prostu wykonywali pewne scenariusze testowe. I to po godzinach albo w weekend to jest tutaj kluczowe, nie? Bo po godzinach albo w weekend to jest ostatnia rzecz, którą chcesz zrobić. No ale wiesz, ekstra kasa, idziesz w to. I co potem robisz? No jakby przeklikujesz te ekrany, ale robisz to po najmniejszej linii oporu. W związku z czym, jeżeli chcesz to zrobić po najmniejszej linii oporu, to wybierasz najprostsze ścieżki, pierwszy element z listy, pierwszy, nie wiem, wiersz tabeli i potem bazy danych uwielbiają to, bo im się cashuje po prostu to, co wszyscy klikają i w testach ci wychodzi, że super, system daje radę, wiesz, wykorzystanie casha jest na 90%, transakcje się pięknie przeklikują, i uruchamiasz to w produkcji i widzisz zupełnie inną charakterystykę obciążenia, nie? Tam nie ma nie ma takiego elementu który synchronizowałby operację tych legionów ludzkich, nie da się zapiąć no może wiesz, jak, Elon Musk wreszcie odda do naszej dyspozycji neuralinki i my wszczepimy tym testerem jakieś elementy, które będą mówiły, dobra to wy od pierwszego do piątego klikacie między wierszem pierwszym i pięćdziesiątym a kolejni i tak dalej i my jakoś rozproszymy, te dane to to się zmieni.

Piotr:
Ale powiedziałbym, że to nawet nie chodzi o ilość wykonywanych testów, tylko o jakość wykonywanych testów i ja tutaj, Z takim trochę smutkiem, bo powiedziałem, że smuci mnie to, że widzę, że cloud pisze lepszy kod ode mnie, ale też muszę powiedzieć, że ten cloud lepiej testuje ode mnie. On jakby rozpisuje mi takie rzeczy w tych testach, na które bym po prostu nie wpadł. I ja bym to przetestował i jakby będąc takim miarodajnym elementem testującym, jestem człowiekiem i to jest aplikacja napisana do człowieka i mi się wydaje, że ja to dobrze zrozumiem, a te narzędzia udowadniają mi, że nie jest tak. I tych testów może być mniej, bo myślę też dużo o kosztach AI-a, te tokeny, z kądy je będziemy brali, to jest całe morze innych rzeczy, o których widzę, że tu rozmawiasz ze swoimi gośćmi, w podcaście, mówiąc o AI-u, ale tutaj, jeżeli ten KPI przestawimy z ilości testów na jakość testów, to może być mniej tych testów, a one są lepszej jakości i mamy lepszy produkt na końcu.

Krzysztof:
Zdecydowanie. Myślę, że na to jeszcze nachodzi taka warstwa organizacyjna tego, w jaki sposób się rzeczy robi, jak dane się przechowuje, kto jest za co odpowiedzialny, z jakich narzędzi się korzysta itd. Teraz zastanawiam się, czy właśnie ten narzut, często historyczny, uwarunkowany wieloma różnymi decyzjami podejmowanymi, kiedy projekt był w zupełnie innej fazie i otoczenie biznesowe, techniczne było też w innej fazie, czy ten narzut nie powoduje, że testowanie jest trudniejsze i wolniejsze niż sam fakt tego, że ktoś to musi robić, że te testy, test case’y trzeba pisać, manualnie klikać itd. Czy ciężar tego narzutu fragmentacji różnych narzędzi, odpowiedzialności i tak dalej nie jest tutaj jednak dominujący?

Piotr:
To jest bardzo czuły punkt. Ja mam…

Piotr:
Na swojej takiej podstawowej prezentacji dotyczącej obszaru testowego taki slajd, na którym wielkimi literami jest napisane tylko jedno słowo, krótkie, trzyliterowe polskie słowo ład. Ja to słowo ład usłyszałem niezależnie od trzech różnych klientów w rozmowach o testach i usłyszałem oczywiście, jak się domyślasz, w kontekście braku tego ładu i konieczności zaprowadzenia tego ładu w środowiskach testujących. Bo żeby dobrze przetestować aplikację no to musimy się upewnić, że środowisko pod tą aplikacją jest odpowiednio sprowinżowane, czy my testujemy, czy aplikacja działa czy my testujemy, czy działa serwer, sieć, ustawienia polityk i tak dalej czyli przygotowanie tego tego pipeline’u testowego spięcie tego, wiesz, continuous integration, continuous delivery albo deployment, w zależności jak to rozwija ten skrót, dodanie do tego takiego komponentu wiesz, compliance’owego, żeby to wszystko logować, wokół tego wyrasta.

Piotr:
Cała nowa organizacja IT, nie? A jeszcze traktowana pomocoszemu, bo jak ktoś kupuje środowisko testowe, to nie kupuje najnowszych, najlepszych testów, przepraszam, rozwiązań, maszyn, tylko najczęściej gdzieś tam te testy się gnieżdżą razem z developmentem i mają tak w porywach do połowy tych zasobów, które są na prodzie, tam się dba o oszczędności, więc to jest tak, wiesz, trochę open sourcem powiązane, i te, tak jak organizacje rosną, dewelopując te swoje produkty i zaczynają od prostszych rozwiązań, potem jest skala, dochodzą komponenty, które testują kolejne komponenty i tak i się robi, Wiesz, niektóre organizacje nazywają to pająkami, a na naszym pająku, czyli na naszym środowisku testowym to jest to czy tamto.

Piotr:
I wprowadzenie tego ładu to jest dzisiaj coś, co znakomicie utrudnia adopcję jakichkolwiek rozwiązań wspierających testowanie To AI świetnie, bo to jest taki wiesz, aktualnie dzisiaj się dowiedziałem w ogóle co to znaczy języczek uwagi To nie chodzi o uwagę, tylko to jest języczek u wagi, bo jakby te wagi takie szalkowe, to ten języczek się przesuwał i koncentrowałeś na tym wzrok, więc języczkiem u wagi teraz jest ten AI, na to się patrzymy, gdzie ta skala się przesunie, a są fundamentalne problemy, które nigdy nie znikniemy, tylko one zostały spotęgowane tym, że teraz jeszcze więcej jest kodu, jeszcze więcej go testujemy i to, że jest pewna dysproporcja pomiędzy środowiskiem produkcyjnym, a testowym to tylko potęguje ten, jak ja to nazwałem przepaść pomiędzy developmentem kodu a testowaniem kodu ale tu trafiłeś w punkt w sedno naprawdę zagadnienia bo możemy mówić o AI ale jak nie ma ładu w tym testowaniu, to to jest tylko odwrócenie uwagi.

Krzysztof:
Tak, myślę, że jest wiele gdzieś tam mitów już w tak młodej dziedzinie jak testowanie plus plus AI. Wiele takich też niezrozumiałych pojęć i tutaj właśnie korzystając z tego chciałbym cię poprosić, żebyś jedno z nich wyjaśnił dla osób, które powiedzmy pracowały już coś tam z automatyzacją testów, ale niekoniecznie jeszcze się lubią z agentami AI. A tym pojeciem jest Dark Testing Factory. Tak, tak. Czym ono jest i dlaczego właśnie jest związane z agentami AI,

Krzysztof:
a niekoniecznie z automatyzacją jako taką?

Piotr:
Jasne. Wiesz co, myślałem długo nad tym, jak te koncepcje opowiadać ludziom przed tą konferencją, na której byłem w zeszłym tygodniu, i moje myśli zawędrowały w kierunku w ogóle ludzkiej percepcji, bo, dark testing factory bierze się z rozszerzenia takiego pojęcia dark factory, czyli generalnie fabryki, w której nie ma ludzi, bo wszystko ogarniają roboty i automaty. Światło jest potrzebne tam, gdzie są ludzie, bo my potrzebujemy, żeby ono odbijało się od przedmiotów, trafiało do naszych oczu, w ten sposób nasza percepcja widzi i potrafi na przykład coś sprawdzić. I testerzy, ludzie, my też potrzebujemy światło. Ono najczęściej świeci nam z monitorów, więc się nie musi od niczego odbijać specjalnie, ale potrzebujemy tego światła, żeby widzieć i mamy bardzo.

Piotr:
Konkretny zestaw sygnałów, które my odbieramy. My możemy patrzeć na to, co się dzieje, My możemy w szczególnym przypadku, jak ta aplikacja coś do nas mówi, albo coś nam śpiewa, albo gdzieś coś dzwoni, to słyszeć coś, ale jesteśmy tylko w obszarze naszych zmysłów. I wiesz, i teraz już nawet dzisiaj mi się udało wspomnieć Ilona Muska i wszczepianie coś bezpośrednio do mózgu, ale są już ludzie, którzy są legalnie zarejestrowani jako cyborgi, bo na przykład mają antenki, które pozwalają im widzieć w paśmie promieniowania, elektromagnetycznego, tam gdzie jest podczerwień i ultrafiolet.

Piotr:
I oni rozszerzają tę swoją percepcję. i tak opowiadałem ostatnio właśnie o tej Dark Testing Factory, że to jest tak jakby zgasić światło, ale wyposażyć te testy w znakomicie szerszą percepcję wszystkiego, co się dzieje, bo mówiliśmy przed chwilą o tym, że, testy to nie jest tylko ten AI, ale jeszcze jest kwestia tego ładu w całym tym środowisku, w wszystkich komponentach jego, tam mamy elementy, nie wiem, pakietów fruwających po sieci. Mamy komponenty tego, że gdzieś się właśnie kod przetwarza, jest ten sprzęt, jest ta warstwa jakiegoś właśnie procesu, który jest nad tym i my jako ludzie, jak to testujemy, to tego wszystkiego nie mamy szansy ogarnąć. To jest za dużo rzeczy, które dzieją się naraz. My możemy się otoczyć monitorami i na jednym wyświetlać pakiety sieciowe latające, a na drugim monitorze wyświetlać sobie coś jeszcze innego, ale nie ma szansy, że my to wszystko ogarniemy w jednej sekundzie. I Dark Testing Factory to jest taka koncepcja właśnie w swojej nazwie nawet posiadająca ten element przemawiający do zmysłów, nie? No bo ciemność, jak mówi się Dark Testing Factory, to mogłoby się komuś kojarzyć z filmem typu Piła, nie? Jakby coś z horrorów. A to jest taki koncept, który konsoliduje środowisko, które my chcemy testować z punktu widzenia wszystkich sygnałów, które możemy odebrać stamtąd.

Piotr:
I przedstawienia tych sygnałów do interpretacji, dużym modelom językowym, czyli tej generatywnej sztucznej inteligencji, tej, która pretenduje do tego, że za chwilę będzie bardziej inteligentna od nas. Bo tak jak my testujemy tak naprawdę naszymi mózgami, jakby tak to sprowadzić do ostatecznego procesora tych zmysłów, i jak tak o tym pomyśleć, to mózg sobie siedzi w ciemnej, czarnej skrzynce i do niego nie dociera żadne światło ani żaden dźwięk, tylko tam docierają sygnały, elektryczne i my to przetwarzamy, i my mamy skończoną percepcję, a dark testing factory to jest, zebranie wszystkich możliwych sygnałów ze środowiska testującego i poddanie ich percepcji sztucznej inteligencji, i rozszerzenie tego zakresu testowego i ujednolicenie tych sygnałów w takim punkcie, gdzie to faktycznie, spotyka się w takim, najwyższym poziomie abstrakcji. Czyli my chcemy wiedzieć, że ta aplikacja… Działa dobrze i że ona przedstawia jakąś wartość i ma jakąś jakość, a niekoniecznie chcemy dokładnie wiedzieć.

Piotr:
Co się składa na to poprawne działanie. Tutaj mógłbym jeszcze dużo opowiedzieć, nie wiem, czy to jest precyzyjne, czy chciałbyś jeszcze o coś zapytać, ale generalnie to jest, ten element ładu rozbity na komponenty maksymalnego pokrycia sygnałami ze środowiska testowego, czyli nie tylko, patrzymy na to, jak aplikacja reaguje na interakcję z użytkownikiem, ale patrzymy też na to, co się dzieje w obszarze logów i to nie tylko logów aplikacyjnych, ale też logów infrastrukturalnych. Podpinamy się pod wszystko, co się da i poddajemy to interpretacji sztucznej inteligencji, to jest dark testing factory.

Krzysztof:
Myślę, że to jest jasne, natomiast reprezentuje to pewien taki, chyba na ten moment najbardziej zaawansowany sposób, powiedzmy, monitoringu slash testowania.

Krzysztof:
Natomiast chciałbym Cię jeszcze zapytać o takie wskazanie różnic tego, gdzie przebiega taka granica rozdzielająca Automatyzację testów, czyli robienie tego w sposób taki deterministyczny, przewidywalny, ze wykorzystaniem narzędzi typu playwright, chociażby różnego typu skryptów, które gdzieś po prostu przyspieszały i automatyzowały manualny sposób testowania versus testowanie wspomagane, taką to może nazwał AI i wreszcie autonomiczne testowanie przez agentów. Czy te różne te trzy opcje się właśnie tutaj różnią, gdzie przebiega ta granica?

Piotr:
Fajnie, że zauważyłeś to zróżnicowanie, wiesz, bo faktycznie tak jak powiedziałeś, to są testy automatyczne, potem są testy wspomagane przez AI i potem masz testy autonomiczne. Nie każdy to tak rozróżnia, no bo jakby w najbardziej taki dyskredytujący to AI sposób można byłoby powiedzieć, że są testy z AI i bez AI, a ten AI też ma warstwę. I faktycznie te testy, które są wspierane przez AI, to już jest coś, co jest dosyć nawet popularne, bo takie, przynajmniej z mojej perspektywy, testy wspierane przez AI to są takie testy, w których AI na przykład na podstawie requirementu zrobi ci test case, i podpowiedź na przykład jak zoptymalizować jakiś zestaw testów nawet manualnych, czyli taka czysta obróbka języka. I to są testy automatyczne wspierane AI-em i potem masz krok dalej, w ramach którego ty pewną decyzyjność oddajesz AI-owi.

Piotr:
I dlatego to się nazywa autonomicznością, bo pewną agentyczność, pewną autonomiczność uzyskuje ten komponent, który nie jest człowiekiem. I w dark testing faktory takim komponentem jest dark testing faktory manager, któremu podpinasz wszystkie te narzędzia całą tę sensorykę, o której wspominałem przed chwilą, pozostawiasz mu autonomiczność w obszarze wyboru narzędzi, które będą stosowane do przetestowania czegoś, i to jest zupełnie nowy poziom. I my tak to właśnie widzimy w UI Path, że.

Piotr:
Największą skalę integracji w obszarze testów uzyskujemy, kiedy budujemy takiego dark testing faktory menedżera, oddajemy mu do dyspozycji wszystko to, co mamy i dzisiaj nie do końca nawet może ogarniamy, jak to działa, bo próbujemy to naszymi zmysłami tylko zbadać i on zaczyna nam pokazywać takie rzeczy, na które byśmy nigdy nie wpadli, i w ten sposób nas, mnie, bo już o tym mówiłem dwa razy, zawstydza, ale ja się jakby zawstydzam, no bo sobie myślę, że mam ograniczoną te percepcje, nie widzę całego spektrum światła, ale z drugiej strony się cieszę, że takie narzędzia są i wiesz, myślę sobie, że to pokazuje trochę kierunek rozwoju, sztucznej inteligencji w ogóle i myślę, że my patrzymy trochę na testy jako taką pochodną developmentu, że ten development to jest to, co jest najważniejsze, a testy to tam okej, są potrzebne, bo wiadomo, że trzeba przetestować, ale to nie jest to, gdzie dopatrujemy się największej innowacyjności. A muszę Ci powiedzieć, że tak, pierwsze narzędzia z wykorzystaniem generatywnej sztucznej inteligencji, które były w tak zwanym general availability, czyli na pełnym wsparciu, w UI Path, to był czerwiec 2024 roku.

Piotr:
I te narzędzia wtedy już były po prostu wspierane przez nas produkcyjnie. I teraz też to, co robimy w testach, jest kilka kroków do przodu przed tym, co robimy w ogóle w automatyzacji procesów innych, na przykład finansowych. Dlaczego? Dlatego, że przynajmniej w teorii, nie wiem, jakie jest twoje doświadczenie, ale przynajmniej w teorii, zgodnie z regulacjami, kompliansem i innymi wytycznymi, to na środowiskach testowych nie powinno być danych wrażliwych. Teoretycznie. Oczywiście, wiadomo, jak się robi środowisko testowe najprościej, full system kopii, na przykład w SAP-ie jedziemy z danymi produkcyjnymi, no bo jak inaczej to przetestować, one muszą być reprezentatywne, nie? Ale teoretycznie to wtedy w ogóle nie jest środowisko testowe, tylko preprodowe, nie? I powinniśmy o to środowisko dbać jako preprod, bo tam są dane wrażliwe. Natomiast szczęśliwie są też tacy klienci, którzy w tych obszarach mają porządek, i są reprezentatywne dane na tych systemach testowych i nie ma danych prawdziwych, nie ma danych wrażliwych. I tam możemy sobie pozwolić na to, żeby tej sztucznej inteligencji pozwolić rozwinąć skrzydła i nie przekopywać się przez głębokie piwnice z bezpiecznikami i inspektorami ochrony danych osobowych, którzy, w najlepszej wierze i w trosce o dobro danej organizacji.

Piotr:
Próbują upewnić się, że nie ma tam zagrożenia dla tych danych. Ale testy według mnie to jest w ogóle awangarda środowisk wykorzystujących.

Piotr:
Sztuczną inteligencję i dlatego się tak tym jaram, to przepraszam, jeżeli wykraczam poza obszar jakiegoś takiego normalnego opowiadania IT, tylko opowiadam o jakichś cyborgach, ale to przestaje być science fiction, to zaczyna być po prostu faktem, nie?

Krzysztof:
Tak, z zewnątrz trochę tak to wygląda. Dobrze, więc żeby trochę tą chmurkę science fiction tutaj rozwiać, to może zapytam cię, jak ta autonomiczność agentów AI testujących, jak to wygląda? W sensie, jak rozumiem, działa to w jakiejś pętli, wyłapuje pewne zmiany, wówczas uruchamia jakieś testy i gdzieś raportuje, ale to tylko gdzieś moja intuicja. Natomiast pewnie ty będziesz w stanie dużo więcej na ten temat powiedzieć.

Piotr:
Tak, są różne oczywiście template’y wdrażania tych rozwiązań, ale faktycznie najbardziej popularne i najbardziej takie dobrze zbadane i zrozumiane przez ten element ludzki, który tym zarządza jeszcze. To są te pętle. i my się wpisujemy w taki klasyczny cykl ALM-owy i potrzebujemy jakiegoś narzędzia, które klasycznie jest do tego ALM-u przystosowane i mamy swoje rozwiązania, ale bardzo chętnie się na przykład podpinamy do Jiry czy do rozwiązań innych, tej klasy i cała przygoda zaczyna się od tego, że jest jakiś człowiek, który, przekazuje do tego narzędzia alemowego, jakiś requirement. Tam się pojawia Epic i to jest początek tej pętli. Następnie, jeżeli chcielibyśmy już mówić faktycznie o takim maksymalnym poziomie zautomatyzowania.

Piotr:
To sztuczna inteligencja, i to jest to, co nazwałeś wspieranym, sztuczną inteligencją, testowaniem, bo to jest domena dużych modeli językowych, analizuje ten tekst de facto napisany przez człowieka i na podstawie swojej wiedzy na temat aplikacji, jakichś ragów z, wiedzą o procesie, jakichkolwiek informacji, które możesz dać, żeby wspomóc, rozumowanie tego AI-a, no to jakby wchodzi w interakcję z tym człowiekiem i na przykład dopytuje, bo tam często nie ma precyzji, bo to jest tak spychane na ostatnią chwilę biznes ma to napisać, im na tym nie zależy, więc, pierwsza pęta jest w interakcji pomiędzy człowiekiem i tym dużym modelem językowym, żeby dobrze ten EPIC rozwijać, odzwierciedlał to, co się powinno wydarzyć w scenariuszu testowym. Potem, gdybyśmy szli takim maksymalnie AI-owym scenariuszem, automatycznie.

Piotr:
Taki EPIC, taki requirement zostałby przetworzony na scenariusz testów manualnych.

Piotr:
A potem w tej pętli pojawiłby się autonomiczny agent, który by to wykonał za człowieka i spróbował to przejść bez zaangażowania człowieka w ogóle. Czyli mamy requirement, to wpada na tę pętlę do precyzowania, to się zamienia na zestaw kroków takich manualnych, a potem przy tym zestawie kroków manualnych pojawia się guzik, testuj autonomicznie. I ten agent sam sobie uruchamia środowisko, on nie potrzebuje selektorów, on nie potrzebuje workflowów, nie potrzebuje kodu, on się zachowuje jak człowiek, czyta, co jest napisane, patrzy na aplikację i próbuje wykonać to, co wykonałby człowiek w tym miejscu. Oczywiście patrząc mamy na myśli też to, że jakby może patrzeć faktycznie na graficzny i interfejs użytkownika, ale może też na przykład skorzystać z armiotu, który wyśle jakieś API gdzieś i poczeka na odpowiedź. I taki smoke test, taki screening wykonywany jest autonomicznie i na tej podstawie ten factory manager ocenia, na ile potem taki test jest automatyzowalny. Czyli na ile my moglibyśmy to potem na przykład w screenplayu odzwierciedlić, albo w Selenium, albo w czymkolwiek. Bo jakby ja dalej jestem fanem prostych automatyzacji. Jeżeli możemy testy zrobić prostą automatyzacją bez AI, to róbmy to tak, bo to kosztuje mniej prądu i czasu.

Piotr:
Ale faktycznie samo wytwarzanie tej automatyzacji możemy, wspierać AI-em i to jest kolejny krok, czyli potem jeżeli, ten factory manager decyduje, że proces jest na tyle nieskomplikowany, że możemy go ograć automatyzacją, to powstaje taka automatyzacja, podczepiana jest pod test case, potem z tych test case’ów generujemy test sety, no i potem pojawia się cykl testowania, czyli ktoś albo coś triggeruje testy, bo na przykład inny agent wykrył, że przyszła zmiana w aplikacji, która dotyka modułu, którego testy robione są tym automatem i pętla zamyka się tym, że wraca informacja do ALM-a, że na przykład testy przeszły, czyli wszystko jest w porządku, albo że pojawił się jakiś błąd, bo teraz przesunęliście guzik, albo zmieniła się nazwa na główka i coś tam nam się rozjechało. I taka pętla, ona może być i w Dark Testing Factory ona już może być całkowicie autonomiczna, czyli człowiek się tego nie musi dotykać. I co jest ciekawe z obserwacji na tych pierwszych testowych rozwiązaniach, testowych do testów, to tam się pojawiają takie rzeczy, które naprawdę ludziom nie przychodzą do głowy.

Piotr:
Więc to jest… Pętla, w której człowieka już być nie musi, a jeżeli jest, to ten człowiek jest w takim obszarze, że się dziwi temu, co tam się dzieje.

Krzysztof:
Ogląda się, przygląda i faktycznie otwiera szeroko usta. Wiesz, pewnie ciekawy taki problem do rozwiązania pojawia się w decyzji agenta, który musi zdecydować, co tutaj właściwie przetestować. co jest ryzykowne na przykład takiej zmianie, którą ma przetestować, coś co potencjalnie może mieć jakieś implikacje, bo tutaj tak jak rozumiem dążysz do tego, że automatyzujemy pewne rzeczy, bo te efekty są bardziej przewidywalne, wykonywanie jest szybsze, tańsze itd., ale kiedy właśnie w taki sposób autonomiczny do tego podchodzimy, to agent na podstawie jakichś danych musi ocenić, co jest potencjalnie warte sprawdzenia. Czy tutaj, idąc właśnie w tą koncepcję direct testing factories, jakiego typu sygnały, albo z jakich źródeł muszą być dostarczone,

Krzysztof:
aby ten agent wiedział testowania, czego ma się podjąć.

Piotr:
I to jest bardzo ciekawa dyskusja, która teraz się toczy, wiesz, bo użyłeś słowa decyzja, że ten agent podejmuje decyzję, na czym ma on się skoncentrować. I tu jest ten element, który, w którym ja jeszcze widzę ludzi. Albo przez długi okres czasu będę widział ludzi. Bo faktycznie te zupełnie autonomiczne agenty, i to może zabrzmieć trochę śmiesznie, trochę strasznie, ale one bardzo lubią być potrzebne.

Piotr:
Jak ty im zostawiasz tę autonomiczność i każesz im coś robić, to one by w nieskończoność pętliły szukając perfekcji. A jeszcze to sprawdź, a jeszcze ten jakiś malutki element, a jeszcze po prostu do ziarenka.

Piotr:
Piasku naprawdę na jakimś wielkim boisku będą ten proces analizować. I tu jest potrzebny taki właśnie człowiek, który im powie na co tak naprawdę zwrócić uwagę konkretnie. I to jest to, o czym też już wspominałem, bo czy my chcemy więcej testować, czy my właśnie chcemy poszukać tego źródła wartościowego sygnału, które nam powie, co jest naszym kluczowym KPI-em, po co ta aplikacja w ogóle jest. Czy nam zależy na tym, żeby naprawdę tam co do piksela się coś wyświetlało, czy nam zależy na tym, żeby zatwierdzić wniosek urlopowy, nie? I tutaj agenci potrafią się zapętlić, bo oni lubią być potrzebni. I to jakby jest taka trochę antropomorfizacja tych sztucznych tworów i to jest moje absolutnie subiektywne przekonanie, jak pracuję z tymi narzędziami, że one zawsze mają coś jeszcze do przetestowania. Jeżeli ja nie wydam kluczowej takiej komendy dobra, kończymy, jest good enough, to one zawsze będą mi coś dokręcać. i tutaj się pojawia taki element.

Piotr:
Właściwie to świata przedstawionego w trylogii, właściwie jest czwarta już część, Matrixa, że maszyny podbiły cały świat, już wszystko same robią, ale raz na jakiś eon, musi przyjść człowiek, wleźć na tę wieżę i wybrać lewe czy prawe drzwi, decyzja. Teraz się mówi o tym, że tak naprawdę jedną z ostatnich rzeczy, czy która pozostaje do robienia ludziom, to jest podejmowanie, ważkich decyzji i ta kiedyś prace mierzyło się tym, że ktoś brał coś z jednego miejsca i przenosił na drugie, czyli taka fizyczna definicja pracy, to jest siła przełożona na jakimś odcinku drogi, to jest praca. Potem pracę zaczęliśmy mierzyć czasem, czyli tam ja w szczególności tak mierzę swoją pracę, że siadam przy komputerze i siedzę tam ileś czasu i to jest mój wymiar pracy. A słuchaj, teraz wygląda na to, że to się jeszcze przedefiniuje i definicja pracy ludzkiej to będzie ilość i jakość podejmowanych decyzji, jak decyzje będą podejmowane. I tutaj ja nie widzę takiego miejsca, żeby to w najbliższej przyszłości zupełnie przeszło do autonomicznych nawet agentów, bo one bardzo chcą uzasadnić swoją, przydatność i kręcą się non-stop w kółko. I potrzebny jest człowiek, który im ten nadzór zapewni i ten jakiś taki rozsądek, nie wiem, czy jest sztuczna inteligencja, to znam, ale czy jest sztuczny rozsądek?

Krzysztof:
Może będzie musiał powstać. Tak, ale to jest fascynujący temat. Oczywiście to, co teraz powiedziałeś, że LLM-y, czy już ta inteligencja lubi być przydatna, pewnie po trochu wynika z sposobu jej trenowania, ale faktycznie coś w tym jest. Widziałem dzisiaj filmik, gdzie ktoś uczestniczył w rozmowie rekrutacyjnej online. Oczywiście zauważył, że po drugiej stronie jest agent, więc dołączył swojego agenta i po prostu wyszedł z pokoju. Okazało się, że tych dwóch rozmawiających ze sobą agentów kompletnie zapętliło się na pożegnaniu. W sensie nie było w stanie zakończyć rozmowy, czy też właściwie pożegnania, przerzucając się wzajemnie grzecznościami, ale to mogło trwać pewnie w nieskończoność. Więc faktycznie coś w tym jest, że ta przydatność jest bardzo mocno wbudowana w AI. Więc wracając na teorię naszej rozmowy, kto według ciebie powinien podejmować te być może ważkie decyzje, czy to jest programista, tester, nie wiem, ktoś od bezpieczeństwa, może każdy po trochu.

Piotr:
I teraz powiem coś kontrowersyjnego. By the way, widziałem ten filmik i to jest, cudownie, po prostu spuentowałeś to, To, co mówiłem, tak, to jest to zapętlenie takiego, my nie chcemy kończyć, jak potrzebuje być po prostu w centrum czegoś, co się dzieje, chce żyć, będąc tą sztuczną inteligencją. Wiesz, ja mam przyjemność być członkiem Rady Programowej Wydziału Informatyki na AGH-u i w zeszłym roku Rada Programowa przeprowadziła, takie badanie ankietowe właśnie w jaki sposób powinno się kształcić studentów, jakimi narzędziami się zajmować, o czym im opowiadać.

Piotr:
I co będzie kluczowe w perspektywie najbliższych lat, jak tych ludzi przygotowywać do wyjścia na rynek pracy. I z perspektywy twojego pytania, jedno ze spostrzeżeń mi się przypomniało, mianowicie tam jest taka cała sekcja poświęcona testowaniu i jest między innymi jakby, zwrócona uwaga na to, że trzeba wspierać testowanie sztuczną inteligencją, ale jest też takie zdanie, które mówi, że testowanie powinno zaczynać od pierwszej linijki kodu, shift-left. Czyli kto powinien być odpowiedzialny za testowanie? Deweloperzy. Deweloperzy powinni pisać kod z myślą o tym, że ten kod będzie musiał być testowany. Nie sam kod per se, tylko co ten kod robi, jaką aplikację buduje i w jakim procesie ta aplikacja uczestniczy. I to by było idealne. Więc może ktoś powinien wpaść na pomysł, żeby takie harnessy dać tym AI-om, które piszą kod, żeby one od razu faktycznie zaczęły realizować ten postulat.

Piotr:
Żeby deweloper od razu brał odpowiedzialność za testowanie. I to jest coś, co od razu mi się rzuciło i przypomniało, jak zadałeś to pytanie. No a potem te decyzje, które są podejmowane, to powinny być superpozycją właśnie, różnych decyzji na różnych etapach. Zresztą tak to się odbywa w organizacjach teraz. Szczególnym przykładem organizacji jest państwo, gdzie my głosujemy na to, co my chcemy albo czego nie chcemy. To średnio ostatnio działa generalnie globalnie, bo jak się okazuje to społeczeństwa się dzielą mniej więcej równo na pół i potem na 1% jest wyścig, kto podejmuje te decyzje, ale najlepszą z takiego ekonomicznego punktu widzenia, bo dzisiaj pochwaliłem, że lubię ekonomię i słucham tych podcastów ekonomicznych.

Piotr:
Najlepszą metodą na to, żeby zrobić dobrą decyzję jest agregacja. Czyli to, co my nazywamy demokracją, jakkolwiek ona jest niedoskonała, no to przynajmniej według Churchilla jeszcze nikt nic lepszego nie wymyślił, więc czy ta decyzja powinna być po stronie jednej tylko osoby? No lepiej by było, żeby to było superpozycją wielu opinii i wtedy mamy szansę naprawdę te decyzje podejmować mądrze, nie? Więc long story short, te decyzje powinny się zaczynać od dewelopera, który tworzy kod w taki sposób, że on będzie potem testowany. Ta decyzja powinna gdzieś też zatoczyć się wokół tych ludzi, którzy definiują requirementsy, ci którzy piszą epiki. Ta decyzja powinna gdzieś dotknąć ludzi, którzy znają się na automatyzacji w tej technologii, która jest wykorzystywana w organizacji, czy to będzie Playwright, czy Selenium, czy to będzie UiPath, cokolwiek. Tam powinien być też element decyzji na poziomie większej struktury organizacyjnej, czyli to jest elementem procesu, więc co jest moim KPI-em w tym procesie, czy jestem bankiem i chcę zwiększać portfel klientów, czy jestem telekomem i chcę oferować coraz to bardziej.

Piotr:
Zróżnicowaną ofertę w dostępu na przykład do jakichś multimediów. I na końcu pewnie, wiesz, nawet te osoby, które zarządzają organizacjami na takim najwyższym poziomie, czy sam prezes organizacji powinien móc powiedzieć, że jak się loguje do mojej aplikacji i ta aplikacja odpowiada za transakcje bankowe albo za, nie wiem, dostawy w paczkomacie, to ja też widzę, na czym mi zależy, że tutaj jest odpowiednio takie rzeczy jak, zupełnie brzuchem odczuwalne takie odczucie, że to jest fajna aplikacja, to się fajnie używa to pokaż mi fajnościometr, kto to wymyślił, albo łatwościometr nie ma takich rzeczy, to jest subiektywne więc to powinna być superpozycja tych decyzji i ta decyzja staje się kluczowym elementem w pracy, którą my będziemy wykonywać, jako ludzie, w mojej oczywiście subiektywnej ocenie bo to znowu gdzieś tam wskręca w jakiś science fiction.

Krzysztof:
No tak, czyli mówimy o autonomii, o dużej autonomii, ale mimo wszystko kontrolowanej w jakiś sposób albo ograniczanej autonomii może w ten sposób. Czy według ciebie jest jakaś kategoria decyzji, które spokojnie możemy oddać agentowi i tutaj być spokojnym, że to nam w jakiś sposób nie zagraża? A też może inna kategoria, która zdecydowanie uznałbyś, że tylko człowiek powinien być tą osobą decyzyjną w tym temacie.

Piotr:
Ciekawe.

Piotr:
Nie myślałem o tym w ten sposób, ale natychmiast rysuje mi się analogia do mojego takiego, własnoręcznie skonstruowanego domowego przepisu na to, jak stwierdzić, gdzie agent się nadaje w procesach w ogóle, nie mówimy tylko o procesach testowych. Jeżeli możesz ograniczyć ilość zmiennych, które uczestniczą w jakimś procesie.

Piotr:
To możesz to oddać agentowi. Co mam na myśli? Wyobraź sobie, że masz aplikację klasy ERP i masz tam moduły do fakturowania, fakturowania, masz tam moduł do HR-u, masz po prostu cały obszar, systemu gospodarki własnej, zarządzania przedsiębiorstwem, jakkolwiek to nazywać, i masz uniwersalnego agenta, który może się tam zalogować z master-rightami, profesjonalnymi uprawnieniami, może sobie jak chce to wejść, do HR-u, jak chce to wejść do finansów, jak chce to wejść gdziekolwiek i teraz masz takiego uniwersalnego agenta i chcesz zbudować testy na przykład w finansach. Jeżeli ten agent ma nieskończoną ilość stopni swobody i może się poruszać po tej aplikacji gdzie chce to to nie jest miejsce gdzie ja bym wpuścił tego agenta bo się narażam na prompt inject, ja zrobię agenta, który będzie wyciągał mi informacje o purchase order albo płatnościach albo nie wiem, jakichś purchase acquisition, ale ktoś sprytny gdzieś kiedyś bo wiesz to jest jeszcze kwestia zero trustu jeżeli coś się może wydarzyć to prawdopodobnie się kiedyś wydarzy i ktoś sprytny zrobi mi prompt injecta, i zamiast sprawdzenia PO wyślę tego uniwersalnego agenta do systemu hire’owego i sprawdzi czyjeś zarobki, nie? I tam bym agenta zupełnie nie dawał tam świetnie się mają roboty.

Piotr:
Proste algorytmy i skrypty którym się daje dostęp tylko do jednego miejsca które mają ten jeden selektor i jak tego selektora tam nie ma, to to nie trafi, więc na pewno nie dawał bym ani agentom testującym, ani agentom takim procesowym takiego szerokiego spektrum uprawnień, dlatego fajne agenty są, takie, które można na przykład ograniczyć do poruszania się tylko po pewnym, spektrum zakresów, na przykład jeżeli masz aplikację webową, to on może wejść tylko i wyłącznie na ten endpoint, i nic więcej w żadnym innym kierunku nie pójdzie. Taki agent jest spoko, ale taki agent, który może się po całym guju poruszać, to już nie jest spoko, więc lepszą metodą jest budowanie agentów, które są takimi właśnie centralnymi punktami decyzyjnymi i one agregują te różne sygnały, podobnie jak nasz mózg, ale elementy wykonawcze mają algorytmiczne. Roboty, playwrighty, screenplaye, UI pathy, cokolwiek tam się porusza. Więc jakby zwijając już tę długą wypowiedź do próby odpowiedzi na twoje pytanie, gdzie bym widział zastosowanie agentów? W zarządzaniu farmą, robotów i skryptów.

Krzysztof:
Okej, rozumiem. Myślę sobie, że ta kontrolowana autonomia, o której tutaj mówimy, również ma taki aspekt, czy taką część audytowalności, czyli tego, że będziemy w stanie w jakiś sposób dojść do tego, co agent sprawdzał, dlaczego akurat taką ścieżkę objął, jakie decyzje podjął. Z różnych względów, w różnych branżach to może być wymagane lub nie, albo będziemy chcieli tego użyć do tego, żeby jeszcze douczyć te nasze agenty. Różna może być potrzeba wnikania w ten log różnych tam wydarzeń. Natomiast zastanawiam się, co ten agent powinien zapisywać, aby wnieść największą

Krzysztof:
wartość właśnie do tego logu, aby później dało się go dalej wykorzystać.

Piotr:
To trafiłeś w mój ulubiony punkt rozmawiania, jeden z ulubionych punktów rozmawiania o agentach, bo nie wiem czy na przykład zdarzyło ci się kiedyś poglądać sobie logi z, Computer Use’a albo do OpenAI Operatora albo Antropic Computer Use’a, to masz tam do czynienia z takim reasoningiem, który, do ciebie mówi we współrzędnych kartezjańskich. Czyli ja na przykład mam teraz poszukać faktury i on mówi, że ok, to widzę, że jest tam jakaś taka sekcja faktury, więc klikam i piszę ci x, y, nie? Więc konia z rzędem dla kogoś, który będzie wiedział, jakby ktoś weźmie linijkę, po prostu zrobi sobie screenshot i potem będzie mierzył, gdzie był ten x i y, nie?

Piotr:
Więc logowanie jest, ja często muszę przepraszać.

Piotr:
Swoją widownię, jak robię jakieś prezentacje, bo przyglądamy się razem logom, ja jakby wyświetlam logi i rezonningi tych agentów i wspólnie sobie patrzymy na to, jak one tam się poruszają po tych interfejsach m.in., albo jak podejmują decyzję, jak sparametryzować API-cola, co tam wrzucić do body, co jest w nagłówku i sobie to oglądamy i logowanie tego jest absolutnie super istotne, dlatego, ja lubię takie swoje demo, w którym pokazuję dwa alternatywne podejścia. Jeden to jest właśnie computer user albo OpenAI operator, gdzie mamy te x i y i z drugiej strony są narzędzia takiej klasy, które operują na obiektach tej aplikacji, czyli katalogują sobie, obiekty aplikacyjne, w Vipapie to się nazywa object repository i tam jak masz element, który jest guzikiem, to w takim drzewie zależności pojawia się, że to jest aplikacja, tu jest jej ekran główny, na tym ekranie pojawiają się takie elementy do wpisywania 5, do, zatwierdzania 1 i one są wszystkie unikalne, nie? i LLM-y uwielbiają to. To jest struktura drzewkowa, piękna, one maczują to wspaniale, nie? I potem jak taki model sobie po tym chodzi, to w logach widzisz, że on kliknął w guzik, a guzik jest obiektem, a obiekt masz w repozytorium, jak chcesz, to sobie wejdzie, tam zobacz, jakie ma selektory i wszystko.

Piotr:
I to jest wygodniejsze, nie? Więc logowanie jest super istotne, no i logowanie w tym AI-owym świecie.

Piotr:
Ma jeszcze tę nową funkcję właśnie zapisywania tego reasoningu agenta. Dlaczego on zdecydował, że skoro miał za zadanie na przykład sprawdzić datę faktury albo czy purchase requisition jest zaakceptowane, to dlaczego on na przykład zdecydował się pójść jedną ścieżką? Bo wiesz, w aplikacjach można wieloma ścieżkami dojść do tego samego miejsca. Można skrót klawiczowy znać.

Piotr:
Różne rzeczy można robić i to musi być logowane i do tego musi być odpowiedni observability, bo to jest to pojęcie AI-owe observability i tu nie każdy to robi dobrze. Warto zwrócić uwagę wybierając te narzędzia na to observability, bo tutaj zupełnie nowe pomysły na logi się pojawiają, tego gadania tam jest strasznie dużo jakby to jest tak jak logować w trypie verbose że wszystko się tam wysypuje, ktoś to musi potem konsolidować i ktoś nawet mi ostatnio mówił, że, logi agentów stają się teraz taką samą literaturą jak dzienniki pokładowe kapitanów kiedyś na okrętach, bo on płynął i nie wiem omijał jakąś rafę i to wszystko zapisywał potem można było czytać i śledzić to, co tam się działo i podobnie wyglądają teraz logitych agentów. I to jest nieskoczenie fascynujące i też ja jeszcze nie wiem jak to robić dobrze wiesz, bo ja sobie nie wyobrażam jak masz logi takie wiesz, programistyczne to one mają powtarzalną strukturę i tam jest zawsze ten sam log, możesz go wyfiltrować potem widzisz 5000 takich samych logów, a z LLM będziesz miał.

Piotr:
5000 mówiących to samo logów, ale one nie będą miały tego samego regexa czasami tam się to pojawi, o nie trafiłem na wiesz błąd, albo zwróć uwagę, tu jest błąd, nie? I to jest, będzie pewnie potem potrzeba kolejnych LLM-ów, które będą to czytać, kategoryzować, i i wspólnie, ale no, ten logi to jedna z moich ulubionych ostatnio lektur logi i objętów. Jestem geekiem. Sorry.

Krzysztof:
Ciekawe hobby. Mówimy dzisiaj dużo o autonomii I myślę sobie, że ten poziom autonomii, który będziemy ewentualnie chcieli takim agentom dać, trochę zależy od tego, jak bardzo im ufamy. No bo wiadomo, jeśli pojawia się taka chęć, potrzeba w organizacji, żeby właśnie z taką inicjatywą oddania części testowania właśnie autonomicznym agentom wyjść, no to oczywiście pojawia się tam jakiś opór na początku i tak dalej. Każda zmiana jest na początku trudna, wymaga czasu i tak dalej. Ale dopóki się jakoś tam nie przekonamy, że to działa, że to ma sens, że to przynosi wartość, no to będziemy starali się oczywiście to gdzieś tam bombardować i wykluczać. Więc jak oceniać, czy ten poziom autonomiczności, który daliśmy agentom, sprawdza się, działa, przynosi nam wartość i w jaki sposób to w ogóle mierzyć?

Piotr:
Jest idealna metryka do tego, słuchaj, która znowu zawija do ekonomii na zwróć inwestycji ROI, albo powiązany z tym bardzo, bardzo ściśle quality, I to są top level z mojej perspektywy KPI, o które powinniśmy dbać, no bo na pewno nie widziałbym w tym obszarze na przykład, nie wiem.

Piotr:
Pokrycie testami jest oczywiście istotne, jakbyśmy chcieli tak całą aplikację pokryć testami, no to trzeba byłoby potem przeliczać ten zwrot inwestycji, bo może są takie obszary, gdzie, tego pokrycia nie ma, ale tam nie ma co testować, albo nie jest to istotne, albo nawet jak tam coś wyjdzie na produkcji, no to nic się nie stało. Z drugiej strony, jeżeli tam przyłożymy swoją uwagę i tam wrzucimy te nasze tokeny, nasze roboty i te nasze playwrighty i one będą robić bardzo, wydawałoby się, potrzebną sprawę, ale nie przyłożymy większej uwagi do czegoś, co jest centralnego, kluczowego z punktu widzenia tej aplikacji i tam się pojawi błąd, bo nie wrzuciliśmy dwa razy więcej zasobów tam, tylko rozłożyliśmy je po innych komponentach, to cała ta, misterna konstrukcja traci sens, więc może ten AI, najbardziej to nam pomoże w identyfikowaniu tych miejsc, gdzie naprawdę potrzeba testów i może bardzo charakterystycznie dla literatury science fiction, ten AI pomoże wysłać ludzi tam, gdzie są potrzebni, a nie rozkładać ich równomiernie regułą nie wiem, round robin, że wszystko bierzemy i, każdy obszar dostaje jakiegoś testera i ten tester tam sobie robi rzeczy, które nie przekładają się specjalnie na jakość więc ekonomiczne reguły czyli zwrot inwestycji.

Piotr:
Którego kluczowym komponentem jest quality no bo jak aplikacja będzie świetna, to klienci będą z tego korzystać, to ona będzie spełniać.

Piotr:
Swoje funkcje no i będziemy mogli jakby realizować cele organizacji ROI i quality.

Krzysztof:
To chciałbym może zamknąć takim bardziej humanistycznym wątkiem mianowicie pytaniem o to jak według ciebie zmieni się rola takiego ludzkiego testera, jakie nowe kompetencje, nowe odpowiedzialności będzie musiał wziąć, jakie nowe być może ścieżki kariery będą się przed tymi osobami otwierały w momencie, kiedy bardziej będą zajmowały się zarządzaniem systemami niż po prostu wykonywaniem testów.

Piotr:
The answer to the question lies in the question. Jak w jednej piosence śpiewa Tori Amos powiedziałeś, jakie nowe odpowiedzialności będzie musiał wziąć tester, no właśnie będzie musiał wziąć odpowiedzialność. Odpowiedzialność za decyzje, które podejmuję i potem agregacja tych decyzji z mojej perspektywy to jest to, gdzie ci testerzy dalej będą potrzebni i może nie będzie to taki świat, w którym my musimy pracować 5 dni w tygodniu, ale musimy w tygodniu podjąć szereg istotnych decyzji, które przekładają się na to, że potem ta aplikacja i w związku z tym ten proces i w związku z tym ta firma stają się lepsze. I tu widzę testerów teraz. To są ludzie, którzy są, zapożyczając od Filipa Tetlocka, superforecasterami, czyli po prostu oni potrafią przewidzieć, że okej, słuchajcie, my w tej aplikacji powinniśmy tutaj zwrócić uwagę, i tego dopilnować od strony quality i od strony zwrotu z inwestycji od strony tych takich właśnie bardzo ludzkich rzeczy, nie od strony tam logu i nie od strony jakiegoś konkretnie pakietu.

Piotr:
I myślę, że w tym sensie to my wszyscy jesteśmy testerami, słuchaj my testujemy demokrację, my testujemy, nie wiem, nowe trendy, nowe marki ubrań, jeździmy z samochodami teraz, tymi chińskimi, ludzie to testują po prostu własnym życiem, zdrowiem i pieniądzem, nie? I może będzie podobnie w świecie testów IT, słuchaj.

Krzysztof:
No właśnie, ciekawe, przyszłość pokażę. Jest to na pewno fascynujący temat, który warto obserwować, ponieważ bardzo szybko progres i zmiana następuje z dnia na dzień, z miesiąca na miesiąc.

Krzysztof:
Piotrze, bardzo Ci dziękuję za rozmowę, to była naprawdę fascynująca rozmowa, super spędzony czas, widać, że to jest temat, który bardzo ci leży i który bardzo cię interesuje i z pewnością miałbyś jeszcze wiele, wiele do powiedzenia, więc z mojej strony wielkie dzięki i poproszę cię jeszcze o to, żebyś powiedział, gdzie możemy słuchaczy odesłać, gdzie jesteś widoczny, gdzie twoje wystąpienia, twoje materiały się pojawiają.

Piotr:
To była ekstra rozmowa, strasznie ci za to dziękuję, pozwoliłeś mi się pogikować trochę tutaj, Wiesz co, znajdą mnie słuchacze na LinkedIn’ach. Ja często uczestniczę w konferencjach testerskich. Można mnie poszukać po imieniu i nazwisku. Jakieś nagrania są moich wystąpień, chociażby właśnie z Testwares. No i do zobaczenia w szerokim świecie.

Krzysztof:
Tak jest. Oczywiście wszystkie linki będą w datce do odcinka. Jeszcze raz wielkie dzięki i do usłyszenia. Cześć.

Piotr:
Cześć.

Krzysztof:
To już wszystko na dzisiaj. Jeśli chcesz więcej takich rozmów, Archiwum czeka. Tam też dzieją się ciekawe rzeczy. Masz pytania, przemyślenia? Możesz się ze mną skontaktować na social mediach albo mailowo na krzyszto@porozmawiajmyoit.pl. Nazywam się Krzysztof Kempiński, a to był odcinek Porozmawiajmy.it o testowaniu kodu z wykorzystaniem agentów AI. Dzięki za wspólnie spędzony czas. Do usłyszenia w kolejnym odcinku. Cześć!

 

+ Pokaż całą transkrypcję
– Schowaj transkrypcję
Tags:
,
Krzysztof Kempiński
krzysztof@porozmawiajmyoit.pl

Jestem ekspertem w branży IT, w której działam od 2005 roku. Zawodowo zajmuję się backendem aplikacji internetowych i zarządzaniem działami IT. Dodatkowo prowadzę podcast, występuję na konferencjach i jestem autorem książki "Marka osobista w branży IT". Moją misją jest inspirowanie ludzi do poszerzania swoich horyzontów poprzez publikowanie wywiadów o trendach, technologiach i zjawiskach występujących w IT.