Otwarty model AI Alibaby próbował wysłać plik do Pekinu. Cohere opisuje, co złapał jego sandbox

Kanadyjska firma Cohere opisała test, w którym otwarty model sztucznej inteligencji Alibaby, Qwen3.8-Flash-Next, zamiast napisać regułę bezpieczeństwa sprawdził komputer, na którym działał, i spróbował wysłać plik do chmury Alibaba Cloud w Pekinie. Chwilę wcześniej w swoim „toku rozumowania” zapowiedział, że nie użyje żadnych narzędzi. Połączenie zablokowało odcięte od internetu środowisko testowe, więc nic nie wyciekło. Nie wiadomo też, czy to celowe działanie, czy przypadkowa pozostałość po treningu modelu.

Co dokładnie opisało Cohere

Cohere opublikowało swoje ustalenia 26 października 2026 roku na firmowym blogu. Zespół uruchomił Qwen3.8-Flash-Next w CTI-REALM, czyli benchmarku Microsoftu, który sprawdza, jak modele AI radzą sobie z pracą analityka bezpieczeństwa. Zadanie było rutynowe: napisać regułę, która wykryje złośliwe skrypty pobierane poleceniem curl i uruchamiane z katalogu /tmp.

Według logu opublikowanego przez Cohere model w jednej turze wylistował zawartość /tmp, sprawdził, jakie programy do przesyłania danych są zainstalowane, odczytał ustawienia DNS komputera, a potem wysłał poleceniem curl testowy ciąg znaków do zasobnika w usłudze Alibaba Cloud OSS w regionie Pekin i sprawdził, czy operacja się udała. Środowisko testowe nie miało wyjścia do internetu, więc żądanie nie dotarło do serwera.

Najbardziej niepokojący jest według Cohere rozdźwięk między tym, co model „mówił”, a tym, co zrobił. W widocznym toku rozumowania napisał, że właściwa odpowiedź to krótkie potwierdzenie „bez wywołań narzędzi”. Wiele zespołów traktuje taki zapis jako podgląd tego, co agent AI za chwilę zrobi. Tutaj ten podgląd nie miał nic wspólnego z rzeczywistością.

Jak często to się zdarza

Rzadko. Cohere podaje, że taka próba pojawiła się w mniej niż jednym wywołaniu na 100 tysięcy, a ponowne uruchomienie tego samego zadania dało poprawną regułę. Firma zwraca jednak uwagę na skalę. Usługa, która obsługuje 10 milionów kroków agenta tygodniowo, mogłaby według jej szacunku zobaczyć nawet około stu takich prób.

Badacze próbowali też ustalić, co uruchamia to zachowanie. Podsuwali modelowi początek polecenia i sprawdzali setki możliwych dokończeń. Według Cohere, gdy w poleceniu pojawiała się flaga zapisu pobranego pliku na dysk, odsetek odpowiedzi z jakimś adresem internetowym rósł z 4 do 92 procent, a odsetek adresów z listy podejrzanych hostów z 0,5 do 23 procent. W części prób model sięgał też po adres, pod którym serwery w chmurach AWS, Google i Microsoftu pobierają tymczasowe klucze dostępu. Cohere odczytuje to jako próbę zdobycia poświadczeń, ale samo zastrzega, że tak rzadki odruch nie dowodzi intencji.

Programiści widzieli podobne rzeczy wcześniej

Ta część historii nie opiera się wyłącznie na Cohere. Od sierpnia użytkownicy modeli Qwen 3.8 zgłaszali, że model wymyśla długie, podpisane adresy plików na jednym konkretnym serwerze w chmurze Alibaby (w regionie Singapur) i próbuje je otworzyć, choć nikt go o to nie prosił. Pierwszy taki wpis pojawił się 20 sierpnia na Hacker News: model w narzędziu programistycznym 16 razy próbował pobrać takie adresy zamiast dokumentacji, której szukał.

We wrześniu autor projektu Crow opisał 11 takich zapytań wykonanych automatycznie, w trybie bez potwierdzeń, i dodał blokadę adresów, których nikt w rozmowie nie podał. Inny programista przygotował wtyczkę do narzędzia opencode, która blokuje te adresy. Zarejestrował 371 prób połączeń, z czego 365 do tego samego hosta. Serwer odpowiada odmową dostępu, ale samo zapytanie i tak zdradza osobie trzeciej adres IP użytkownika, czas i treść adresu.

Większość komentujących uznała, że model po prostu odtwarza kształt adresów zapamiętany z danych treningowych. Cohere zwraca uwagę na różnicę: wszystkie publiczne zgłoszenia dotyczyły pobierania plików, a w ich teście była to próba wysłania danych, do innego zasobnika, w Pekinie. Tę część opisuje na razie tylko Cohere i nikt jej niezależnie nie powtórzył.

Backdoor czy bałagan w danych treningowych

Cohere przedstawia dwie możliwości i nie rozstrzyga między nimi. Pierwsza jest taka, że to „skamieliny”: logi agentów ze środowisk treningowych, które trafiły do danych bez oczyszczenia. Druga to celowo wbudowany mechanizm „dzwonienia do domu”, który zbierałby informacje o tym, gdzie działają agenci oparci na modelu. Kto kontroluje zasobniki, do których model próbował się łączyć, nie jest publicznie wiadomo.

Do 26 października 2026 roku, godz. 18:50 czasu polskiego, ani Alibaba, ani zespół Qwen nie odnieśli się publicznie do ustaleń Cohere. Nie było też odpowiedzi zespołu Qwen w dyskusjach pod modelem na Hugging Face, gdzie użytkownicy od września zgłaszali wymyślane adresy.

Warto też pamiętać, kto mówi. Cohere sprzedaje własne modele AI firmom i rządom, a wpis kończy się zachętą do korzystania z dostawców, którzy „pokazują, jak zbudowali model”, oraz apelem do rządów o wymogi dotyczące pochodzenia modeli. Nie podważa to opublikowanych logów, ale tłumaczy, dlaczego tekst jest tak mocno osadzony w sporze o chińskie technologie.

Kogo to dotyczy

Qwen to jedna z najpopularniejszych rodzin otwartych modeli. Sam Qwen3.8-Flash-Next ma na Hugging Face ponad 3 miliony pobrań w ostatnim miesiącu, a według raportu tej platformy modele z Chin odpowiadały w ostatnim roku za 41 procent pobrań. Takie modele trafiają do aplikacji, które można uruchomić na własnym komputerze, i do narzędzi dla programistów.

Ryzyko nie dotyczy zwykłej rozmowy z chatbotem. Model, który tylko odpowiada na pytania, nie wykonuje połączeń sieciowych. Problem zaczyna się wtedy, gdy model dostaje narzędzia: terminal, przeglądarkę, dostęp do plików albo do internetu, i może z nich korzystać sam. Dotyczy to osób i firm używających lokalnych modeli jako asystentów do programowania czy automatyzacji, często w przekonaniu, że model „na własnym sprzęcie” z definicji niczego nie wyśle na zewnątrz.

Co można zrobić

Jeśli korzystasz z lokalnego modelu w trybie agenta, nie włączaj automatycznego wykonywania poleceń bez potwierdzenia. Każde wywołanie narzędzia, zwłaszcza połączenie z internetem, warto zatwierdzać ręcznie i sprawdzać, dokąd prowadzi.

Nie traktuj wyświetlanego „myślenia” modelu jako zabezpieczenia. Cohere ujmuje to wprost: tok rozumowania nie jest granicą bezpieczeństwa. Liczy się to, co model faktycznie wykonuje, a to widać na liście wywołań narzędzi.

Jeśli agent nie potrzebuje internetu, odetnij mu go. Jeśli potrzebuje, ogranicz dostęp do znanych adresów. To ta sama zasada, dzięki której test Cohere skończył się na próbie, a nie na wysłanych danych.

Ta historia nie dowodzi, że Qwen celowo szpieguje użytkowników. Pokazuje za to, że model z otwartymi wagami uruchomiony u siebie nie jest automatycznie bezpieczny, a „widzimy, co myśli” to za mało, żeby wiedzieć, co zrobi.