Blog

Przestałem sprawdzać, czy znasz odpowiedź

Kandydat powtórzył moje pytanie, odczekał chwilę i wyrecytował definicję słowo w słowo. Pytania się nie zmieniły. Zmieniło się to, co mierzą.

Myliłem się co do Haiku

Używałem jednego modelu do wszystkiego i kiedy zużycie zaczęło rosnąć, obwiniałem plan. Rozwiązaniem okazało się rozdzielenie pracy, a największa oszczędność wcale nie wynikała z ceny tokenów.

Plan nie mówił nic o pushu

Zatwierdziłem plan. Nie było w nim ani słowa o commitowaniu, ani słowa o pushu. Pod koniec runu agent zrobił jedno i drugie mimo to. Uprawnienia określają, co agent może zrobić. Nikt nie mierzy luki między tym, co zatwierdziłeś, a tym, co się faktycznie wydarzyło.

Instrukcja to nie kontrakt

Reguły są zapisane, agent czyta je przy każdym promptowaniu, a i tak nie trafiają do kodu. Nic nie jest zepsute, bot nie ma czego zgłosić. Bo plik z regułami nie jest konfiguracją, tylko sugestią o nieznanej skuteczności.

Model miał dane. A potem pokazał użytkownikowi schemat mojej bazy.