From: Petr Kindlmann · QA & AI Quality · For: Devcity leadership
A proposal to test AI evaluation, guardrails, audit logging, and production monitoring as a reusable Devcity service — through a scoped pilot role. Three-minute read; thirty-minute discussion at the end; one decision: approve a scoped pilot mandate on the next suitable AI engagement.
Jsem Petr, QA engineer v Devcity. Tahle stránka je můj interní návrh na rozšíření QA disciplíny do AI projektů, které Devcity dnes dělá nebo plánuje. Adresát jste vy — lidé, kteří rozhodují o tom, co Devcity klientům nabízí. Z mé strany jde o pět minut čtení a třicet minut rozhovoru, ze strany Devcity jedno rozhodnutí o tom, jestli zkusit pilot na příští AI zakázce.
Stránka je zároveň funkční ukázkou té služby. AI chat na konci odpovídá na otázky o tomto návrhu a vedle se průběžně kontroluje kvalita každé odpovědi. Tohle je přesně to, co bych v Devcity zaváděl pro klienty. Médium je samo o sobě sdělení.
01
To je dobrá pozice — váš obsah na LinkedIn to potvrzuje, klientské poptávky to potvrzují. AI a automatizace jsou další růstová vlna konzultačních služeb a Devcity v ní stojí na startu.
02
Funguje? Nehalucinuje? Drží stejnou kvalitu i za šest měsíců po nasazení? Když se zeptá klientův auditor, právník nebo představenstvo, klient nemá co ukázat. A my mu nemáme co poskytnout.
03
EU AI Act, sektorová regulace, vlastní compliance týmy klientů — všechny tyto tlaky míří jedním směrem. Klienti, kteří dnes říkají „hlavně ať to funguje", začnou za rok říkat „ukažte mi, jak víte, že to funguje". Konzultantská firma, která to umí už teď, bude pro ně jasná volba.
04
QA, jak ji děláme dnes, ověřuje deterministický software — daný vstup, daný výstup. AI funkce takhle nepracují. Stejný prompt vrátí jindy jinou odpověď, model se tiše aktualizuje, drobná změna promptu má globální dopad. Tradiční QA nástroje tohle neumí evaluovat. Potřebujeme rozšíření QA disciplíny, ne nový tým.
Jedna věta: přidat ke každému AI projektu Devcity kvalitativní vrstvu, vést ji ze stávající QA kapacity, začít pilotem na příští zakázce, z toho udělat samostatnou službu, kterou prodáváme dál.
Co se přidá k projektu
Co to stojí Devcity
What changes for the client
What Devcity gets
What this is not
This page is itself the service. The assistant answers questions about the proposal in consultant structure — direct answer, why, what changes, business impact. A separate judge model scores each answer for sales-readiness and proposes one concrete improvement. Pick an audience, click a question, watch the right-hand panel.
Start with a softball
Or push back — tough questions
Pick an audience above, click a question, and watch the assistant respond in a consultant structure. After each answer you'll see action buttons — shorter, more technical, client-facing, what could go wrong — to push the answer further. The judge panel on the right scores sales-readiness and tells you the one thing to improve.
On the next Devcity engagement that touches AI or automation, we ring-fence evaluation and guardrails as a separate quality workstream. The development team ships the AI feature; QA adds the quality layer around it: evaluation criteria, risk cases, guardrail tests, logging requirements, and incident handling.
Commercial handling stays with leadership. For the pilot, the goal is to test the method inside an existing engagement before turning it into a formal product package.
After the pilot, Devcity should have reusable templates, real delivery evidence, and enough information to decide whether this should become a standalone service. "Stop" is a legitimate outcome; we learn cheaply.
Pilot deliverables (Devcity keeps them, reuses on future clients):
Co potřebuji od vás
Projdeme si návrh, dostanete odpovědi na to, na co jste se mě tady neptal, a rozhodneme, jestli zkusit pilot na nejbližší AI zakázce. Pokud ne, ztratíme půl hodiny — pokud ano, Devcity má za půl roku novou prodejnou službu a referenční případ k ní.