Akreditované kurzySpecializované kurzyFiremní vzděláváníJak pracujemeČlánkyKontakt
Tvůj RAG chatbot funguje v demu. Než ho pustíš k lidem, otestuj retrieval na deseti otázkách

Tvůj RAG chatbot funguje v demu. Než ho pustíš k lidem, otestuj retrieval na deseti otázkách

Tutoriály
26. října 2026 | Autor: AI Guild Team | 8 min čtení

Pro středně pokročilé: RAG chatbota nad vlastními dokumenty už máš. Deset testovacích otázek prověří, jestli dokáže najít správnou pasáž.

Proč demo nestačí

Pokud sis podle našeho návodu postavil RAG chatbota nad vlastními dokumenty v n8n, máš za sebou tu zábavnou část: zeptáš se a chatbot odpoví z tvých dokumentů. Autor článku Taking RAG To Production to po skutečném nasazení shrnul jednou větou: „Demo zabere deset minut. Nasazení deset týdnů.“

Většina těch týdnů nepadne na model, ale na retrieval, tedy na krok, kdy systém hledá v dokumentech pasáž, ze které má odpovědět. Když najde špatnou, i ten nejlepší model odpoví sebevědomě a vedle. A protože to nikdo neměří, chatbot selhává potichu. V tomhle návodu si postavíš nejlevnější měření, které můžeš mít: deset testovacích otázek s očekávaným zdrojem.

Co budeš potřebovat

  • Funkční RAG nad vlastními dokumenty. Ukázky jsou v n8n, ale logika je stejná v jakémkoli nástroji, který umí vrátit nalezené pasáže.

  • Tabulku (Google Sheets, Excel).

  • Hodinu až dvě na první kolo.

  • Peníze: deset testovacích dotazů znamená deset embeddingů a deset volání modelu. Podle modelu jde o haléře až jednotky korun.

Krok 1: Napiš deset testovacích otázek

Neber prvních deset otázek, které tě napadnou. Namíchej je tak, aby každá zkoušela něco jiného:

  • 4 přímé: formulované podobně jako text v dokumentu („Jaká je výpovědní doba?“).

  • 3 parafráze: stejná věc slovy uživatele, ne dokumentu („Za jak dlouho můžu odejít, když dám výpověď?“).

  • 2 složené: odpověď potřebuje dvě různé pasáže („Kolik dní dovolené mám a jak si ji převedu do dalšího roku?“).

  • 1 mimo dokumenty: otázka, na kterou v podkladech odpověď není. Správný výsledek je „nevím“.

Parafráze a otázka mimo dokumenty jsou nejcennější. Přesně takhle se budou ptát skuteční lidé.

Krok 2: Ke každé otázce zapiš očekávaný zdroj

Než cokoli spustíš, otevři dokumenty a ke každé otázce zapiš, kde je správná odpověď: dokument a sekce nebo stránka. Tenhle sloupec je tvoje „zlatá“ odpověď. Tabulka může vypadat takhle:

#

Otázka

Typ

Očekávaný zdroj

Vrácený zdroj

Zásah?

1

Jaká je výpovědní doba?

přímá

smernice.pdf, čl. 4

5

Za jak dlouho můžu odejít, když dám výpověď?

parafráze

smernice.pdf, čl. 4

10

Jaké je heslo k firemní Wi-Fi?

mimo dokumenty

— (má říct „nevím“)

Krok 3: Nech chatbota vracet zdroje

Hodně demo workflows vrací jen hotovou odpověď. Bez informace, ze kterých pasáží vznikla, ale retrieval otestovat nejde. První úkol je proto přidat zdroje do výstupu.

Ostrý chatbot kvůli tomu nepředělávej. V n8n si workflow zduplikuj a v kopii přidej hned za uzel, který vrací nalezené pasáže z vektorového úložiště, uzel Code (ve výchozím režimu pro všechny položky najednou). Jeho výstup pošli jako odpověď webhooku. Kód je napsaný obranně, protože přesný tvar dat se mezi verzemi n8n liší:

// Vypíše, které pasáže retrieval našel a z jakého dokumentu jsou.
const zdroje = $input.all().map((item, i) => {
  const doc = item.json.document ?? item.json;
  const meta = doc.metadata ?? {};
  return {
    poradi: i + 1,
    zdroj: meta.source ?? meta.fileName ?? 'neznámý zdroj',
    skore: item.json.score ?? null,
    ukazka: (doc.pageContent ?? '').slice(0, 120),
  };
});
return [{ json: { zdroje } }];

Když ve výsledku uvidíš všude „neznámý zdroj“, tvoje pasáže nemají v metadatech název dokumentu. Doplň ho při nahrávání dokumentů do úložiště, třeba jako pole source s názvem souboru, a dokumenty nahraj znovu. Bez toho bys v ostrém provozu taky nevěděl, odkud chatbot bere odpovědi.

Krok 4: Spusť test a vyhodnoť

Pošli všech deset otázek a do sloupce „Vrácený zdroj“ zapiš, co retrieval našel. Pak u každé otázky rozhodni:

  • zásah: mezi nalezenými pasážemi je ta očekávaná,

  • minutí: očekávaná pasáž chybí,

  • u otázky mimo dokumenty: zásah je, když chatbot řekne „nevím“, minutí, když si odpověď vymyslí. Tady potřebuješ vidět odpověď, ne zdroje, takže tuhle otázku polož ostrému chatbotu.

Výsledek typu „7 z 10“ je tvoje vlastní číslo pro tvoje dokumenty, ne benchmark. Deset otázek je rychlý test, který chytí hrubé chyby, nic víc. Jakmile začnou chodit skutečné dotazy od lidí, přidávej je do tabulky a postupně ji rozšiř na 30 až 50 otázek.

Nejvíc se naučíš z minutí. Každé si přečti a zkus ho zařadit do jedné ze čtyř kategorií níže.

Čtyři místa, kde to typicky padá

RAG pipeline: dokumenty, chunking, index, retrieval a odpověď se čtyřmi typickými místy selhání a až d

a) Chunking rozsekl odpověď v půlce. Dokumenty se před uložením krájí na kousky (chunky). Když řez vede přímo přes odpověď, retrieval najde jen její polovinu. Pomáhá překryv mezi kousky, dělení podle nadpisů místo podle počtu znaků a na začátek každého kousku přidat krátkou hlavičku s názvem dokumentu a sekce. Podrobně to rozebírá článek The Chunking Dilemma.

b) Uživatel mluví jinak než dokument. Typická chyba u parafrází: ve směrnici stojí „výpovědní doba“, uživatel se ptá „za jak dlouho můžu odejít“. Pomáhají hlavičky sekcí psané lidskou řečí nebo krátký seznam častých otázek přidaný do podkladů. Po každé úpravě pusť test znovu.

c) Zastaralé nebo zdvojené dokumenty. Nahraješ novou verzi ceníku, ale stará v úložišti zůstane a retrieval najde obě. Indexuj znovu při každé změně dokumentu, starou verzi smaž a u každého dokumentu si veď datum poslední indexace. Pozor taky na in-memory úložiště, které je pohodlné na demo, ale po restartu n8n zůstane prázdné.

d) Chatbot odpovídá i na to, co v dokumentech není. Tady nejde o retrieval, ale o pravidlo v system promptu. Přidej ho výslovně:

Odpovídej POUZE z přiložených pasáží.
Pokud v nich odpověď není, napiš: „Tohle v podkladech nemám,
zkuste se prosím obrátit na kolegu z HR.“ Nic si nedomýšlej.
Na konec odpovědi uveď název dokumentu, ze kterého vycházíš.

A každé „nevím“ si loguj. Seznam otázek, na které chatbot neznal odpověď, ti ukáže, které dokumenty chybí.

Rozhodnutí, které je produkt, ne kód

Kdy má chatbot říct „nevím“ a předat dotaz člověku, nevyřeší žádné nastavení. To je produktové rozhodnutí: jak velká chyba je přijatelná, kdo převezme dotaz a jak rychle. Tvoje tabulka ti k tomu dá data. Pokud chatbot často odpovídá i tam, kde nemá podklady, přidej mu jasnou cestu ven. Jak takový přepínač na předání člověku postavit v n8n, ukazuje návod handoff spínač pro AI agenta.

Spouštěj test po každé změně

Tabulka má cenu jen tehdy, když ji používáš opakovaně. Pravidlo je jednoduché: po každé změně chunkingu, modelu nebo dokumentů pusť stejných deset otázek a porovnej sloupec „Zásah?“ s minulým kolem. Uvidíš hned, jestli změna pomohla, nebo jsi jednu chybu opravil a dvě jiné přidal.

Tabulku si ukládej k projektu, třeba do repa vedle workflow. Je to zároveň ten nejlepší artefakt na pohovor: místo „postavil jsem chatbota“ ukážeš, že víš, jak spolehlivě funguje a jak to měříš. Tým n8n v průvodci RAG architekturou pro produkci doporučuje logovat právě tohle: jestli se načítají správné pasáže.

Co dál

Retrieval je jen jedna část. Jak otestovat chování celého agenta, než ho pustíš k lidem, popisuje náš eval checklist proti drahé chybě. A pokud chceš stavět chatboty napojené na firemní data tak, aby vydržely v provozu, věnuje se tomu kurz AI specialista — AI ambasador.

Naše kurzy

Interakční Designer — AI Native Builder

UX/UI

Interakční Designer — AI Native Builder

100 hodin | online kurz

Intenzivní program interakčního designu navržený pro éru AI. Začni od nuly nebo kompletně překopej své stávající UX workflow. Zbavíme tě otrocké manuální práce. Naučíš se stavět neprůstřelná rozhraní, která bez chyb pochopí lidi i AI agenti.

Osnovy kurzu
AI specialista — AI ambasador

AI Builder

AI specialista — AI ambasador

120 hodin | online kurz

Promptuješ v ChatGPT a chceš jít dál? Nejrozsáhlejší no-code AI kurz v ČR. Postavíš n8n pipelines, MCP server, kódovací agenty a vlastního chatbota s vector search nad firemními daty — tak, jak to dnes stavíme my v AI Founders a AI Guild BLUE. Domů si odneseš case study s reálnými čísly, ne jen certifikát.

Osnovy kurzu
Tvorba webových stránek s AI

Webdesigner

Tvorba webových stránek s AI

80 hodin | online kurz

Stavíš weby ve Lovable nebo z hotových šablon? Tohle je kurz, kde se naučíš stavět weby tak, jak je dnes stavíme my v AI Founders — AI-first, s vlastním backendem na WordPressu. Vyšší ceny, lepší klienti.

Osnovy kurzu