Incident Antipatterns

vítejte u poslechu podcastu you Build it Jan Podcast o všem co potřebujete vidět když chcete provozovat globální internetovou službu tématem vás provázejí Láďa a Vilda

tak dobrý den všem v dnešním díle se budem i nadále zabývat tím černým scénářem když věci nefungují Nicméně nebudem se soustředit na to jak to rychle vyřešit ale budem se soustředit na to co fakt nedělat Láďo Jaká je tvoje nejoblíbenější tvůj nejoblíbenější Anti pattern když dojde na incidenty No tak já bych začal tím dostat veškeré lidi na on Call na ten Call vlastně na ten když se něco děje Tak page neme celou firmu všichni naskáčeme do toho zoomu a to bude nejlepší způsob jak to vyřešit je pravda že to jako věřím tomu že to je taková tendence která se bude dít v těch malejch firmách Kde je relativně málo lidí že jako Jéžiš to musíme řešit všichni a to je ta jako svým způsobem ta panika eh ve velkejch firmách tohle nehrozí protože se to stane automaticky neuvěřitelně drahý Takže to nikdo dělat nebude ale Eh tole je něco Čemu se jako je fakt podle mě názoru nutný vyvarovat jako úplně nejvíc protože eh čím víc lidí tam bude tím větší chaos eh a tím větší náročnější bude to vůbec

celý uřídit No určitě je potřeba mít prostě jak jsi říkal mít toho incident commandera sedm osm lidí který vlastně patřej do toho řešení a oni potom aby si vytáhli ty lidi koho opravdu potřebujou a ne aby tam automaticky naskakovali všichni obzvlášť právě Jak začne firma rychle růst v pár inženýr to to samozřejmě funguje do do 10 lidí je to prostě bez problémů ale potom vlastně chcete aby ty lidi si Zaprvý odpočinu aby bylo koho prohodit na to Nezapomínejte furt jako vy nejste schopn odhadnout že ten incident budete mít vyřešenej za chvíli a je potřeba Prostě pracovat i s tím že potřebujete vystřídat potřebujete ty lidi eh Prostě rotovat jak jsme říkali vlastně minule a to by vám vlastně to že budou všichni najednou všichni řešej tak kromě toho že zmatek v tý komunikaci a další vlastně pálíte ty samý několik lidí paralelně dělá to samý zkouší ty samý věci tak to prostě

Neškaredice řešíte ten větší tak spousta vlastně těch scénářů je tak že vytáhnete ty lidi A zjišťujete jo jakoby jestli jsou potřeba nebo nejsou potřeba a u spousty procesů jsem zažil že jako oni tam že ten incident k řekl ale tady pro jistotu zůstaň jo i když vlastně jako nic neřešíš jo Co kdybysme tě potřebovali A to si taky myslím že není úplně jako dobrej patn to jako eh Měl jsem tu čest takhle sedět na pár eh na pár kolech který byly vlastně Takže h pro mě tady vůbec nic není jsem tady úplně zbytečnej Já jenom čekám na to až oni to vyřešej abych pak řekl že to je v pohodě a mám tady sedět 6 hodin e Přijde mi to úplně absurdní a vlastně to jako vůbec ničemu nepomáhá pokavad člověk potřebuje eh Důležitý je vědět jak v podstatě vždycky dostat ty lidi když budu potřebovat jejich Nějakou zpětnou vazbu Takže třeba zase pnu a řeknu tak jo teď potřebuju od vás zkontrolujte že vám to jede tak jak todle támhleto něco nějakým způsobem e

když tam je potřebuje jejich vstup Ale jakmile ten jejich vstup jako není tak čau Přesně tak a nechat jim ten prostor ať se jdou vyspat ať jdou jý Přesně tak další z těch Antip je příliš frekventovaný status update Zažil jsem že prostě chtěl někdo z vlastně ze supportu každejch 5 minut abysme mu říkali jako co se změnilo co se děje a to taky není úplně šťastný k tomuhle bych dodal že tady si myslím že je může bejt jako tady je hodně HR u nějakých větších incidentů může to bejt tak že je tam jakoby hodně různejch skupin lidí který potřebujou v různý časy různý updaty a zákazníci jsou jedna na ty se třeba spíš má tendenci mám pocit jako zapomínat že vůbec existujou protože se strašně soustředím na tu na tu na tu věc Toto vyřešit že jo tak zapomínám na to že bych měl zákazníkům říct nebo uživatelům říct že jo Makáme na tom udělali jsme todle Jak jako za půl hodiny se znova ozvem jo myslím si že tam vůbec nemá cenu se jako

snažit častějc vůbec dávat vědět jo ten ideální update je prostě každých 20 30 minut a a opravdu na něj nezapomínat ono zase jako udělat update jednou za dvě hodiny taky není jako nic co by fungoval pě e pak ale třeba je tam že jo nějaká interní komunikace třeba pro eh právě protože vlastn vlastně dejme tomu opakova jme nějakej trošku větší podnik Tak už možná Máme nějakej tým kterej třeba jako má na starosti tu infrastrukturu a teď ten problém je tam a teď nějaký další jsou na tom závislí a ty by mohli chtít jako vědět taky každých pár pár minut co potřebujou Ne ty jsou pravděpodobně furt v kategori zákazník jednou za půl hodiny kdyby jako se něco významného stalo Tak já vám dám vědět jinak jako v klidu eh Pak je tam samozřejmě další kategorie A to je to je management že jo ten jako ten samozřejmě jako přijde s tím že eh bude chtít aby se to vyřešilo samozřejmě co nejrychlejc což chtěj všichni takže není potřeba Vůbec na to brát zřetel ale zase si myslím jako za 5

minut stejně nikdo nic nevyřeší Jo a a v momentě kdy pokov ať se udělá nějakej velkej průlom tak se to hned všem řekne že jo takže v klidu já si myslím že se nesnažit snažit jakože já jsem já jsem zastánce toho jednou Hele 20 30 minut jo jo určitě další z těch Antip ten se mi hodně líbí a to je to že myšlení toho že když je v tom roomu v tom Zoom roomu klid že není žádnej Progres To je klasická věc Já myslím že vil do ty to znáš takový to klasický Já to znám velice důvěrně protože že jo přece jenom něco se stane teď e dostane člověk nějakou page Teď se tam připojí a tam je ticho nikde nic jako a to vytváří dojem jako tak dělá proboha někdo tady něco nebo jako tady všichni jen tak čekáme na co čekáme ve skutečnosti v drtí většině případů je ticho proo protože všichni něco dělaj a zatím nejsou žádný výsledky který by bylo potřeba reportovat že jo Takže jako když není jako když se nic neděje

nebo působí to dom že se nic neděje tak to většinou spíš znamená že se tím někdo zabývá a nemá čas jako furt e něco říkat nebo něco psát to si myslím že platí obecně i třeba v těch Když to člověk nesleduje přímo na tom callu ale jenom ví že se něco děje a je tam nějakej s nějakým chatu že jo nějakým slacku třeba eh nějakej kanál a ty tam neprobíhá žádný updaty prostě 15 minut nikdo nic nenapsal tak proboha dělá někdo na tom jo ta tendence prostě jako se do toho zapojit Jo rozumím tomu ty to je jako myslím že to je jako taková logická reakce ale je vlastně kontraproduktivní ty lidi na tom jako dělaj že jo Hlavně jakoby opravdu to mluvení na tom callu obstarává incident Commander a pokud on nedá On dal jasný příkazy někomu a dal jim nějakej časovej rámec kdy mu mají zarep tak opravdu není potřeba nic jinýho pokud se připojíte a nevíte nebo něco vám chybí tak je on je jediná Ta ta správná role kterou máte otravovat neotravujte hlavně ty inženýry

který opravdu pracujou jo to je prostě nejhorší Jo to je to je takovej jako mám nápad jak to vyřešit tak hned začnu psát někomu kdo to řeší jako a není to ten Commander psal tak Zkoušel jsi todle a udělej todle Hele todle mi zjistí prostě ne takhle se to fakt nedělá jako jestli jestli jako má člověk geniální nápad jak to řešit a tak dále od toho je tam ten incident Commander a s ním se má vlastně cenu bavit s nikým jiným ne protože ty tam nejsou od toho aby si povídali k tomu bych možná ještě dodal e že v tom si myslím že je teda obtížná úloha toho incident Commander ukočírovat todleto a A Eh mít jako kuráž na to zjednat si pořádek jo protože třeba když tam přijdou řekněme Nějaký velký frčky a a začnou něco radit jo tak najednou jako co s tím že jo Já jsem tady jako podřízený vlastně normálně ale teď jsem incident command Takže to mám vlastně na starosti Tak teď jako jak tol to eh jak se k tomuhle postavit Jo myslím

si že dobrá taktika je zkusit když se do toho chce někdo jako montovat tak mu říct jako jestli chce teda bejt incident Commander že mu to př že předám není problém eh myslím si že ve většině případů odpověď bude ne A v ten moment je to jako jednoduchý No tak v tom případě to Řídím já a eh jsme zpátky tam a vyjasnit si ty pravidla což e samozřejmě nemusí fungovat s tím managmentem úplně dobře A to je něco co by asi jako je důležitý si třeba v tý firmě jako říct určitě a my o tom budem mluvit Je to jeden z těch Antip eh a hlavně co jsem slyšel třeba za doporučení obecně jakoby v komunitě je vytvořit vlastně kanál aby tyhle vlastně stakeholdeři měli přístupně informacím ale zároveň nemuseli vstupovat do těch do těch hovorů aby právě nedošlo že někdy k tomu dojde i bez toho aby oni to tlačili jenom tím že vlastně lidi viděj tu jejich a jako pozici on víceméně se zeptá nebo navrhne něco a jako nepovažuje to že by to jako někdo měl

jít dělat opravdu jako vystřelí nápad ale protože je to VP SVP pozy tak tak to někdo začne okamžitě dělat bez toho aby to bylo jako vůbec relevantní jo Protože jen to On on to nemyslí jako že potom mají skočit ale jen tak hodí to do pléna jakoby nápad že jo většinou spousta těchhle pozic má nějakej inženýrský background někdy takový věci řešili tak třeba nadhod ten nápad ale nemyslej to tím že chtě s tou svojí pozicí CEO cto nějak jakoby vstupovat do toho jen jen chtěli se přidat do tý ruze a bohužel to někdy dost špatně dopadne No jo Jo Jo to je přesně ono jako tam je potřeba si říct že incident Commander je ten to má na starosti To je ta to je ta hlava ten ten řídí ten je jedno jaký jsou jako reálně frčky ale v tenhleten moment je prostě todleto nejvyšší velení pokavaď ne tak se předá žezlo a tak dále aby bylo jasný jak to je samozřejmě můžem můžeme se bavit poom že mimo řekněme mimo oficiální záznam se třeba že jo incident

Commander může bavit s tím vedením a konzultovat třeba nějaký jako rozhodnutí a tak dále samozřejmě to jako jo ale jde o to že to ty ty pokyny vo tom co se děje dál přicházej od incident Commander a ne od někoho jinýho Přesně tak další z těch věcí je hez e vlastně bát se eskalovat na ostatní vlastně v tom v tom procesu a my už jsme to říkali Nikdy se nebojte vlastně a ten Antip pattern je když se lidi bojej vlastně eskalovat na ty ostatní responder na jak ty další inženýry tak vlastně kolnou někoho z nějakýho jinýho týmu a podobně to je velkej antipatros protože tam e ono to totiž jako je takový složitý v tom že to může vytvářet dojem že já jsem jako nekompetentní že nevím co dělám jo a teď člověk může mít strach aby nevypadal za hloupého že si s tím neví rady nebo něco takovýho To si myslím že je ve skutečnosti jako jedna z velkejch příčin je obava jako já budu vypadat jako idiot jo jako protože dejme tomu nejsem nejsem Nováček nejsem Junior

a teď najednou jako je nějaká situace Já si s ní nevím rady jakoby by mohlo bejt očekávání že jo nebo tak eh jako nepomáhá To je to špatn je to je to špatně A Eh v momentě kdy si nevím rady tak prostě mám eskalovat protože e a to není o tom že bych to jako teoreticky měl vidět jako nikdo nedokáže vidět všechno To je první věc Je to stresová situace To je druhá věc a člověk Třeba udělal už pět věcí a už mu docházej teď nápady tak stačí jako že potřebuje jako čerstvý voči že jo a uši a někdy Třeba byste to udělali najdete k tomu nějakou dokumentaci ale je složitá když padnete někoho on to udělá 10krát rychlejc než vy tak to taky může bejt velmi důležitý další ten Antip který bych chtěl ten je podle mě hodně důležitej nediskutovat proces a ty polisy kolem incidentu během toho incidentu takhle to já neznám protože to se nebo v oci to neexistuje tam je to daný tam nad tím nikdo nepřemejšlí ale v apiary jsem si si pamatuju že se

takovýhle věci diskutovali a byly nepomáhají jo jako To nepomáhá vůbec jako v tenhle moment se nemá cenu bavit o tom jak to tady můžem zlepšovat a tak dále od toho je pod smem Od toho je až to skončí tak Supr tak se o tom můžem bavit do tý doby Sorry teď to takhle jedem prostě A je to přesně když někdo začne třeba nesouhlasit s tím incident commanderem a začne vytahovat nějaký takovýhle věci že by se to mělo dělat tak a tak tak přesně to jenom zpozdí ten incident A tak je ok mít ty připomínky ale nechte si je do do postmortem a tady bych zase dal takovou radu když je někdo teda to řídí a jec Commander a setká se s někým takovým Tak v podstatě tak jako ne zcela eh ne nemusím to nezbytně nutně jakoby adresovat tomu člověku ale jako tak nějak zdůraznit všem že jako pokov ať máte nějaký komentáře k tomu jak to probíhá Sup až to vyřešíme Tak s tím Přijďte budeme se o tom bavit potom eh jo a když to jako nestačí tak je třeba

pak dobrý zmínit že jako pakovat někdo bude narušovat ten průběh tak bude incident Commander nucen Eh je z toho kolu prostě vyhodit že jo určitě určitě to jako je legitimní postup a je potřeba bejt někdy tvrdej jako vojáci Je to prostě proces další důležitá věc je A s tím jsem se bohužel setkal v pár firmách že vlastně eh se provede postmortem a ty aktivity a udělá se to tak trochu jo úplně tam se sice nějaký tikety vytvoří ale nikdo je jako v rozumným termínu nedodá a vlastně dost se to bere jo jako Mělo by se ale vlastně nic se moc nestane a potom ten incident zase znova se stane třeba já nevím Za půl roku nebo tak hele ale to je jako něco Eh co se jako myslím že děje jako vždycky a všude a to je eh a je to kvůli tomu že eh velice často a to si myslím že takovej jako obecnější problém nejenom s incidentem ale i s vývojem a nápadama vší je jako my na to vyrobíme tiket a tím jsme to jako udělali že jo

Tím že jsme vyrobili ten tiket tak všechno splní No a už se na to nemusíme vracet a třeba fci je na tohleto fantastickej proces kde vlastně eh ty e každej každej incident má pak nějakým způsobem se musí má nějak postmortem A je tam nějaká nějakej e nějaký vznikne jeden tiket který má pod tikety který říkají Todleto je longterm action item Todleto je short term Action item Jo je to jako Musím to řešit rychle pomalu a tak dále a jsou na to daný časy doy to mě musí bejt vyřešený a ne stále se to reportuje a podstatě v momentě kdy to neuděláte včas tak prostě vás někdo doře a to je důležitý opravdu ta ten reporting mít já vlastně jsem setkal Vlastně když jsem nastoupil v jedný svý předchozí firmě tak jsem tam koukal jak jak jsou na tom s těma postmortem našel jsem tam desítky otevřenej a nikdo to nedodal až když jsem začal k tomu deadliny ty lidi vždycky jsem j říkal A proč to není A kde je ten důvod a mám to eskalovat k

tvému manažerovi a prostě to byl jedinej způsob jak to postupně dotlačit protože prostě tam ty manažeři nebyli důsledný netlačili na tu zodpovědnost a To plánování protože my jsme neměli problém s tím jestli to vyřešej za tejden nebo za 14 dní nebo za měsíc dokonce tři měsíce bylo OK ale museli to vyřešit aby tam byly ty závazný deadliny od toho týmu že to do tý doby vyřešil já myslím že úplně nejhorší věc která se člověku může stát je že je na incidentu kterej eh dělá e a pak zjistí že před rokem se to stalo tak vymyslel se geniální plán jak se to vyřeší A po roce se furt nic nestalo jo no a já jsem to zažil právě v týhle firmě několikrát že vlastně byly Action Items který by to vyřešili a díky tomu že je někdo neudělal tak se ten incident znova třeba po čtvrt roce stal Jo a to je opravdu hrozný a a Horší bylo že to skoro nikomu nevadilo No další další věc vlastně z těch e z těch anti paternů je

eh být hrdina být hrdinou jo Snažit se být hrdinou Možná to bych tak jako nazval To je takový e Anti pattern kterej Kterej asi v těch velkejch firmách moc neuvidíte a ale ale někdy to tak bývá no jo k tomu jako já nevím no Jako mě k tomu mě k tomu spíš jako jenom napadá že jako hrdiny jsou plný hřbitovy to je první věc no on dost často pamatuješ před pár lety bylo takový že nenajím JavaScript programátor ale ninju A a to to je jako samozřejmě Problém je ten že jo že jako jednotlivci

neškytne lepší na světě ale stejně v jeden moment budou unavený už nebudou moct A copak že jo to jako nefunguje tadydle ten bas Faktor tým vzniká hroznej eh jako eh spoléhat na eh na vlastně jednotlivce je vždycky špatně No určitě tady další z těch antiatlas

firem vyžaduje aby incident comandi měli hluboký technický znalosti a to vůbec není potřeba oni Naopak musí mít komunikační e dovednosti a vědět jak funguje organizace vědět na vlastně koho zavolat a podobně Od toho jsou ty subject Matter experti aby měli ty technický znalosti Jako rozhodně eh incident Commander není od to aby to vyřešil jo to je první věc jako on tam není od toho aby vymejšlel technicky jako jak to jak to teda v čem je problém nebo jak to jako vlastně vyřešit ale spíš jako Eh je zodpovědnej za to že se nějak že se posouvají věci dopředu že se na tom opravdu dělá dělá se na tom na čem se má dělat eh a že všichni jsou dostatečně informovaný A to že nemá jako hlubokou že to není síťaře a problém je možná v síti jako není důvod proč by nemělo bjt incident Commander jo tak to 100% já si dokonce myslím že že to může bejt svým způsobem někdy i ku škodě věci protože ten člověk bude mít tendenci samozřejmě do toho zasahovat jo jakože

to řešit protože já vlastně jakoby jsem ten eh když protože nebo já bych to řekl jinak pokavaď Já jsem incident Commander ale ve skutečnosti jsem zároveň eh řekněme ten e je moje Ta moje jako odbornost je právě v tom kde je ten problém tak je na pováženou jestli bych já neměl říct běžte někdo jinej bejt incident komander a já budu ten subject Met Expert a budu to řešit protože já vím co dělat než zůstávat a jakoby bejt incident Commander ale furt se do toho tak cpát přesně a tím se nám vlastně to je přesně ten další Anti pattern a a to je když se jeden člověk snaží vzít jako víc těch rolí Jo a přesně to je ten problém Chci bejt třeba smi a zároveň ten incident Commander protože jsem třeba ten nejstarší v tý firmě nejvíc o tom vím a to právě není vůbec zdravý přesně pro tyhle důvody že je lepší Klidně ať je Junior incident Commander jo třeba někdo ze supportu tak udělá tu práci velmi dobře taky protože umí komunikovat a ať se věnuje ten technicky

znalejší všechny ty role Tak někdy z hlediska tě toho procesu Je toho na něj moc prostě a něco musí zanedbat proto je vždycky dobrý když tam opravdu ty dva tři lidi jsou aspoň a roz prostře si ty role No já myslím že to je jako že že to tohleto tam člověk potřebuje v momentě kdy to je jako něco významnějšího jo já si to já si to představuju tak že mám přijde page eh Jo je to jako řekněme nějaká sef D Řekněme že tam je nějaký teda jako seriózní výpadek ale já na to kouknu Vypadá to jako něco co by mohlo bjt vyřešený takhle zkusím mitigaci zafunguje to tak vlastně asi není potřeba jako vytahovat tady vyvolávat všechny ty lidi jo ale v momentě kdy to je tak že vlastně nějaká prvotní prvotní pokusy selhaly a najednou jako je potřeba aby vlastně za angažovalo víc lidí tak je ten správnej čas naskočit a mít tam toho komander a mít mít tam všechny tyhlety e role Já bych to vzal jako z toho příkladu jak jsme to měli v

API že my jsme to vlastně měli elegantně vyřešený tím že primary bylo to sme a my jsme měli secondary jako incident command a vlastně když se stal incident tak page nul Loto oba že jo Se zpožděním i incident command a vlastně ta ten secondary on Call převzal tu incident command roli a ten primární už to vlastně řešil Jo a vlastně ty dva lidi byli vždycky v poh hotovosti měli měli placenej ten oncol takže to stačilo vlastně na to aby aby ten začátek byl správně jo přesně tak jako není nutný úplně po každý tam tahat úplně všechny no no přesně a oni už potom si rozhodli co potřebovali a podobně Ještě bych vytáhl Je poslední asi Anti pattern a to je kolem tunelového vidění Vlastně když se příliš ty lidi zaměře na to na ten problém a vlastně nevnímají nic kolem to je taky taková věc která se může le Chce stát proto vlastně jsme mluvili že je dobrý sledovat ten čas vždycky to si myslím že je právě u těch jako složitějších věcí když když člověk jako

je ten sme a hrabe se tam v blogách a tak dále tak naprosto určitě zapomene na čas zapomene na todleto protože v podstatě já mám tady jako jeden úkol a to je něc udělat něco přijít na něco a tak dále Takže na tom makám eh a to je možná taky důvod proč jako vlastně ten incident Commander existuje aby vlastně se u něj se u něj je menší pravděpodobnost že se nechá vtáhnout jo jako já si sám úplně uvědomuju jak si člověk začne hrabat těma logama Teď mu to v tý hlavě jede co ještě todle tady zjistím todle teď se tady přel lagující 5 minut uběhlo 15 20 půl hodiny vůbec netuším jo jako stracenej jako př pě tak a Důležitý je že ten incident Commander mohl dát vlastně několik příkazů a vy to nevidíte On vám dá nějakou cestu třeba vy eh koukáte do databáze a nějaký jinej inženýr kouká třeba na proxy jo na jinou část toho řetězu a on za 5 minut vrep tuje Jo už jsem tady vidím problém a tak a všichni pokračujou nějakým směrem no a

vy jste furt v tý databázi jo jste tam 20 minut a měli jste po p minutách vrep jestli tam něco vidíte vy jste to neudělali a Přesně tohle může potom protahovat problémy a přitom vás už jsme mohli přesměrovat tady na na replikaci třeba něčeho nebo na na nějaký jinej problém já možná bych ještě zmínil My jsme to tak jako naznačili ale třeba taky se jako občas diskutují to jestli to je jako cf3 cf2 nebo něco e tam si myslím že Ted ty diskuze jsou zase bezpředmětný to je ve stylu jako jako proces a tak dále Myslím si že to by se nemělo moc řešit Ale v momentě kdy to není jasný tak si myslím že správnej přístup je vzít vždycky tu horší variantu jo takže Dohadujeme se jestli to je sf3 nebo cf2 tak je to cf2 určitě Možná jsme se spletli a je to zbytečně s F2 ale je lepší to udělat takhle než pak zjistit jako ty kráso ve skutečnosti těch zákazníků bylo dotčených jako skoro všichni a byl to fakt průšvih a my jsme

na to jako tak trochu kašlali protože jsme říkali že to není zas takovej problém jo jo určitě ta impakt analýza není nikdy jednoduchá lehce v ní můžete udělat chybu a podcenit něco je potom opravdu katastrofální a opravdu je potřeba na to myslet a nejde přeskakovat s tím sverit prostě co p minut to budete měnit to taky nejde tak máš tam ještě l nějak nějakou hrůzu Já myslím že že jsme prošli celkem všechno právě koukám do toho seznamu dáme link do popisku videa kde je vlastně velmi dobrej popis z příručky incident response kterou napsali v page Duty a myslím si že se všema těma věcma co tam mají se dá souhlasit tak to je dobrej zdroj to je dobrej zdroj určitě a já myslím že uvidíme se s ostatníma zase za měsíc Super tak jako Díky moc a zase naslyšenou naslyšenou děkujeme moc že nás Posloucháte pokud s námi chcete zůstat v kontaktu najdete nás na mastodon IB mastodon cz dáváme tam tipy na zajímavé informace a budeme rádi za ty vaše Mějte se krásně a příště zase

naslyšenou