Klebelsberg a ranglétra alján, „fogalmazó segédként” kezdte, majd fogalmazóként, segédtitkárként, titkárként, végül 1907-től miniszteri tanácsosként folytatta a munkáját a budai várban, a Szent György téri Sándor-palotában található Miniszterelnökségen. Ily módon került mind feljebb a köztisztviselői hierarchiában, ahol a tizenegy osztályba besorolt illetmények tekintetében a X. osztályból a VII-be jutott, hogy aztán – a miniszterelnökségről távozva – fokról-fokra továbbhaladva, a pályája csúcsán, immár miniszterként a II-ba kerüljön (az I-be csak a miniszterelnök tartozott).
1898-tól 1910-ig dolgozott a Miniszterelnökség Elnöki Osztályán, ahol mindvégig Romy Béla volt a főnöke. Mikor odakerült négy, mikor távozott, már kilenc munkatársa volt az osztálynak. Klebelsberg kollégái között volt Skerlecz Iván, a későbbi horvát–szlavón–dalmát bán; Drasche Lázár Alfréd, aki diplomataként – mint rendkívüli követ és meghatalmazott miniszter – Benárd Ágost(on) társaságában kényszerült aláírni a trianoni békeszerződést; bárcziházi Bárczi István, aki a miniszterelnökségi államtitkárságig emelkedett, és 1921-től 1944-ig a minisztertanácsi ülések jegyzőkönyvvezetője volt; Petri Pál, a húszas években a kultuszminisztériumban Klebelsberg politikai államtitkára; vagy éppen barabási Kún József, aki aztán jogászprofesszorként vált ismertté.
Klebelsberg fokozatos előrelépése egyben azt is jelentette, hogy a végrehajtó hatalom legjelentősebb – jórészt még nemesi származásúakat foglalkoztató – közigazgatási intézményében is otthonosan mozgott. Egyre több belső információhoz jutott, ami nyilvánvalóan hozzájárult későbbi kiváló áttekintőképességének kialakulásához, a fontos és kevésbé lényeges dolgok közötti különbségtétel képességének megszerzéséhez. Haláláig büszkén vallotta, hogy ő a magyar köztisztviselők képviselője: „[…] hivatalnok voltam és vagyok – jelentette ki 1922-ben és még számos alkalommal –, tehát meg tudom becsülni a hivatalnoki munkát.”
A miniszterelnökségen összesen hat miniszterelnök mellett szolgált tizenkét esztendő alatt. (Bánffy Dezső /miniszterelnök: 1895–1899/, Széll Kálmán /1899–1903/, Khuen-Héderváry Károly /1903/, Tisza István /1903–1905/, Fejérváry Géza /1905–1906/, Wekerle Sándor /1906–1910/, majd ismét Khuen-Héderváry Károly /1910–1912/ kormányfősége idején.) Ennek révén sokféle felsővezetői mentalitással ismerkedhetett meg, ráadásul – mivel fokozatosan lépett egyre feljebb és feljebb – a hivatali ügyintézés minden csínját-bínját elsajátította és átlátta, ami aztán felettébb hasznosnak bizonyult minisztersége idején. Ugyanis a „kívülről” érkező tárcavezetőkkel szemben őt nehezen tudta volna a minisztériumi apparátus félrevezetni. Minden bizonnyal beosztottai is tudták, hogy a hivatal megtévesztő kísérleteit azonnal észreveszi, mint ahogy azt is, ha intézkedéseinek végrehajtását hátráltatni vagy szabotálni akarják.
A kormányfők közül Klebelsberg egyértelműen Tisza Istvánt tisztelte és becsülte a leginkább. Gyakran nevezte őt példaképének, és későbbi politikai irányvezetésére is ő gyakorolta a legnagyobb hatást. 1929-ben kijelentette, hogy amikor róla beszél: „[…] mélységes meghatottság tölti el egész valómat. Tisza Istvánról, akivel pályám első szakában a bürokrácia terén, később pedig a politikában együtt működhettem, akit nemcsak mint nagy magyar embert és államférfit bámulok, hanem akihez lelkem minden szálával, mint atyai baráthoz, mint nagy támogatóhoz hálásan ragaszkodom.”
Klebelsberg a miniszterelnökségen elsősorban a nemzetiségi kérdéssel, illetve a mai értelemben vett nemzetpolitikával – főleg annak kultúrpolitikai vonatkozásaival – foglalkozott, 1901-től a nemzetiségi csoportot vezette. Már segédtitkárként is ügykörébe tartozott „Az idegenbe vándorolt magyar honosok nemzeti gondozása”. Az erőszakos magyarosítási törekvések hiábavalóságát hamar felismerte, s mint magának feljegyezte: a nemzetiségi politikát csak akkor tartja hatásosnak, ha az nemzetivé válik, s nem a nemzetiségek gyengítése, hanem a magyarság erősítése a fő célja. A Kárpát-medencét betöltő 20 millió magyar eszméjének akkoriban népszerű, ám hiú és veszélyes ábrándjával szemben úgy vélte, hogy a mindenekelőtt a nyelvhatárokon és a szórványokban bekövetkező asszimiláció igen hosszú folyamat, amely azonban a városokban mégis gyorsan megy végbe, a magyar kultúra vonzerejének köszönhetően.
Részben itt keresendőek a húszas években oly gyakran hirdetett „kultúrfölény-elméletének” gyökerei. Meggyőződéssel hitte ugyanis, hogy a „magasabb” rangú, azaz a másiknál kedvezőbb statisztikai adatokkal rendelkező kultúra – márpedig ebből a szempontból a térségben a németek után a magyarok mutatói voltak a legjobbak – ellenállhatatlan hatást gyakorol a környezetében élő más kultúrákra is. Klebelsberg vélekedését erősítette, hogy a döntően magyarok lakta városokban valóban rendkívül fölerősödött a nemzetiségek asszimilációja. Az már más kérdés, hogy egyéb tekintetben – a sok kritikát kiváltó, ám annál csekélyebb eredménnyel járó iskolai nyelvtörvények dacára – mégsem érvényesült a magyarság térnyerése, sőt, egyes vidékeken éppen ellentétes tendenciák következtek be. Az asszimiláció ugyanis mindenekelőtt a német és a zsidó polgárság körében, valamint a városokba költöző nemzetiségek – elsősorban a szlovákok – magyarosodásánál érvényesült, a hagyományos, paraszti népességre azonban szinte semmilyen befolyást sem gyakorolt.