Los historiadores sitúan los primeros asentamientos de población de lo que hoy es Madrid en torno al área que ocupa la parte baja de la calle Segovia, el Parque Atenas y el Paseo de la Virgen del Puerto. La abundancia de agua en la zona atrajo sin duda a los primeros pobladores, manteniéndose de forma más o menos constante una presencia humana en aquel lugar a través del tiempo (excavaciones arqueológicas han sacado a la luz restos prehistóricos y de los periodos carpetano, romano y visigodo).
Es en el siglo VII, en tiempos de los visigodos, cuando nos llega la primera aproximación al nombre de la ciudad, pues se llamaba “Matrice” (madre de aguas) al arroyo que discurría entre las dos colinas (es el arroyo de San Pedro, bajo la calle Segovia) y también posiblemente al vicus (villa) allí existente.
No obstante, el origen oficial de la ciudad se atribuye a los árabes, pues es durante su dominio cuando empieza a haber constancia documental en el lugar de un recinto fortaleza (almudayna o almuena), fundado por el emir Muhammad I (852-886), al que se denomina "Mayrit", nombre procedente de la composición del término árabe "Mayra" (madre, matriz) y el sufijo iberorrománico "it", equivalente a "lugar" (es posible también, según algunos, que el nombre sea una adaptación al árabe del primitivo y ya mencionado "Matrice"). Este Mayrit adquirió relevancia como una de las plazas de la red defensiva de Toledo, que protegía los pasos del sistema central (junto a Alcalá, Talamanca, Medinaceli, Atienza…). la nueva ciudad se construyó en la parte alta de una de las colinas (la actualmente ocupada por el Palacio Real y sus aledaños), edificándose un alcázar y una medina. El conjunto fue amurallado y rodeado con fosos llenos de agua ("cavas") aprovechando los numerosos arroyos que había en Madrid ("fue sobre agua edificada, mis muros de fuego son" como nos recuerda el mural que decora, desde los años 80, una de las medianas de puerta cerrada, reproduciendo un antiguo emblema). Algunos historiadores hablan de la construcción de una supuesta segunda muralla árabe, que ampliaría la ciudad, siempre no obstante pequeña, aunque hay constancia de la existencia en la época de al menos dos mezquitas, una principal (situada en el cruce actual de Mayor y Bailén y sobre la que se edificó luego la iglesia de Santa María, hoy también desaparecida) y otra en el lugar de la actual iglesia de San Nicolás (reedificada sobre los cimientos islámicos). Al exterior de las murallas se localizaba la vega (campos de cultivo entre la ciudad y el río) y la almuzara (terrenos públicos de esparcimiento y juegos ecuestres).
Tras la descomposición del califato de Córdoba, desaparecido en 1031, y su sustitución por los fragmentados reinos de taifas, Mayrit es conquistada en 1083 por Alfonso VI, incorporándose a la Corona de Castilla. Es a partir de ese momento cuando Madrid, que ve castellanizado su nombre como "Magerit", comienza un proceso lento pero constante de crecimiento en extensión, población e influencia, que abarca todo el periodo medieval (alta y baja Edad Media).
En tiempos de los Reyes Católicos, finalizando el siglo XV, Madrid era una típica villa de la meseta sur con una población cercana a los doce mil habitantes, y aunque durante la Edad Media había albergado reuniones de las Cortes en distintas ocasiones y Enrique III había convertido El Pardo en residencia y coto de caza real, no fue designada sede de la Corte hasta que lo decidió Felipe II en 1561, convirtiéndose entonces en la primera capital permanente de la monarquía y sede del gobierno y la administración del reino (hubo posteriormente un pequeño periodo, entre los años 1601 y 1606 donde la capitalidad fue trasladada a Valladolid).
Con los sucesivos reinados de los monarcas austrias y borbones, Madrid pasó con relativa rapidez de modesta villa y corte a capital de un imperio y fue creciendo exponencialmente en tamaño y población, alcanzando a finales del siglo XIX más de medio millón de habitantes (actualmente tiene más de 3 millones en su municipio, y más de 6 si incluimos su área metropolitana).