Железо известно с древнейших времен. Древнейшие изделия из железа найденные при археологических раскопках датируются примерно IV тыс. до н. э. и относятся к древнешумерской и древнеегипетской цивилизациям. Изделия из железа того времени это наконечники для стрел и украшения. В них использовалось метеоритное железо, точнее, сплав железа и никеля, из которого состоят метеориты. Реминисценции о небесном происхождении железа остались во многих языках.
Между вторым и третьим тысячелетиями до н. э. в Месопотамии, Анатолии и Египте появляются первые предметы изготовленные из переплавленного железа (определяется по отсутствию никеля в составе). Тем не менее, железо использовалось в основном в культовых предметах. Вероятно, железо в те времена было очень дорогим — более дорогим, чем золото.
Во времена «Илиады» оружие было в основном бронзовым, тем не менее Гомер (в 23-й песне «Илиады») рассказывает, что Ахилл наградил диском из железной крицы победителя в соревновании по метанию диска. Между 1600 и 1200 годами до н. э. производство железа развивалось на Ближнем Востоке, однако по распространенности железо все еще значительно уступало бронзе.
В период между XII и X веками до н. э. на Ближнем Востоке произошёл резкий скачок в производстве инструментов и оружия — переход от использования бронзы к использованию железа. Вероятно, столь быстрый переход был вызван не столько прогрессом в производстве железа, сколько перебоями в доставке олова — одного из компонентов бронзы. Период времени после начала массовой обработки железа принято называть Железным веком.
Основным методом получения железа в древние времена был сыродутный процесс, в котором перемежающиеся слои железной руды и древесного угля прокаливались в специальных горнах. После прокаливания руды получалось тестообразное кричное или губчатое железо, от шлака его освобождали ковкой. Первые горны имели сравнительно низкую температуру — заметно меньшую температуры плавления чугуна, в результате чего железо получалось сравнительно малоуглеродистым. Поэтому иногда приходилось еще раз прокаливать изделия из железа в присутствии угля, при этом поверхностный слой металла дополнительно насыщался углеродом и упрочнялся. Изделия, полученные таким способом, были заметно более надежны, чем бронзовые.
В дальнейшем строились всё более эффективные горны (по-русски: домна, домница) для производства железа, вскоре температура в них стала достаточной для образования чугуна. Первоначально его считали вредным побочным продуктом (англ. pig iron, по-русски свинское железо, чушки, откуда, собственно, и происходит слово чугун). Потом обнаружилось, что при повторном прожигании в горне в условиях сильного дутья чугун превращается в железо хорошего качества. При этом двухстадийный процесс производства железа оказался более выгодным. Этот способ просуществовал без особых изменений многие века.
Первые сведения об использовании метеоритного железа в Китае относятся примерно к тому же времени, что и в Европе. Железоделательное производство, вероятно, начало развиваться там с VIII века до н. э. Производство чугуна там началось в I веке до н. э.