Андрей Арсеньевич появился на свет 4 апреля 1932 года в селе Завражье (Юрьевецкий район). Сегодня это Кадыйский район Костромской области, Россия. Его мать работала корректором, а отец был выдающимся поэтом и переводчиком. У него была сестра по имени Марина Тарковская. В 1937 году отец уехал из дома. В 1941 году, когда шла Вторая мировая война, он записался добровольцем. Через два года оказался дома с тяжелой травмой ноги. Позже его ногу ампутировали из-за гангрены. Затем Арсений был награжден орденом Красной Звезды. Андрей вырос в административном центре Юрьевецкого района Ивановской области, и Москве, столице России. Учился в московской школе № 554. Также посещал музыкальную школу и художественную школу. Юноша болел туберкулезом и оставался в больнице с конца 1947 до середины 1948 года. После окончания школы отправился в Восточный институт в Москве, филиал Академии наук СССР, чтобы изучать арабский язык. Будущий кинематографист хорошо учился в первых семестрах и научился говорить по-арабски. Однако он выбыл из курса, так как получил работу. Тарковский занял должность на предприятии «Институт цветных металлов и золота Академии наук». Находясь там, решил поступить в киношколу.
В 1962 году стал соавтором сценария (в титрах) и снял свой первый полнометражный фильм «Иваново детство», который принес ему международную славу и награду «Венецианского кинофестиваля» в том же году. Кинокартина 1966 года «Андрей Рублев», которую он написал и снял в соавторстве, стала неоднозначной. Советские власти не одобряли многие части фильма. Ему пришлось отредактировать его несколько раз, что привело к созданию множества версий фильма с разной продолжительностью. В 1974 году была завершена работа над фильмом «Зеркало» по мотивам его жизни. Отец режиссера был задействован в этом фильме как рассказчик. В фильме использованы стихи отца. У Андрея возникли конфликты с российскими властями из-за этого фильма. В том же году он закончил сценарий под названием «Гофманиана», но он так и не увидел свет.
Режиссер связал себя узами брака со своей однокурсницей Ирмой Рауш в апреле 1957 года. Их сын появился на свет 30 сентября 1962 года. Ирма снялась в фильмах «Иваново детство» и «Андрей Рублев». Однако в июне 1970 года пара официально рассталась. В 1970 году его супругой стала Лариса Кизилова, российская актриса. Он жил с ней с 1965 года. Она работала ассистентом-постановщиком на съемках «Андрея Рублева», была разведена и имела дочь Ольгу от предыдущего брака. У Андрея и Ларисы родился сын 7 августа 1970 года. Супруга работала с Андреем в качестве его помощника в фильмах «Солярис», «Зеркало», «Сталкер» и «Ностальгия». Режисер вел дневник, который теперь известен как «Мартиролог». В конце 1985 года у Андрея обнаружили рак легких. В январе следующего года он уехал на лечение в Париж, Франция. Кинематографист сделал свой последний вдох 29 декабря 1986 года. Обряд похорон прошел в соборе в Париже. Был похоронен в Сент-Женевьев-де-Буа, пригороде Парижа. Неподтвержденные источники утверждали, что его смерть была организована «КГБ», секретной полицией Советского Союза. Интересно, что его жена Лариса и актер Анатолий Солоницын скончались от подобного типа рака легких. Следовательно, некоторые полагают, что их болезнь произошла из-за того, что они подверглись воздействию химического завода во время постановки «Сталкера».