1945年10月21日モスクワ生まれ。父セルゲイは国歌作詞でも知られる劇作家・小説家、母ナターシャ・コンチャロフスカヤは児童作家・詩人。6人兄弟の5男で、4男の兄アンドレイ・コンチャロフスキーも監督。モスクワ芸術劇場の児童演技スタジオで演技を学び、12歳で映画に初出演。以来、映画に次々と出演し、63年には『私はモスクワを歩く』の演技で注目を集める。その後、国立映画大学でミハイル・ロンム監督のクラスで学ぶ。在学中に短篇を2つ監督し、70年には卒業制作としてつくった32分の短編『戦いの終わりの静かな一日』が高い評価を得る。74年異色ウェスタン『光りと影のバラード』で長編劇映画デビュー。76年ボルシェビキの男との恋に揺れる映画スターを描いた『愛の奴隷』が評判となり、テヘラン映画祭金の雄牛賞(監督に)を受賞するなど、国際的評価を得る。続いて、チェーホフの《プラトーノフ》などを元に『機械じかけのピアノのための未完成の戯曲』(77)がサン・セバスティアン映画祭グランプリ金貝賞を受賞した後各国でヒットして世界にその名を轟かせる。以後も『五つの夜に』『オブローモフの生涯より』『絆』『ヴァーリヤ! 愛の素顔』といった作品で国内外で人気を博す。

87年イタリアにて幾つかのチェーホフ短編をモチーフにした『黒い瞳』を監督して世界各国で大ヒットとなり、主演のマルチェッロ・マストロヤンニがアカデミー賞主演男優賞候補となるなど話題となった。この後、彼の希望でイタリアで舞台版「機械じかけのピアノのための未完成の戯曲」を演出。91年は『ウルガ』でヴェネツィア映画祭金獅子賞、94年は『太陽に灼かれて』でカンヌ映画祭審査員グランプリとアカデミー賞外国語映画賞を受賞。長年の企画『シベリアの理髪師』を完成させ2000年カンヌ映画祭オープニングとして特別上映。その後、ドキュメンタリーなどに取り組むが、本作で久しぶりに劇映画に取り組み、アカデミー賞外国語映画賞候補となるなど注目を集めた。なお、2008年は『太陽に灼かれて』の続編に取り組んでいる。