本名ショーン・カーター、ＮＹブルックリン出身。 幼い頃から生活保護を受け、11才のときには父親が家を出るという厳しい環境に育ち、自然とラップに目覚める。十代後半の頃ワシントンに移り、ビッグ・ダディ・ケインとツアーをする機会を得るがやがてまたブルックリンに戻りストリートで暮らすこととなる。
２６才のときに至近距離から撃たれたことを境にラップに再挑戦、(当時はまだ無名に近かった)クラーク・ケントの紹介でデイモン・ダッシュと出会う。意気投合した二人はRock-A-Fellaレコードを設立、96年には『リーズナブル・ダウト』を発表、以後97年『イン・マイ・ライフタイム Vol.1』、98年『イン・マイ・ライフタイム Vol.2』、99年『Vol.3ライフ＆タイムス・オブ・ショーン・カーター』、2000年には『ザ・ダイナスティ・ロッカラ・ファミリア』をリリース、合わせて2,000万枚以上のセールスを誇る。
客演もマライア・キャリーをはじめ、R・ケリー、メアリー・J・ブライジにマイケル・ジャクソンなど、実に200曲以上に及んだ。
2001年9月11日（奇しくも同時多発テロ事件当日）に通算6枚目となるアルバム『ザ・ブループリント』をリリースし、全米アルバム・チャートで初登場１位を記録。自身のニックネームをタイトルに冠した１ｓｔシングル「IZZO（H.O.V.A.）」は世界的大ヒットとなる。
2002年2月に初のアンプラグド盤＝『ジェイ・Z・アンプラグド』をリリース。同年11月には直前に２枚組となった７作目『ザ・ブループリント２－ザ・ギフト＆ザ・カース』を発表、またしても全米初登場1位となり、オリジナル・アルバムとしては５作連続の記録を打ち立てた。翌2003年、突如ラッパーとしての引退を表明。“最後のアルバム”として発表された通算８作目『ザ・ブラック・アルバム』は再び全米初登場１位を記録。
その後、デフ・ジャム・レーベルの社長兼CEOの座に就いたジェイ・Zは、音楽界のエグゼクティブとして活躍する傍ら、R.ケリーとの共作アルバム『アンフィニッシュド・ビジネス』やリンキン・パークとのマッシュ・アップ・アルバム『コリジョン・コース』等をリリースし大成功に導く。
2006年に入るとアーティストとしての活動を本格的に再開することを発表し、11月に復帰作『キングダム・カム』で華々しく復活を遂げる。
2007年には映画『アメリカン・ギャングスター』に連動したインスパイア・アルバム『アメリカン・ギャングスター』をリリース。
2008年に入ると次の新作が『ブループリント』の続編『ブループリント３』になるであろう事が報道される。が、アーティストとしてもCEOとしてもデフ・ジャムを離脱することを発表し、ライヴ・ネイションとのジョイント・ベンチャーとして自身の新会社＝ロック・ネイションを設立し音楽界に衝撃を与えた。
2009年6月、遂に『Blueprint3』を、Atlanticレコーズ（US以外はワーナーミュージック）から9/11にリリースすることを正式に発表。
先行シングルとしてリリースされた「D.O.A.（デス・オブ・オートチューン）」は、オートチューン全盛の最近のHIPHOPシーンに対し痛烈に異議を唱えた衝撃的な内容で話題沸騰となっており、来るべき新作に世界中の注目が集まっている。