1943年にルイジアナに生まれる。一家全員が音楽好きと言う恵まれた環境で育ち、幼い頃からカントリー・ミュージックやゴスペル・ミュージックに親しんでいた。ハイ・スクールの頃にはギターを弾いていた彼のアイドルはエルヴィス・プレスリーであった。

バンドを結成して地元のクラブで演奏活動を始めた彼は、南部のブルースを聴き始めその影響がその後の彼の音楽性のベースになった。66年にカントリー・ミュージックのメッカであったナッシュヴィルへと乗り込んだ彼は、モニュメント・レコードと契約。アメリカでシングルをリリースするもヒットにはならず、3枚めのシングルがヨーロッパでヒットすることとなり、それが逆にアメリカでも話題になり、彼の名前は全米に知れ渡ることとなった。

69年には彼の代表曲である「ポーク・サラダ・アニー」がヒット。そして、この曲が彼のアイドルであったエルヴィス・プレスリーに歌われ、大ヒット。彼はソングライターとしても名声を得ることになった。モニュメント・レコードに3枚のアルバムを残し、彼はワーナー・ブラザーズ・レコードに移籍。通算4枚目となる『トニー・ジョー・ホワイト』を70年にリリース。これは名プロデューサー、ピーター・アッシャーによってそれまでにないロック的サウンドに仕上がっている、移籍第一弾にふさわしいアルバムであった。

通算5枚目として1972年に制作、発売されたのが『ザ・トレイン・アイム・オン』。これは彼の作品の中でも最高傑作とされている一枚である。彼の音楽の魅力がまんべんなく収められており、彼の音楽性を語るときには決して欠かすことの出来ない作品だ。これはサザン・ロックの聖地であるサッスル・ショールズで録音された生っ粋のスワンプ・ロック・アルバムである。

翌73年には通算6枚目『ホームメイド・アイス・クリーム』をリリース。録音はナッシュヴィル。プロデューサーはサザン・ロックには欠かせない名プロデューサー、トム・ダウド。バックはナッシュヴィルの最高のセッション・メンバーが名を連ねている。エリア・コード615のメンバーであったノーバート・プットナム（B）、デイヴィッド・ブリッグス（P、KB）の他、ドラムにはベアフット・ジェリーのケニー・マローンが参加しており、鉄壁のリズムを叩き出している。