秋吉は満州の遼陽で、日本植民地時代に4人姉妹の末っ子として生まれた。第二次世界大戦後の1945年、家を失った一家は日本に戻り、別府に居を構えた。地元のレコード・コレクターから、テディ・ウィルソンが 「Sweet Lorraine 」を演奏しているレコードを聴かされ、ジャズに出会った。彼女はすぐにその音を気に入り、ジャズの勉強を始めた。1953年、日本ツアー中にピアニストのオスカー・ピーターソンが銀座のクラブで彼女の演奏を聴き、感銘を受けた。ピーターソンは、レコード・プロデューサーのノーマン・グランツに彼女をレコーディングするよう説得した。1953年、グランツの指揮の下、彼女はピーターソンのリズム・セクションと初アルバムを録音、 ギターはハーブ・エリス、コントラバスはレイ・ブラウン、ドラムスはJ.C.ハードだった。このアルバムは、アメリカでは『Toshiko’s Piano』、日本では『Amazing Toshiko Akiyoshi』というタイトルで発売された。

秋吉はボストンのバークリー音楽院でジャズを学び、1955年、彼女はローレンス・バークに手紙を書き、彼の学校で学ぶチャンスを与えてくれるよう頼んだ。国務省や日本の役人との1年にわたる交渉の末、バーク氏は秋吉の入学を許可した。彼は彼女に全額奨学金を提供し、ボストン行きの航空券を郵送した。1956年1月、彼女はバークリーで最初の日本人学生となった。その直後、1956年3月18日に放送されたCBSテレビのパネル番組『What’s My Line?』 1998年には、バークリー音楽大学（当時）から名誉音楽博士号を授与された。