Лиза Оливия Манн родилась в Оклахома-Сити, штат Оклахома. Имеет китайское происхождение со стороны матери (хотя её мать выросла во Вьетнаме) и немецко-ирландские корни со стороны отца. Когда Манн было два года, её мать повторно вышла замуж (на этот раз за военнослужащего ВВС США). Хотя семья много раз переезжала, Манн преимущественно росла в Токио, где размещалась военная база, в которой служил её отчим.