پیچیدگی‌های گذشته‌ای که دو دوقلوی همسان به نام‌های عمر و وسام با هم به اشتراک گذاشته‌اند. روایتی دوپاره، دو روی خاطرات آنها را از لحظه‌ای که در رحم مادرشان به هم پیوند خوردند تا لحظه‌ای که با مرگ غم‌انگیز یکی از آنها از هم جدا می‌شوند را بازگو می‌کند.

در دنیایی که پس از هر جدایی، شرکای سابق باید عضوی از بدن خود را با هم عوض کنند، «کاش گوش بودی» به بررسی تاثیر ماندگار روابط می‌پردازد. افراد نه تنها با هر جدایی، تکه‌ای از وجود خود را از دست می‌دهند، بلکه یادگارهای قابل مشاهده‌ای از هر عشق گذشته را نیز با خود حمل می‌کنند.

فیلم، مارلون براندو، که آن زمان مشهورترین بازیگر جهان بود را دنبال می‌کند؛ دوره‌ای که مشغول فیلمبرداری «شورش بر بونتی» بود و یک جزیرهٔ کوچک و غیرقابل‌سکونت در تاهیتی خرید. هدف او گریختن از سبک زندگی پرهیاهوی هالیوود بود. برای تحقق این هدف، او جاج، معمارِ گمنام اما آرمان‌گرای لس‌آنجلسی را از زندگی باثباتش بیرون می‌کشد و قانعش می‌کند که با هم نخستین اقامتگاه پایدارِ بوم‌زیستیِ جهان را بسازند.

در طول قتل عام نانجینگ در سال ۱۹۳۷، پستچی ای‌چانگ خود را به عنوان عکاس معرفی می‌کند و به نیروهای ژاپنی می‌پیوندد؛ ولی در عین حال مخفیانه به پناهندگان چینی پناه می‌دهد.