فیلم داستان «جی»، شمشیرباز جوانی است که دوباره با برادر بزرگ‌ترِ دورافتاده‌اش «هان» ارتباط برقرار می‌کند؛ برادری که پس از هفت سال، به‌طرزی مرموز از کانون اصلاح و تربیتِ نوجوانان برمی‌گردد—جایی که به‌خاطر کشتنِ رقیبی در مسابقه‌ی شمشیربازی زندانی شده بود. جی که می‌خواهد بی‌گناهیِ برادرش را باور کند، در حالی که برای مسابقات قهرمانی کشور تمرین می‌کند به هان نزدیک‌تر می‌شود؛ اما وقتی خشونت هان دوباره سربرمی‌آورد، جی مردد می‌شود که آیا برادرش در واقع یک جامعه‌ستیزِ خشن است یا نه.

پیچیدگی‌های گذشته‌ای که دو دوقلوی همسان به نام‌های عمر و وسام با هم به اشتراک گذاشته‌اند. روایتی دوپاره، دو روی خاطرات آنها را از لحظه‌ای که در رحم مادرشان به هم پیوند خوردند تا لحظه‌ای که با مرگ غم‌انگیز یکی از آنها از هم جدا می‌شوند را بازگو می‌کند.

در دنیایی که پس از هر جدایی، شرکای سابق باید عضوی از بدن خود را با هم عوض کنند، «کاش گوش بودی» به بررسی تاثیر ماندگار روابط می‌پردازد. افراد نه تنها با هر جدایی، تکه‌ای از وجود خود را از دست می‌دهند، بلکه یادگارهای قابل مشاهده‌ای از هر عشق گذشته را نیز با خود حمل می‌کنند.

فیلم، مارلون براندو، که آن زمان مشهورترین بازیگر جهان بود را دنبال می‌کند؛ دوره‌ای که مشغول فیلمبرداری «شورش بر بونتی» بود و یک جزیرهٔ کوچک و غیرقابل‌سکونت در تاهیتی خرید. هدف او گریختن از سبک زندگی پرهیاهوی هالیوود بود. برای تحقق این هدف، او جاج، معمارِ گمنام اما آرمان‌گرای لس‌آنجلسی را از زندگی باثباتش بیرون می‌کشد و قانعش می‌کند که با هم نخستین اقامتگاه پایدارِ بوم‌زیستیِ جهان را بسازند.