املی، کودکی بلژیکی در ژاپن، همراه با دوستش نیشیو-سان به کشف زندگی می‌پردازد. سومین سالروز تولدش به نقطه‌ی عطفی بدل می‌شود و آغازگر رویدادهایی است که درک او را از جهان دگرگون می‌کند.

فیلم داستان «جی»، شمشیرباز جوانی است که دوباره با برادر بزرگ‌ترِ دورافتاده‌اش «هان» ارتباط برقرار می‌کند؛ برادری که پس از هفت سال، به‌طرزی مرموز از کانون اصلاح و تربیتِ نوجوانان برمی‌گردد—جایی که به‌خاطر کشتنِ رقیبی در مسابقه‌ی شمشیربازی زندانی شده بود. جی که می‌خواهد بی‌گناهیِ برادرش را باور کند، در حالی که برای مسابقات قهرمانی کشور تمرین می‌کند به هان نزدیک‌تر می‌شود؛ اما وقتی خشونت هان دوباره سربرمی‌آورد، جی مردد می‌شود که آیا برادرش در واقع یک جامعه‌ستیزِ خشن است یا نه.

پیچیدگی‌های گذشته‌ای که دو دوقلوی همسان به نام‌های عمر و وسام با هم به اشتراک گذاشته‌اند. روایتی دوپاره، دو روی خاطرات آنها را از لحظه‌ای که در رحم مادرشان به هم پیوند خوردند تا لحظه‌ای که با مرگ غم‌انگیز یکی از آنها از هم جدا می‌شوند را بازگو می‌کند.

در دنیایی که پس از هر جدایی، شرکای سابق باید عضوی از بدن خود را با هم عوض کنند، «کاش گوش بودی» به بررسی تاثیر ماندگار روابط می‌پردازد. افراد نه تنها با هر جدایی، تکه‌ای از وجود خود را از دست می‌دهند، بلکه یادگارهای قابل مشاهده‌ای از هر عشق گذشته را نیز با خود حمل می‌کنند.