The Spanish giants stormed back from a two-goal deficit to tie Lyon 2-2 through goals from Mahamadou Diarra and Van Nistelrooy himself.
But the Dutchman's attempt to snatch a last-gasp victory from the spot was denied by keeper Gregory Coupet.
"The team showed character and spirit to get back into the game but I failed to convert a penalty in the dying seconds," Van Nistelrooy was quoted as saying by Spanish media.
This was Van Nistelrooy's third squandered penalty in five attempts since arriving at Real Madrid from Manchester United in the summer.
"I didn't play the ball well and it is really bad to miss such a number of penalty kicks," said Van Nistelrooy, who scored four times in five European games.
The result left Real in second place of Group E with 10 points, three adrift of leaders Lyon as both sides guaranteed spots in the first knock-out stage.
نرشح لكم
رومانو: صراع بين إنتر وكومو للحصول على خدمات تشالوباه
تقرير: فولام يقترب من التعاقد مع أربيلوا لخلافة ماركو سيلفا
سبورت: كوندي يرفض الرحيل عن برشلونة وقرر البقاء
فابريزيو: جريمالدو يختار أتلتيكو.. وليفركوزن يوافق على العرض النهائي
تقرير: تشيلسي يراقب ظهير ليدز يونايتد لتعويض كوكوريا
توتنام يضم الحارس مارتن دوبرافكا
مواعيد مباريات الأربعاء 24 يونيو - قطر ضد البوسنة.. والمغرب يواجه هايتي
كأس العالم - مؤتمر بوتر: علينا تقليل المساحات أمام اليابان












مباشر كأس العالم - المغرب ضد هايتي.. بداية المباراة بعد قليل
صدارة استثنائية
مصدر من اتحاد الكرة لـ في الجول: نرفض أي مظاهر تخص المثليين في مباراة مصر وإيران