כשהמחלוקת על קווי המהדרין בשיאה, מעניין להיזכר בעדותו של הרב אברהם יוסף על אביו. "הוא לא שם לב מי יושבת לידו באוטובוס", מספר הרב אברהם.
העדות הובאה בכתבה ששודרה על מרן הרב עובדיה יוסף בתוכנית "עובדה", לפני כעשור.
מדברי הרב אברהם יוסף: "הוא היה נוסע מבית הדין הביתה עם אוטובוס. היא (הרבנית מרגלית) חזרה משוק מחנה יהודה, היא ראתה אותו באוטובוס ושמחה, הוא יעזור לה לסחוב את הסלים. התיישבה לידו, הוא קצת הצתמק. והמשיך ללמוד, היה לו ספר פתוח. כשהגיע האוטובוס לתחנה, הוא אמר לה "סליחה", הוא אפילו לא הסתכל מי יושבת לידו. תוך שניה הוא כבר היה בחוץ, וכבר הגיע הביתה. הוא כעס עליה, למה איחרת?. "אתה כועס עלי במקום שאני אכעס עליך?" לא ראיתי אותך".
בהמשך השיחה הנדירה התרפק הרב אברהם יוסף על הימים בהם היה מתהלך עם אביו ברחובות תל אביב בזמן שהיו חוזרים מלימוד או משירת הבקשות. הרב יוסף הגדיר את הימים ההם ימים שבהם "היה לי אבא".