אביו של כריסטופר, הסופר א.א. מילן, נתן לבנו ליום הולדתו הראשון דוב צעצוע. הדוב, הידוע בשם פו, וכריסטופר רובין, הם גיבורי סדרת סיפורי "פו הדוב", הכוללת גם שני ספרי שירים, האהובים על מיליוני ילדים ומבוגרים בעולם כולו.
"כשהיינו קטנטנים" ראה אור בעברית לראשונה ב-1946 בשם "פעוטים היינו", בתרגומו של יעקב אורלנד. אורה מורג, סופרת הילדים האהובה, נכבשה בקסמם של השירים והחליטה לתת להם לבוש עברי חדש. תרגומה שופע ההומור, ההברקות המילוליות והקצב התוסס, שומר על רוחם האנגלית של השירים, על שמות הילדים והמקומות, אך כתוב בשפת הילד הישראלי ובמנגינת דיבורו.
הספר מעוטר בציוריו המקסימים של מאייר ספרי פו, ארנסט שפארד, והם משלימים את החוויה המענגת של קריאת השירים.