נולד ליהושע-חיים וצפורה נימויטין בריגה (כיום בלטביה), אז חלק מן האימפריה הרוסית. אביו נמנה עם מייסדי הגימנסיה העברית "תושיה" בעיר, שימש שם כמורה ומנהל המוסד וכן היה פעיל בתנועת המזרחי. האווירה בביתו הייתה ציונית והוא למד גם עיברית. ארגוב חבר בנעוריו לתנועת הציונית "השומר הצעיר" וסיים את לימודיו התיכוניים ב"תושיה". בשנת 1935 עלה ארגוב לארץ ישראל.
בארץ הצטרף להגנה והיה בין מייסדי קיבוץ עין גב. הוא עזב את הקיבוץ ב1940 ועבר לחיפה, שם שימש כקצין ההסברה של ההגנה בעיר ולאחר מכן התמנה לשלישו של מפקד-העיר. בהמשך שימש כשלישו של ראש המטה הכללי של ההגנה, יעקוב דורי וכן של ישראל גלילי ויצחק שדה. אחיו דוד שרד את השואה ועלה ארצה לאחר תום מלחמת העולם השנייה.