נלסון היה דמות ידועה בבוהמה הישראלית. ביולי 1957 נעצר כשהיה על סיפון אנייה דנית שעברה בתעלת סואץ, על ידי המצרִים, נכלא ועונה באשמת ריגול לטובת ישראל. הוא שוחרר רק באוגוסט של אותה שנה, לאחר התערבות האו"ם. בחקירתו התברר כי מסר סודות צבאיים למצרים. על כך הועמד לדין, ונדון למאסר על תנאי של שנתיים ולתשלום קנס של 1,000 לירות. נלסון עבד כעיתונאי וכאיש יחסי-ציבור, ניהל את הבר "סוף העולם" באילת ובהמשך הקים את "הכפר של רפי נלסון" בטאבה, שהיה מוקד חיי בוהמה ומוקד לפעילות מוזיקלית ותרבותית מסוף שנות ה-60 עד שנות ה-80. תדמיתו הציבורית של נלסון כמאצ'ו, עם אופנועו הענק והזקן התמידי, הפכה אותו לדמות ידועה בישראל.