Он изобразил себя на фоне портрета художника Эмиля Бернара, вместе с которым они жили в Понт-Авене. Гоген сопроводил этот автопортрет "объяснительной запиской". Свое письмо он начал с толкования подписи "Отверженные", сделанной им на портрете: "Я посылаю тебе не только свой портрет, но и портрет всех нас, несчастных жертв общества, которые за зло платят добром". Один из любимых приемов Гогена — показать себя непризнанным гением. Дело в том, что популярность художника в провинции не сопровождалась его экономическим подъемом: "Что правда, то правда: это уважение не стяжало мне ни сантима".
Впоследствии и Ван Гог прислал ему свой автопортрет. Для Гогена Ван Гог выбрал автопортрет, который только что закончил и который, по его словам, был почти "бесцветен: пепельно-серые тона на светло-зеленом фоне". Своему брату Винсент писал: "Портрет, который я посылаю Гогену, может потягаться с его портретом. Я написал Гогену в ответ на его письмо, что если и мне позволено возвеличить свою личность, то я это сделал, стараясь изобразить в портрете не только себя, но вообще импрессиониста. Я представил себя на нем бонзой, бесхитростным почитателем вечного Будды. И когда я сравниваю свою концепцию с концепцией Гогена, то вижу, что она у меня так же серьезна, но менее безнадежна".
История этих двух портретов предвосхищает историю развития взаимоотношений двух живописцев. Работая бок о бок, они бесконечно спорили и постоянно вступали в новые живописные соревнования, создавая разные вариации одного и того же сюжета. И как известно, одному из них этот творческий поединок стоил мочки уха.