К концу 1883 года бремя семейной жизни сделалось невыносимым. Тео — единственный, кто от него не отвернулся, — убеждает брата уйти от Син и полностью посвятить себя искусству. Начинается период горечи и одиночества, который он проводит на севере Голландии в Дренте. В декабре того же года Винсент перебирается в Нюэнен, в Северный Брабант, где теперь живут его родители. Здесь за два года он создает сотни полотен и рисунков, даже занимается с учениками живописью, сам же берет уроки музыки, много читает. В значительном количестве работ он изображает крестьян и ткачей — тот самый трудовой народ, который мог всегда рассчитывать на его поддержку и которого воспевали те, кто был для него авторитетами в живописи и литературе (любимые Золя и Диккенс). Начиная с картины «Уборка картофеля» (ныне в частной коллекции в Нью-Йорке), написанной в 1883 году, когда он еще живет в Гааге, тема простых забитых людей и их труда проходит через весь его голландский период: упор делается на экспрессивность сцен и фигур, палитра темная, с преобладанием глухих и мрачных тонов. Шедевром этого периода является полотно «Едоки картофеля» (Амстердам, Музей Винсента Ван Гога), созданное в апреле-мае 1885 года, на котором художник изображает обычную сцену из жизни крестьянской семьи. К тому моменту это было для него самым серьезным произведением: против обыкновения, он сделал подготовительные рисунки крестьянских голов, интерьеров, отдельных деталей, композиционные наброски, и написал его Винсент в студии, а не с натуры, как он привык. В 1887 году, когда он уже переехал в Париж — место, куда с XIX века неотступно стремились все те, кто так или иначе был причастен к искусству, — он пишет своей сестре Виллемине: «Я считаю, что из всех моих работ картина с крестьянами, которые едят картофель, написанная в Нюэнене, безусловно лучшее из того, что я сделал». К концу ноября 1885 года, после того как в марте неожиданно умер его отец да к тому же распространились клеветнические слухи, что он является отцом ребенка, который родился у позировавшей ему молодой крестьянки, Винсент перебирается в Антверпен, где вновь соприкасается с художественной средой. Он поступает в местную Школу изящных искусств, ходит по музеям, восхищаясь произведениями Рубенса, и открывает для себя японские гравюры, столь популярные в то время среди западных художников, особенно у импрессионистов. Он с усердием занимается, намереваясь продолжить обучение на высших курсах Школы, однако обычная карьера — явно не для него, и экзамены оборачиваются неудачей. Но Винсент так об этом никогда и не узнает, поскольку, повинуясь своему импульсивному характеру, он принимает решение, что для художника существует один-единственный город, где действительно имеет смысл жить и творить, и уезжает в Париж.