13 июля в бою на окраине села Филяновка (Хмельницкая область) Яков метким огнем с дистанции 150 метров за час уничтожил четыре немецких танка. Когда расчёт орудия вышел из строя, мужественный наводчик Кольчак в одиночку уничтожил ещё две гитлеровские машины.
Красноармеец Яков Кольчак вёл неравный бой до тех пор, пока его орудие не было раздавлено прорвавшимся вражеским танком.
За боем наблюдал военный корреспондент Сергей Борзенко (который позже станет первым Героем Советского Союза среди журналистов), описавший его впоследствии в книге «Жизнь на войне».
После войны о подвиге Якова Кольчака рассказывал его сын Борис Яковлевич: «Последний раз я видел отца в мае 1941-го года, когда он приезжал в отпуск. Мы его провожали на дальнейшую службу, а получилось, что на войну. 13 июля 1941-го года под местечком Новая Ушица завязался бой. Фашисты наступали по большаку, а от этой дороги расходилось еще пять дорог. Надо было задержать немцев любой ценой. Первым снарядом нашим бойцам удалось подбить немецкий танк. Тогда фашисты ударили по расчету. Все погибли, остался один раненый отец. Он сам подносил снаряды, заряжал пушку, наводил на цель и вел огонь. Прицел «сорокопятки» был разбит, и отец вел огонь прямой наводкой. В этом бою он уничтожил 4 вражеских танка, которые загородили собой дорогу для других машин. За этот подвиг отцу было присвоено звание Героя Советского Союза.
В этом бою отец получил тяжелейшие ранения и контузию. Долго находился на излечении. А так как весь расчет был уничтожен, то и отца по ошибке посчитали погибшим. Мы получили извещение о его смерти. В действительности же, после госпиталя, отец возвратился на фронт и вновь встал у прицела орудия. В 1944—1945 годах был старшиной 116-го стрелкового полка и воевал до самой Победы! Вернулся отец в родное село весь израненный, со множеством осколков в теле».
После Победы Яков Харитонович возвратился в свое родное село Раково (ныне – в Вознесенском районе Николаевской области), его избрали председателем колхоза. С 1948 по 1955 гг. – депутат Николаевского областного совета народных депутатов.
За участие в боевых действиях в Великой Отечественной войне на Южном, Западном и 3-м Украинском фронтах, помимо высшей награды – «Золотой Звезды», также был награжден орденом Красной Звезды, медалями «За отвагу», «За взятие Берлина», «За Победу над Германией».
Ранения, полученные 13 июля 41-го, ежедневно и ежечасно напоминали о себе жгучей болью. Он ушел из жизни 7 марта 1955 года – совсем молодым, в 37 лет. Прах Героя покоится в с. Вороновка.
В Новой Ушице, на месте подвига Я. Кольчака, благодарные жители городка поставили памятный знак, а также назвали именем Героя одну из центральных улиц.