Родом з бідної сім'ї ткача. У 1924 р одружився і незабаром завершив інженерну освіту.
У 1933 р вступив в НСДАП, однак уже в наступному році виступив з відкритою критикою політики щодо євреїв, за що кілька місяців перебував в ув'язненні. Після цього працював в будівельній компанії Юнга. У 1938 р. працював на будівництві Західного валу, а з 1941 р. направлений Організацією Тодта на окуповану територію України. Як глава представництва фірми «Юнг» в м. Здолбунів, був відповідальний за будівництво на всій території генерального округу Волинь-Поділля, займався підбором будівельних робочих, серед яких було багато євреїв.
13 липня 1942 року став свідком масової страти євреїв нацистами в Рівненському гетто, при цьому йому вдалося врятувати близько 150 осіб, яких він під приводом необхідності будівельних робіт направив до Здолбунова. Згодом йому вдалося перевезти до Полтави групу євреїв (Тадеуш Глас з дружиною і сином, Альбіна Вольф і її дочка Люція, Барбара Фауст, Кітті Гродецька і інші), де їм вдалося дочекатися приходу Червоної армії.
2 жовтня 1942 р. був присутній при страті близько 5000 євреїв в м. Дубно. Після війни він залишив письмове свідоцтво про побачене.
Гребе розповідав, зокрема:
Мій бригадир і я пішли прямо до ям. Ніхто не турбував нас. Я почув швидкі, один за іншим, постріли гвинтівки позаду одного з земляних насипів. Люди, які зійшли з вантажівок — чоловіки, жінки і діти різного віку — повинні були роздягнутися за наказом есесівця, який тримав батіг для верхової їзди або собак. Вони мали скласти одяг роздільно: окремо взуття, верхній одяг і нижню білизну. Я бачив купи черевиків приблизно від 800 до 1000 пар, великі купи білизни та одягу. Без крику або плачу, ці люди роздягалися, стояли в сімейних групах, цілували один одного, прощалися і чекали знака від іншого есесівця, який стояв біля ями, теж з батогом в руці. Протягом п'ятнадцяти хвилин, які я стояв поруч, я не чув ні скарг, ні прохань про помилування. Я спостерігав за сім'єю з восьми чоловік, чоловіком і жінкою близько п'ятдесяти, з дітьми від двадцяти до двадцяти чотирьох років і двома дорослими доньками, приблизно двадцяти восьми або двадцяти дев'яти років. Літня жінка з білосніжними волоссям тримала в руках однорічну дитину, співала і лоскотала його. Дитина воркувала від захвату. Батьки дивилися зі сльозами на очах. Батько тримав за руку хлопчика років десяти і тихо говорив з ним; хлопчик ледь стримував сльози. Батько вказав на небо, погладив його по голові і, здавалося, щось йому пояснив. У цей момент есесівець в ямі щось крикнув своєму товаришеві. Останній відрахував близько двадцяти чоловік і наказав їм йти за земляний курган. Серед них була родина, яку я щойно згадав. Я добре пам'ятаю дівчину, струнку з чорним волоссям, яка, проходячи повз мене, вказала на себе і сказала: «Двадцять три роки». Я обійшов насип і побачив величезну могилу. Люди були щільно притиснуті один до одного і лежали один на одному, так що було видно тільки їхні голови. Майже на всіх була кров, що стікала по плечах від їх голів. Деякі з застрілених людей все ще рухалися. Деякі піднімали руки і повертали голови, щоб показати, що вони все ще живі. Яма була заповнена майже на дві третини. Я підрахував, що в ній було вже близько тисячі осіб. Я шукав людину, яка стріляла. Це був есесівець, який сидів на краю вузького кінця ями, його ноги бовталися в ямі. У нього на колінах був автомат, і він курив сигарету. Люди, абсолютно голі, спустилися по сходах, які були вирізані в глиняній стіні ями і забралися по головах людей, які лежали там, до місця, куди їх направив есесівець. Вони лягали перед мертвими або пораненими людьми; деякі пестили тих, хто був ще живий, і говорили з ними тихим голосом. Потім я почув серію пострілів. Я заглянув в яму і побачив, що тіла сіпалися, а деякі голови вже лежали нерухомо поверх тіл, що лежали під ними. Кров текла з їхніх ший. Вже наближалася наступна партія. Вони спустилися в яму, вишикувалися в ряд поруч з попередніми жертвами і були застрілені.
У вересні 1944 р Гребе перейшов лінію фронту і зі своїми співробітниками здався американцям, яких консультував щодо Західного валу, в будівництві якого він брав участь. Продовжив співпрацю з американською окупаційною владою в післявоєнний період.
З лютого 1945 по осінь 1946 рр. Гребе активно співпрацював з відділом з розслідування військових злочинів, і представив важливі свідчення на процесі над айнзатцгрупами, одному з наступних Нюрнберзьких процесів, що призвело до його цькування з боку багатьох співвітчизників. Щоб уникнути переслідувань, Гребе перевіз свою сім'ю в Сан-Франциско в 1948 році, де він жив до своєї смерті в 1986 році.
У Німеччині один з колишніх учасників айнзацгруп (Георг Маршалл), проти якого Гребе свідчив після війни, в 1960-ті р. домігся висунення зустрічних судових звинувачень в лжесвідченні, через що Гребе до кінця життя не міг приїхати до Німеччини. Звинувачення були зняті посмертно.
Ще одним свідком масових страт в жовтні 1942 року в Дубно був німецький офіцер Аксель фон дем Бусше (Bussche), який, травмований побаченим, в 1943 році приєднався до групи німецького опору навколо Клауса фон Штауффенберга і взяв участь в невдалому замаху на Адольфа Гітлера в листопаді 1943 р
