18 березня 1898 року поступив на службу фанен-юнкером у артилерійський полк «фон Діскау» (сілезький № 6). Учасник Першої світової війни. За бойові заслуги відзначений численними нагородами. Після війни продовжив службу в артилерійських частинах рейхсверу. 30 вересня 1932 року вийшов у відставку.
1 червня 1934 року поступив на службу у люфтваффе, до 28 лютого 1935 року — президент вищого авіаційного управління в Берліні. З 1 березня 1935 року — командувач 2-м повітряним округом (Берлін). 31 березня 1938 року вийшов у відставку.
1 січня 1939 року повернувся на службу. До 25 серпня 1939 року служив у штабі 3-го військового округу. Під час польської кампанії командував 1-м прикордонним з'єднанням (Померанія), згодом призначений військовим губернатором Данцига-Західної Пруссії. Після завершення кампанії переведений у штаб вищого командування 31. 9 квітня 1940 року керував окупацією Данії, до 1 травня був командиром окупаційних військ в Данії, після чого відправлений у резерв. 10 квітня 1942 року відправлений у відставку.
В кінці Другої світової війни разом із сім'єю покинув Берлін і переселився в містечко Бад-Берка на південь від Веймара. Коли Веймарський район став частиною радянської зони окупації Німеччини, Каупіша заарештували і відправили у табір для інтернованих, де він і помер.
Karl Friedrich Hildebrand: Die Generale der deutschen Luftwaffe 1935—1945. Band 2: Habermehl–Nuber. Biblio Verlag. Osnabrück 1991. ISBN 3-7648-1701-1. S. 159—160.
Rangliste des Deutschen Reichsheeres. Hrsg.: Reichswehrministerium. Mittler & Sohn Verlag. Berlin 1927. S. 114.