Zumindest unter Linux könntest du mit os.environ die Umgebungsvariablen überprüfen ob z.B. die Variable PS1 gesetzt ist was darauf hindeutet, dass das Programm in einer Shell ausgeführt wird. Dies ist nicht unbedingt 100% zuverlässig.