Название Караганда происходит от киргизского народного названия. Кара — чёрный, гана — ухо; по названию черноухих лисиц, живущих в зарослях караганы кустарниковой (Caragana frutex), в просторечии акация черная.
Первоначально город назывался Николаевском. Он основан в 1879 году по приказу оренбургского губернатора. До 1934 года город Караганда был шахтёрским посёлком.
Караганда — город боксёров и шахтеров. Майкудук — страна чудес, зашёл за угол и исчез.
Существует несколько версий возникновения фразы «Где-где? В Караганде!» По одной из них, фраза появилась в 1940-х годах, когда, вернувшись из мест заключения, человек должен был сдавать в отдел кадров предприятия анкету и автобиографию. На вопрос «Где Вы находились с 1937 по 1941 год?» чаще всего отвечали просто — «В Караганде», что подразумевало заключение в Карлаге.
Значение выражения «Где-где? В Караганде!» означает уклонение от ответа на поставленный вопрос, при необходимости поддержания дальнейшей коммуникации.