在奥运会协办的过程中，面临很多问题，典型的包括国家的抵制、运动员的兴奋剂问题、政治化和暴力恐怖袭击等。

抵制
1956年墨尔本奥运会，在墨尔本举行的夏季奥运会第一次在国家层面上被抵制。尽管当年因为澳大利亚宣布了严格的动植物进口检查制度，马术比赛被迫改在瑞典举行，但这还算不上风波——因为苏伊士运河危机，埃及、伊拉克和黎巴嫩宣布不愿和英法两国同时出现在奥运赛场，拒绝参加奥运会。同时，荷兰、西班牙和瑞士三国为抗议苏联镇压匈牙利暴乱，也宣布拒绝参加奥运会。最后中国在奥运会召开前两周也宣布拒绝参加墨尔本奥运会——国际奥委会只承认台湾的蒋介石政府为合法政权。

1972年慕尼黑奥运会和1976年蒙特利尔奥运会遭到了大多数非洲国家的抵制。在此期间，大多数非洲国家威胁国际奥委会，迫使南非、罗得西亚（津巴布韦的旧称）和新西兰禁止参加奥运会。原来，此前新西兰划艇联合会组织了一场新西兰和南非选手之间的友谊比赛，而南非代表队是由清一色的白人选手组成。在推行种族隔离政策的南非，黑人选手被剥夺了参与国际比赛的资格。为了抗议新西兰划艇联合会的举动，大多数非洲国家宣布拒绝参加1976年蒙特利尔奥运会。事后国际奥委会辩解说，新西兰划艇联合会是一个社会团体，并非新西兰官方组织，也不能代表该国的对外政策；此外同南非白人选手组成的体育代表队进行比赛的国家也不仅仅是新西兰。无论如何，大多数非洲国家没有参加本届奥运会。

同样是在1976年蒙特利尔奥运会，由于此前国际奥委会承认中华人民共和国政府是代表中国的唯一合法政府，台湾是中国的一部分，加拿大告知当时的台湾的蒋介石政府不能使用“中华民国”这一名称参加奥运会，台湾政府在1984年洛杉矶奥运会以前一直拒绝参加奥运会，直到同意使用“中国台北”这一名称和另一个特殊旗帜。

在1980年莫斯科奥运会和1984年洛杉矶奥运会上，由于美国和苏联间的“冷战”，均遭到了强烈的抵制。1980年的莫斯科奥运会遭到了以美国为首的西方国家的抵制。为抗议苏联入侵阿富汗，美国宣布不参加莫斯科奥运会。当时的西方媒体曾报道说，在1980年1月1日的北约峰会上，西方国家商定集体抵制这一届奥运会。但实际上在苏军入侵阿富汗前，就有人提议抵制苏联举办的奥运会，例如英国此前就以苏联镇压异见人士为由，拒绝派出运动员参加莫斯科奥运会，而以色列总理贝京也因为苏联限制犹太人前往以色列定居，在美国和西方国家支持下也宣布抵制莫斯科奥运会。除美国以外，中国、以色列和沙特阿拉伯等国也因为苏联入侵阿富汗拒绝参加莫斯科奥运会。

英国、法国和希腊虽然公开宣布抵制莫斯科奥运会，但没有禁止本国运动员参赛，当年英国的奥运会代表团是西方国家中最大的一个，有170名运动员参加了莫斯科奥运会。鉴于官方宣布抵制莫斯科奥运会，澳大利亚、比利时、丹麦、英国、爱尔兰、意大利、瑞士、安道尔和西班牙等国运动员在开幕式和闭幕式入场式上，打出的不是本国国旗，而是奥林匹克的五环旗，这些国家运动员在获得金牌时奏响的也不是本国的国歌，而是奥林匹克会歌。最终只有80个左右的国家派出运动员参加了莫斯科奥运会。

四年之后，苏联宣布抵制洛杉矶奥运会，作为对西方抵制莫斯科奥运会的回应。这一次轮到以苏联为首的国际阵营抵制洛杉矶奥运会，参加抵制行动的国家包括保加利亚、民主德国、越南、蒙古、老挝、捷克斯洛伐克、阿富汗、南也门和古巴等。而中国、罗马尼亚和南斯拉夫参加了洛杉矶奥运会，这也是中国建国以来首次参加奥运会。唯一一个既没有参加莫斯科奥运会，也没有参加洛杉矶奥运会国家就是伊朗，原教旨主义的伊朗将美苏两国均称为“恶魔”。

兴奋剂
早在奥运会初期，参加比赛的某些运动员为了取得好成绩，引用一种有酒和适地灵混合而成饮料以增加中枢神精的兴奋，这是最原始的兴奋剂。到了20世纪的中期，运动员为提高成绩而服用的药物种类也在不断的变化。1988年汉城奥运会百米飞人约翰逊因服用能增强体能，增长肌肉的合成内部醇康利龙而被取消冠军资格。

在奥运会中对运动员进行兴奋剂检查的开销相当惊人。1988年汉城奥运会兴奋剂检查了1600名运动员，耗资300万美元，约合每人1875美元。由于国际体育组织坚定了反兴奋剂的立场，并不断加大反兴奋剂的力度，这就使服用兴奋剂的人转而使用不会被查获的其它类药物。今天的兴奋剂也许并不比20年前兴奋剂能更好的提高成绩，但却更能隐蔽自己。

国际奥委会主席罗格在2004年雅典奥运会上表示：“使用兴奋剂的事还会在奥运会上发生。国际奥委会要让每个人知道，对于使用兴奋剂的运动员，国际奥委会绝不姑息。”

政治化
政治曾经多次干预奥运会，其中最著名的是1936年柏林奥运会。纳粹党徒上台后，对奥运会的态度来了一个180度的大转变，由反对到支持奥运会，其目的是想利用奥运会，给法西斯德国蒙上一层和平的面纱。他们印了成吨宣传纳粹德国“繁荣与昌盛”的材料，耗费了巨额资金建立比赛场馆。而在这届奥运会上，来自两个存在着严重种族歧视的国度，一个黑人，一个白人，杰西·欧文斯和卢茨·朗，在纳粹的监视之下，坦诚互助。这两位跳远选手真挚友谊造就的画面，成为这届令奥林匹克蒙羞的运动会上最感人的一幕。

由于当时奥委会领导人眼光的局限，导致柏林奥运会逐步成为德国法西斯的宣传工具的奥运会。它违反了奥林匹克精神，为德国法西斯粉饰和平起了推波助澜的作用。大会过去3年多一点的时间，1939年9月，德国法西斯即发动了侵略战争，给包括德国人民在内的全世界人民带来了灾难。1954年庆祝奥林匹克运动60周年时，国际奥委会不得不为自己的错误进行检查，并发表了公报，认为军国主义和纳粹主义的喧嚣气氛笼罩了这届奥运会，产生了可悲的后果。

在1968年墨西哥城奥运会上同样发生了较小的政治抵制。托米·史密斯（Tommie Smith）是本次奥运会200米赛跑奥运金牌得主，因为在颁奖台上提倡改善黑人处境，就被取消金牌。

伊朗和以色列的政治问题也反映在奥运会上。在2004年雅典奥运会上，两次获得柔道世界冠军的伊朗运动员阿拉什被伊朗国内认为是最有可能为伊朗队夺得第一枚金牌的运动员，但是他却因为不愿意与以色列选手对垒，用自己的行动宣布退出了本届的奥运会。

暴力
尽管顾拜旦一直盼望着奥运会能给人民带来和平，但总的来说奥林匹克没有给世界带来和平。事实上，由于战争的干预，奥运会曾经停办三次：由于第一次世界大战，1916年的奥运会被迫取消；由于第二次世界大战，1940年和1944年的夏季和冬季奥运会都被迫取消。

恐怖主义新近也成为了对奥运会一个巨大的威胁。

在1972年慕尼黑奥运会上就发生了一起震惊世界的“慕尼黑大血案”。8名全副武装的巴勒斯坦“黑九月” 恐怖分子趁着漆黑的夜色，突然闯入奥运村以色列代表团驻地。以色列举重教练、运动员约瑟夫·罗曼被击毙而倒在血泊中。恐怖分子劫持了以色列9名运动员和两名教练作为人质，提出在上午9点前，释放关押在以色列监狱的256名巴勒斯坦政治犯的要求。以色列政府拒绝了释放政治犯的要求，但同意考虑埃及将人质转移到开罗再进行谈判的建议。与此同时，国际奥委会也授权国际奥委会埃及委员艾哈迈德·图尼与恐怖分子谈判：在释放人质条件下，保证恐怖分子安全离境，并支付他们巨额资金。但遭到拒绝。晚10时许，西德同意“黑九月”的撤离要求，用直升飞机将恐怖分子和人质运往斯滕费尔德布鲁机场，然后转机离境。警方原拟乘换机之机，营救人质，但未成功，9名人质全部丧生。8名恐怖分子也被击毙。西德在这次营救中也牺牲了1名警察和1名飞行员。大会被迫停办一天，使原拟9月10日闭幕的奥运会，延期至9月11日，这在奥运会历史上也是第一次出现。

在1996年亚特兰大奥运会中，百年奥林匹克公园（Centennial Olympic Park）被炸弹击中，造成2人死亡，111人受伤。2003年5月31日，经过长达5年的追捕，公园爆炸案的主谋，美国反犹太分子埃里克·罗伯特·鲁道夫（Eric Robert Rudolph）被捕。

2002年盐湖城冬季奥运会是2001年美国“9.11事件”后第一届奥运会。从这届奥运会后，奥运会被要求必须建立极高的安全保卫以防止可能的恐怖袭击事件。