Randy早年最好的朋友之一是Kelly Garn。1971年前后，Kelly和Randy开始在一起玩音乐，后来把他们的天才同其它的乐队——Milfred Pierce，The Katzenjammer Kids和Mammoth——结合起来之后组成了Quiet Riot乐队。他们碰到一块儿时，Randy正在形成自己的风格，而Randy到13岁的时候其与年龄极不相副的吉他技艺就已经让其它老吉他手们看起来太糟了。

Garni列举了Randy当时所受的影响，包括Alice Cooper乐队的Glenn Buxton和David Bowie乐队的Mick Ronson。“Randy开始试验一些‘怪异的噪音’和‘奇怪的声音’，后来这些都成为甚至今天的吉他手们都还在模仿的‘Rhoads之声’的一部份。这种音乐其实是Buxton风格的。”按照Garni的说法，当时是Randy正在要创造那些在后来的Quiet Roit和Ozzy的专辑中都可以大量找到的他的标志性声音的时候。Kelly和Randy总是得花上整个星期去寻找一次小型演出的机会，每到周末时就在 Burbank的某家人的后院表演。他们几乎没有得到报酬，而音乐是最重要的。关于那些早期的日子Garni说：“当Randy弹吉他时，人们都吃惊地跳起来立正了……尽管那只是一个后院，他表演得如此之好，你会感觉你身在大体育馆的大型摇滚演出上。他知道如何让观众头晕目眩。”

在那些年里，Randy和Kelly在当地出了名，有了地方的名声，这也帮助他们组成了第二支乐队Quiet Roit，那是在1975年。经过几年的后院乐队之后，他们想玩点“正式”的。于是他们要试听一名主唱，结果发现了Kevin DuBrow。Kevin的试听在Rhoads夫人家的厨房进行。她清楚地记得那天：“Kevin说：‘ 如果你们不喜欢我就直说，我走就是。’Randy和Kelly说：‘等等，也许我们可以合计一下。我们谈谈吧。’那实际就是Quiet Roit乐队的第一天。”

Kevin在后来的一次采访中回忆了这一天：“当时他（Randy）17岁，我18。他留着齐腰的长发，有一只大拇指的指甲差不多有四英寸长。我瞧着他想，‘这家伙不可能会弹琴。’我一边胡思乱想，一边到了他的房子听他用他的小音箱弹琴。他插上了插头，我感觉我的头被撞到了墙上；各种我所能够想象的吉他主奏——他弹那些比任何我曾经在磁带中听到过的都要弹得好。”

Randy和Kelly与Kevin一起工作，最后决定让他加入乐队。Quite Riot的最初成员包括，吉他手Randy，贝司手Kelly Garni，主唱Kevin DuBrow和鼓手Chris Forsyth。

不到一年Quiet Roit就是附近最热门的乐队了。不久他们就经常在圣塔莫尼卡地区演出了。基本上他们还是为了自由自在而演奏，但对他们来说音乐却总是个问题。摇滚音乐的早期，摇滚乐队们写了他们自己大部份的音乐。“除了弹吉他，”Garni说 ，“Randy写了许多歌，而且……他有着许多好的音乐点子，我们都会为之跳起来；我想有许多乐队都是这样的。Randy是一个多产的歌曲作者，而且他总是会写些新的东西。在乐队早期他和我用许多riff来即兴合奏，但后来Kevin加入进来，他就和Randy写了大部份的歌曲。”

Quiet Roit每周进行四五次小型演出，很快他们在观众中激起的兴趣就足以让他们用日本CBS Sony唱片的商标发行专辑了。正如Garni后来在一次采访中说的：“我们得到了一笔在日本发行两张唱片的合约，他们（公司）在日本的工作做得非常好。我还保留了一堆日本歌迷的来信，在杂志上我们也得到了一些捧场文章。他们一直叫我们做‘又一个大事件’和音乐‘新声’。”