是否有一种方法以编程方式防止谷歌Colab超时断开?

笔记本电脑自动断开连接的情况如下:

谷歌Colab笔记本的空闲超时为90分钟,绝对超时为12小时。这意味着,如果用户没有与他的谷歌Colab笔记本进行交互超过90分钟,其实例将自动终止。此外,Colab实例的最大生存期为12小时。

自然,我们希望自动地从实例中挤出最大的值,而不必不断地手动与它交互。这里我将假设常见的系统需求:

Ubuntu 18.04 LTS (Bionic Beaver), Windows 10或Mac操作系统 对于基于linux的系统,使用流行的桌面环境,如GNOME 3或Unity Firefox或Chromium浏览器

我应该在这里指出,这样的行为并不违反谷歌Colab的使用条款,尽管根据他们的常见问题解答,这是不鼓励的(简而言之:从道德上讲,如果你真的不需要它,那么用完所有的gpu是不可以的)。


我目前的解决方案非常愚蠢:

首先,我把屏保关掉,这样我的屏幕就一直开着。 我有一个Arduino板,所以我只是把它变成了一个橡胶鸭子USB设备,让它在我睡觉的时候模拟原始的用户交互(只是因为我手头有其他用例)。

有没有更好的办法?


当前回答

在一些脚本的帮助下,前面的答案可能工作得很好。

我有一个解决方案(或一种技巧),对于没有脚本的恼人的断开连接,特别是当你的程序必须从你的谷歌驱动器读取数据时,比如训练深度学习网络模型,使用脚本进行重新连接操作是没有用的,因为一旦你与协作实验室断开连接,程序就死了。您应该手动连接到您的谷歌驱动器再次使您的模型能够再次读取数据集,但脚本不会做这件事。

我已经测试过很多次了,效果很好。

当你用浏览器(我使用Chrome)在协作页面上运行程序时,只要记住,一旦程序开始运行,就不要对浏览器做任何操作,比如:切换到其他网页,打开或关闭另一个网页,等等。只要把它放在那里,等待你的程序完成运行。你可以切换到另一个软件,比如PyCharm,继续写代码,但不能切换到另一个网页。

我不知道为什么打开或关闭或切换到其他页面会导致协作页面的连接问题,但每次我试图打扰我的浏览器,比如做一些搜索工作,我与协作页面的连接很快就会中断。

其他回答

我使用宏程序定期点击RAM/Disk按钮来整晚训练模型。诀窍是配置一个宏程序,点击Ram/Disk Colab工具栏按钮两次,两次点击之间的间隔很短,这样即使运行时断开连接,它也会重新连接回来。(第一次点击用于关闭对话框,第二次点击用于重新连接)。 然而,你还是得整晚打开笔记本电脑,可能还得固定Colab标签。

当所有这些都失败时,您可以通过订阅谷歌Colab Pro+获得后台执行

由于连接按钮的id现在更改为“coab -connect-button”,下面的代码可以用来继续单击按钮。

function ClickConnect(){
    console.log("Clicked on connect button"); 
    document.querySelector("colab-connect-button").click()
}
setInterval(ClickConnect,60000)

如果还是不行,那就按照下面的步骤来做:

右键单击连接按钮(在colab的右上角) 点击inspect 获取按钮的HTML id并在以下代码中进行替换

function ClickConnect(){
    console.log("Clicked on connect button"); 
    document.querySelector("Put ID here").click() // Change id here
}
setInterval(ClickConnect,60000)

从2021年3月起,这些方法都不起作用,因为谷歌增加了一个CAPTCHA按钮,一段时间后随机弹出。

在此之前,解决方案非常简单,不需要任何JavaScript。只需要在底部创建一个新单元格,内容如下:

while True:pass

现在将单元格保持在运行序列中,这样无限循环就不会停止,从而使会话保持活动状态。

老方法:

设置JavaScript间隔,每60秒单击一次连接按钮。

用Ctrl+Shift+I打开开发者设置(在您的web浏览器中),然后单击控制台选项卡,并在控制台提示符上键入此选项卡。(mac按Option+Command+I键)

function ConnectButton(){
  console.log("Connect pushed");
  document.querySelector("#top-toolbar > colab-connectbutton").shadowRoot.querySelector("#connect").click()
}
setInterval(ConnectButton,60000);

使用Python和Selenium:

from selenium.webdriver.common.keys import Keys
from selenium import webdriver
import time

driver = webdriver.Chrome('/usr/lib/chromium-browser/chromedriver')

notebook_url = ''
driver.get(notebook_url)

# run all cells
driver.find_element_by_tag_name('body').send_keys(Keys.CONTROL + Keys.F9)
time.sleep(5)

# click to stay connected
start_time = time.time()
current_time = time.time()
max_time = 11*59*60 #12hours

while (current_time - start_time) < max_time:
    webdriver.ActionChains(driver).send_keys(Keys.ESCAPE).perform()
    driver.find_element_by_xpath('//*[@id="top-toolbar"]/colab-connect-button').click()
    time.sleep(30)
    current_time = time.time()